10.14489/vkit.2018.07.pp.023-029

DOI: 10.14489/vkit.2018.07.pp.023-029

Аникин В. И., Лебедев Р. В., Аникина О. В., Гущина О. М.
МОДЕЛИРОВАНИЕ И ВИЗУАЛИЗАЦИЯ ОБОБЩАЮЩЕЙ СПОСОБНОСТИ МНОГОСЛОЙНЫХ ПЕРСЕПТРОНОВ В ЗАДАЧАХ КЛАССИФИКАЦИИ
(c. 23-29)

Аннотация. Смоделирована и изучена обобщающая способность трехслойного персептрона применительно к задачам классификации на наборах данных небольшой размерности и объема. Предложено нестандартное линейное преобразование координат обучающих образцов данных, учитывающее симметрию по входам и суммирующее свойство искусственного нейрона, которое позволило улучшить качество обобщения обученной нейронной сети. Показано с помощью метода Монте-Карло, что учебные образцы данных, принадлежащие пространственно-отделимым классам, а также лежащие в промежутках между ними неизвестные образцы распознаются нейронной сетью со 100 %-ной доверительной вероятностью. Предложен альтернативный алгоритм классификации неизвестных образцов с линейной временнóй сложностью: найти ближайший к неизвестному фоновый образец и присвоить неизвестному образцу класс найденного образца. Осуществлена экспериментальная апробация с использованием языка программирования R на трех тестовых наборах учебных образцов.

Ключевые слова: нейронная сеть; многослойный персептрон; обобщающая способность; классификация; доверительная вероятность.

Anikin V. I., Lebedev R. V., Anikina O. V., Gushchina O. M.
MODELING AND VISUALIZATION OF MULTILAYER PERCEPTRON GENERALIZATION CAPABILITY FOR CLASSIFICATION PROBLEMS
(pp. 23-29)

Abstract. On small dimension and volume datasets, the generalization capability of a three-layer perceptron is studied in relation to classification problems. The non-standard linear transformation of training samples geometrical attributes considering symmetry on entrances and the summarizing property of artificial neuron which has allowed to improve quality of sample recognition by the trained neural network is offered. With the Monte Carlo method, it is shown that the training samples, belonging to spatially separable classes, and the unknown samples, lying in intervals between them, are recognized by the neural network with 100 % confidential probability. In case of the adjoining classes, some training samples, lying in the region of classes crossing, aren't recognized by the neural network at all. The exception of these samples from the training dataset and retraining of neural network divide the input dataset into several spatially separable classes with wide limits of generalization with 100 % confidential probability. The alternate classification algorithm with time complexity of O(n) is offered, namely: assign to the unknown sample a class of the nearest to him background sample. Experimental approbation is carried out with the use of the R programming language on the example of three different training datasets.

Keywords: Neural network; Multilayer perceptron; Generalization capability; Classification; Confidence probability.

+ - Информация об авторах (About the Authors) Click to collapse

Рус

В. И. Аникин, Р. В. Лебедев (Поволжский государственный университет сервиса, Самарская область, Тольятти, Россия) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
О. В. Аникина, О. М. Гущина (Тольяттинский государственный университет, Самарская область, Тольятти, Россия)

Eng

V. I. Anikin, R. V. Lebedev (Volga Region State University of Service, Samara region, Togliatti, Russia) E-mail: Этот e-mail адрес защищен от спам-ботов, для его просмотра у Вас должен быть включен Javascript
O. V. Anikina, O. M. Gushchina (Togliatti State University, Samara region, Togliatti, Russia)

+ - Библиографический список (References) Click to collapse

Рус

1. Вапник В. Н., Червоненкис А. Я. Теория распознавания образов (статистические проблемы обучения). М.: Наука, 1974. 416 с.
2. Воронцов К. В. Комбинаторная теория надежности обучения по прецедентам: дис. … д-ра физ-мат. наук: 05.13.07. М.: ВЦ РАН, 2010. 272 с.
3. Kopenkov V. N., Myasnikov V. V. Development of an Algorithm for Automatic Construction of a Computational Procedure of Local Image Processing, Based on the Hierarchical Regression // Компьютерная оптика. 2016. Т. 40, № 5. С. 713 – 720.
4. Prechelt L. Proben1 – A Set of Neural Networks Benchmark Problems and Benchmarking Rules [Электронный ресурс]. URL: https://publikationen.bibliothek.kit.edu/39794/2050 (дата обращения: 15.01.2018).
5. Initializations, Back-Propagation and Generalization of Feed-Forward Classifiers / Schmidt W. F. et al. // IEEE International Conference on Neural Networks, San Francisco, California, March 28 – April 1, 1993. P. 598 – 604. doi: 10.1109/ICNN.1993.298625.
6. Созыкин А. В. Обзор методов обучения глубоких нейронных сетей // Вестник Южно-Уральского государственного университета. Серия: Вычислительная математика и информатика. 2017. Т: 6, № 3. С. 28 – 59.
7. Swingler K. Applying Neural Networks: A practical Guide [Электронный ресурс] / пер. с англ. Ю. П. Маслобоева. URL: http://matlab.exponenta.ru/neuralnetwork/book4/ (дата обращения: 06.06.2018).
8. Аникин В. И., Аникина О. В., Чичаева О. Н. Моделирование и визуализация трехслойного персептрона в программе анализа данных R // Информационные технологии. Радиоэлектроника. Телекоммуникации. 2016. № 6-1. С. 40 – 51.
9. Аntyufeev V.S. Solution of Recognition Problems by the Monte Carlo Method //Russian Journal of Numerical Analysis and Mathematical Modeling. 2012. Т. 27, No 2. С. 113 – 130.
10. Шитиков В. К., Розенберг Г. С. Рандомизация и бутстреп: статистический анализ в биологии и экологии с использованием R. Тольятти: Кассандра, 2013. 314 с.
11. Шипунов А. Б., Балдин Е. М. Анализ данных с R [Электронный ресурс]. URL: http://www.soc. univ.kiev.ua/sites/default/files/course/materials/r1.pdf (дата обращения: 18.01.2018)
12. Venables W. N., Ripley B. D. Modern Applied Statistics with S-PLUS. New York: Springer Science & Business Media, 2003. 498 p.

Eng

1. Vapnik V. N., Chervonenkis A. Ya. (1974). Theory of pattern recognition (statistical learning problems). Moscow: Izdatel'stvo «Nauka». [in Russian language]
2. Vorontsov K. V. (2010). Combinatorial theory of the reliability of learning by precedent. PhD thesis. Moscow: VTs RAN. [in Russian language]
3. Kopenkov V. N., Myasnikov V. V. (2016). Development of algorithm for automatic construction of a computational procedure of local image processing, based on the hierarchical regression. Komp'yuternaya optika, 40(5), pp. 713-720.
4. Prechelt L. Proben1 – A Set of NN Benchmark Problems and Benchmarking Rules. Available at: https://publikationen.bibliothek.kit.edu/39794/2050
5. Schmidt W. F. et al. (1993). Initializations, back-propagation and generalization of feed-forward classifiers. Neural Networks. IEEE International Conference. С. 598-604. doi 10.1109/ICNN.1993.298625.
6. Sozykin A. V. (2017). Overview of methods for deep neural networks training. Vestnik YUUrGU. Seriya: Vychislitel'naya matematika i informatika, (3), pp. 28-59 [in Russian language]
7. Swingler K. (1996). Applying Neural Networks. A practical Guide, Pap. Dsk edition, Morgan Kaufmann, pp. 53-55.
8. Anikin V. I., Anikina O. V., Chichaeva O. N. (2016). Modeling and visualization of a three-layer perceptron in a data analysis program R. Informatsionnye tekhnologii. Radioelektronika. Telekommunikatsii, (6-1), pp. 40-51 [in Russian language]
9. Antyufeev V. S. (2012). Solutions of Monte Carlo recognition problems. RJNAMM, 27(2), pp. 113-130. [in Russian language]
10. Shitikov V.K., Rozenberg G.S. (2013). Randomization and bootstrap: statistical analysis in biology and ecology using R. Tol'yatti: Kassandra. [in Russian language]
11. Shipunov A. B., Baldin E. M. Data analysis using R. Available at: http://www.soc.univ.kiev.ua/ sites/default/files/course/materials/r1.pdf [in Russian language]
12. Venables W. N., Ripley B. D. (2003). Modern applied statistics with S-PLUS. Springer Science & Business Media.

+ - Заказать электронную версию статьи (Purchase digital version of a single article) Click to collapse

Рус

Статью можно приобрести в электронном виде (PDF формат).

DOI: 10.14489/vkit.2018.07.pp.023-029

Скопируйте DOI статьи и перейдите по ссылке https://id-spektr.ru/product/pokupka-elektronnoy-stati-iz-zhurnala-vestnik-kompyuternyh-i-informatsionnyh-tehnologiy

В комментарии к заказу обязательно укажите DOI статьи.

Eng

This article is available in electronic format (PDF).

DOI: 10.14489/vkit.2018.07.pp.023-029

Copy the article DOI and follow the link https://id-spektr.ru/product/pokupka-elektronnoy-stati-iz-zhurnala-vestnik-kompyuternyh-i-informatsionnyh-tehnologiy

Please specify the article DOI in the order comments.