Безытеративный расчет параметров линейного классификатора с пороговой функцией активации
(Стр. 171-183)

Актуальность систем искусственного интеллекта (ИИ) растет каждый год. ИИ внедряется в различные сферы деятельности. Одной из основных технологий, используемых в ИИ, являются искусственные нейронные сети (далее НС). С помощью нейронных сетей решается огромный класс задач, такие как задачи классификации, восстановления регрессии, авторегрессии, кластеризации, шумоподавления, создания векторного представления объектов и прочие. В данной работе мы рассматриваем простейший случай работы одного нейрона с активационной функцией Хэвисайда, также рассматриваем быстрые способы его обучения, сводим задачу обучения к задаче отыскания вектора нормали к разделяющей гиперплоскости и веса смещения. Одним из перспективных направлений обучения НС является безытеративное обучение, особенно в контексте обработки и анализа данных с высокой размерностью. В этой статье рассмотрен метод безытеративного обучения, который позволяет значительно (на 1–2 порядка) ускорить обучение одного нейрона. Особенность подхода заключается в определении гиперплоскости, разделяющей два класса объектов в пространстве признаков, без необходимости многократного пересчета весов, что характерно для традиционных итеративных методов. В рамках исследования особое внимание уделяется случаям, когда основные оси эллипсоидов, описывающие классы, параллельны. Определяется функция pln для расчета расстояний между объектами и центрами их классов, исходя из чего производится вычисление ненормированного вектора нормали к гиперплоскости и веса смещения. Кроме того, мы приводим сравнение нашего метода с методом опорных векторов и логистической регрессией.

ОБРАЗЕЦ ЦИТИРОВАНИЯ: Понимаш З.А., Потанин М.В. Безытеративный расчет параметров линейного классификатора с пороговой функцией активации // Computational Nanotechnology. 2024. Т. 11. № 1. С. 171-183. DOI: 10.33693/2313-223X-2024-11-1-171-183. EDN: ETSIBS

Зайцев А.А. Исследование устойчивости оценок ковариационной матрицы признаков // Машинное обучение и анализ данных. 2011. Т. 1. № 2.
Остапец А.А. Решающие правила для ансамбля из цепей вероятностных классификаторов при решении задач классификации с пересекающимися классами // Машинное обучение и анализ данных. 2016. Т. 2. № 3.
Agarwal A., Sharma P., Alshehri M. et al. Classification model for accuracy and intrusion detection using machine learning approach // Peer J. Computer Science. 2021. DOI: 10.7717/peerj-cs.437.
Мотренко А.П. Оценка плотности совместного распределения // Машинное обучение и анализ данных. 2012. Т. 1. № 4.
Kingma D.P., Ba J.L. ADAM: A method for stochastic optimization. 2017.
Zhuang Z., Liu M., Cutkosky A. Understanding AdamW through proximal methods and scale-freeness. 2022.
Zeiler M.D. ADADELTA: An adaptive learning rate method. 2012.
Dauphin Y.N., de Vries H., Bengio Y. Equilibrated adaptive learning rates for non-convex optimization. 2015.
Wojtowytsch S. Stochastic gradient descent with noise of machine learning type. 2021.
Mao A., Mohri M., Zhong Y. Cross-entropy loss functions: Theoretical analysis and applications. 2023.
Ланге М.М., Ганебных С.Н., Ланге А.М. Многоклассовое распознавание образов в пространстве представлений с многоуровневым разрешением // Журнал машинного обучения и анализа данных. 2016.
Турканов Г.И., Щепин Е.В. Классификатор Байеса для переменного количества признаков // ResearchGate. 2016.
Садыхов Р.Х., Ракуш В.В. Модели гауссовых смесей для верификации диктора по произвольной речи // Библиотека БГУИР. 2003.
Devlin J., Chang M.-W., Lee K., Toutanova K. BERT: Pre-training of deep bidirectional transformers for language understanding // arXiv.org. 2019.
Wang B., Kuo C.-C. J. SBERT-WK: A sentence embedding method by dissecting BERT-based word models // arXiv.org. 2020.

безытеративное обучение, линейный классификатор с пороговой функцией активации, статический анализ, сравнительный анализ.