Модель интеллектуального анализа и обнаружения аномалий в данных статистического наблюдения за образовательными организациями
(Стр. 143-153)
Подробнее об авторах
Виноградов Никита Евгеньевич
аспирант, Институт перспективных технологий и индустриального программирования, г. Москва, Российская Федерация
МИРЭА – Российский технологический университет
г. Москва. Российская Федерация Вострокнутов Игорь Евгеньевич доктор педагогических наук; профессор, Институт перспективных технологий и индустриального программирования; МИРЭА – Российский технологический университет; г. Москва, Российская Федерация
МИРЭА – Российский технологический университет
г. Москва. Российская Федерация Вострокнутов Игорь Евгеньевич доктор педагогических наук; профессор, Институт перспективных технологий и индустриального программирования; МИРЭА – Российский технологический университет; г. Москва, Российская Федерация
Нажимая на кнопку купить вы соглашаетесь с условиями договора оферты
Аннотация:
В статье описан алгоритм применения модели интеллектуального анализа для обнаружения аномалий в данных статистического наблюдения за образовательными организациями. Дано определение аномалии, проанализированы типовые аномалии, которые могут содержаться в данных статистической отчетности. Приведена классификация методик выявления аномалий в зависимости от уровня размеченности обучающей выборки, а также проанализированы возможные способы разметки данных для представления результатов поиска аномалий. Проведены анализ и описание процесса сбора и обработки статистических данных образовательных организаций в ГИВЦ РТУ МИРЭА. Проанализированы слабые места процесса сбора данных, которые возможно усилить путем применения интеллектуального анализа для поиска аномалий в данных. Разработана математическая модель обработки данных и поиска аномалий. Предложен алгоритм подготовки данных для обучения модели интеллектуального анализа с учетом их специфики, а также последующего применения обученной модели для обнаружения аномалий в рассматриваемых данных. Произведена проверка работы алгоритма на реальных данных с использованием нейросетевой модели автоэнкодер.
Образец цитирования:
ОБРАЗЕЦ ЦИТИРОВАНИЯ: Виноградов Н.Е., Вострокнутов И.Е. Модель интеллектуального анализа и обнаружения аномалий в данных статистического наблюдения за образовательными организациями // Computational Nanotechnology. 2025. Т. 12. № 5. С. 143-153. DOI: 10.33693/2313-223X-2025-12-5-143-153. EDN: EZTMLX
Список литературы:
Бардасова И.А., Волкова Е.А. Обнаружение аномалий в электронных письмах с помощью машинного обучения // Вестник науки. 2024. Т. 4. № 5 (74). С. 1350–1358.
Грушо А.А. и др. Поиск аномалий в больших данных // Системы и средства информатики. 2022. Т. 32. № 1. С. 160–167.
Михняев А.Л. и др. Обнаружение аномалий в данных технологического процесса // Цифровая среда: технологии и перспективы: матер. конф. “Digital Environment: Technologies and Prospects” DETP 2022 (Брест, 31 октября 2022 г.). / ред. Н.Н. Шалобыта и др. Брест: БрГТУ, 2022. С. 62–65.
Сафронов Д.А., Кацер Ю.Д., Зайцев К.С. Поиск аномалий с помощью автоэнкодеров // International Journal of Open Information Technologies. 2022. Т. 10. № 8. С. 39–45.
Токарев В.В. Обзор методов машинного обучения, используемых для удаления выбросов в наборе данных // Научное обозрение: актуальные вопросы теории и практики: сборник статей V Международной научно-практической конференции. Пенза: Наука и Просвещение, 2023. С. 18–24.
Шкодырев В.П. и др. Обзор методов обнаружения аномалий в потоках данных // Proc. of the Second Conference on Software Engineering and Information Management. Т. 1864. СПб., 2017.
Шелухин О.И., Рябинин В.С. Обнаружение аномалий больших данных неструктурированных системных журналов // Вопросы кибербезопасности. 2019. № 2 (30). С. 36–41.
Zimek A., Schubert E. Outlier detection // Encyclopedia of database systems. New York: Springer, 2017.
Braei M., Wagner S. Anomaly detection in univariate time-series: A survey on the state-of-the-art // arXiv preprint arXiv:2004.00433. 2020.
Chandola V., Banerjee A., Kumar V. Anomaly detection: A survey // ACM computing surveys (CSUR). 2009. Vol. 41. No. 3. Pp. 1–58.
Salgado C.M., Azevedo C., Proenca H., Vieira S.M. Noise versus outliers. Cham: Springer International Publishing, 2016. Pp. 163–183.
Charu C. Aggarwal. outlier analysis. 2nd ed. Springer Publishing Company, Inc., 2016. ISBN: 3319475770.
Hojjati H., Ho T.K.K., Armanfard N. Self-supervised anomaly detection: A survey and outlook // arXiv preprint arXiv:2205.05173. 2022.
Ruff L. et al. A unifying review of deep and shallow anomaly detection // Proceedings of the IEEE. 2021. Vol. 109. No. 5. Pp. 756–795.
Smiti A. A critical overview of outlier detection methods // Computer Science Review. 2020. Vol. 38. P. 100306.
Грушо А.А. и др. Поиск аномалий в больших данных // Системы и средства информатики. 2022. Т. 32. № 1. С. 160–167.
Михняев А.Л. и др. Обнаружение аномалий в данных технологического процесса // Цифровая среда: технологии и перспективы: матер. конф. “Digital Environment: Technologies and Prospects” DETP 2022 (Брест, 31 октября 2022 г.). / ред. Н.Н. Шалобыта и др. Брест: БрГТУ, 2022. С. 62–65.
Сафронов Д.А., Кацер Ю.Д., Зайцев К.С. Поиск аномалий с помощью автоэнкодеров // International Journal of Open Information Technologies. 2022. Т. 10. № 8. С. 39–45.
Токарев В.В. Обзор методов машинного обучения, используемых для удаления выбросов в наборе данных // Научное обозрение: актуальные вопросы теории и практики: сборник статей V Международной научно-практической конференции. Пенза: Наука и Просвещение, 2023. С. 18–24.
Шкодырев В.П. и др. Обзор методов обнаружения аномалий в потоках данных // Proc. of the Second Conference on Software Engineering and Information Management. Т. 1864. СПб., 2017.
Шелухин О.И., Рябинин В.С. Обнаружение аномалий больших данных неструктурированных системных журналов // Вопросы кибербезопасности. 2019. № 2 (30). С. 36–41.
Zimek A., Schubert E. Outlier detection // Encyclopedia of database systems. New York: Springer, 2017.
Braei M., Wagner S. Anomaly detection in univariate time-series: A survey on the state-of-the-art // arXiv preprint arXiv:2004.00433. 2020.
Chandola V., Banerjee A., Kumar V. Anomaly detection: A survey // ACM computing surveys (CSUR). 2009. Vol. 41. No. 3. Pp. 1–58.
Salgado C.M., Azevedo C., Proenca H., Vieira S.M. Noise versus outliers. Cham: Springer International Publishing, 2016. Pp. 163–183.
Charu C. Aggarwal. outlier analysis. 2nd ed. Springer Publishing Company, Inc., 2016. ISBN: 3319475770.
Hojjati H., Ho T.K.K., Armanfard N. Self-supervised anomaly detection: A survey and outlook // arXiv preprint arXiv:2205.05173. 2022.
Ruff L. et al. A unifying review of deep and shallow anomaly detection // Proceedings of the IEEE. 2021. Vol. 109. No. 5. Pp. 756–795.
Smiti A. A critical overview of outlier detection methods // Computer Science Review. 2020. Vol. 38. P. 100306.
Ключевые слова:
обнаружение аномалий в данных, статистические данные, интеллектуальный анализ, автоэнкодер.
