Анализ эффективности и робастности нейронных сетей с ранними выходами в задачах компьютерного зрения
(Стр. 28-36)
Чесалин Александр Николаевич
Ставцев Алексей Вячеславович
Ушкова Надежда Николаевна
Чаругин Валерий Валерьевич
Подробнее об авторах
Чесалин Александр Николаевич
кандидат технических наук, доцент; заведующий, кафедра компьютерной и информационной безопасности, Институт искусственного интеллекта; МИРЭА – Российский технологический университет; г. Москва, Российская Федерация
Ставцев Алексей Вячеславович
кандидат физико-математических наук; доцент, кафедра компьютерной и информационной безопасности, Институт искусственного интеллекта; МИРЭА – Российский технологический университет; г. Москва, Российская Федерация
Ушкова Надежда Николаевна
старший преподаватель, кафедра компьютерной и информационной безопасности, Институт искусственного интеллекта; МИРЭА – Российский технологический университет; г. Москва, Российская Федерация
Чаругин Валерий Валерьевич
преподаватель, кафедра компьютерной и информационной безопасности, Институт искусственного интеллекта
МИРЭА – Российский технологический университет
г. Москва, Российская Федерация
МИРЭА – Российский технологический университет
г. Москва, Российская Федерация
Нажимая на кнопку купить вы соглашаетесь с условиями договора оферты
Аннотация:
Во многих встраиваемых системах и устройствах интернета вещей (IoT) применяются нейросетевые алгоритмы для различных задач обработки информации. При этом разработчики сталкиваются с проблемой недостаточности вычислительных ресурсов для эффективного функционирования, особенно в задачах реального (псевдо) времени. В связи с этим актуальной является задача нахождение баланса между качеством результатов и вычислительной сложностью. Одним из способов повышения вычислительной эффективности нейронных сетей, является применение архитектур нейронных сетей с ранними выходами (например, BranchyNet), позволяющие принимать решения до прохождения всех слоев нейронной сети, в зависимости от исходных данных при заданной достоверности результатов. Цель исследования: провести анализ применимости, эффективности и робастности нейронных сетей с ранними выходами (BranchyResNet18) в задачах компьютерного зрения. Анализ проводится на основе набора данных дорожных знаков GTSRB. Методология исследования представляет собой экспериментальный анализ эффективности на основе расчета количества операций с плавающей запятой (FLOP) для получения результатов с заданной точностью, и экспериментальный анализ робастности на основе генерации различных шумовых воздействий и состязательных атак. Результаты исследования: получены оценки эффективности нейронных сетей с ранним выходом и их робастность к непреднамеренным и преднамеренным возмущениям.
Образец цитирования:
ОБРАЗЕЦ ЦИТИРОВАНИЯ: Чесалин А.Н., Ставцев А.В., Ушкова Н.Н., Чаругин В.В., Чаругин В.В. Анализ эффективности и робастности нейронных сетей с ранними выходами в задачах компьютерного зрения // Computational Nanotechnology. 2025. Т. 12. № 2. С. 28-36. DOI: 10.33693/2313-223X-2025-12-2-28-36. EDN: QGDHYM
Список литературы:
Jacob B., Kligys S., Chen B. et al. Quantization and training of neural networks for efficient integer-arithmetic-only inference // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2018. Pp. 2704–2713. URL: https://arxiv.org/abs/1712.05877
Торкунова Ю.В., Милованов Д.В. Оптимизация нейронных сетей: методы и их сравнение на примере интеллектуального анализа текста // International Journal of Advanced Studies. 2023. Т. 13. № 4. C. 142–158. DOI: 10.12731/2227-930X2023-13-4-142-158.
Han S., Pool J., Tran J., Dally W.J. Learning both weights and connections for efficient neural networks // Advances in Neural Information Processing Systems (NeurIPS). 2015. URL: https://arxiv.org/abs/1506.02626
Denton E.L., Zaremba W., Bruna J. et al. Exploiting linear structure within convolutional networks for efficient evaluation // Advances in Neural Information Processing Systems (NeurIPS). 2014. URL: https://arxiv.org/abs/1404.0736
Hinton G., Vinyals O., Dean J. Distilling the knowledge in a neural network // arXiv Preprint arXiv:1503.02531. 2015. URL: https://arxiv.org/abs/1503.02531
Иванов Е.А., Мамонова Т.Е. Сравнение методов сжатия модели нейронной сети при использовании на микроконтроллере // Молодежь и современные информационные технологии: сборник трудов XXI Междунар. науч.-практ. конф. студентов, аспирантов и молодых ученых (Томск, 15–18 апреля 2024 г.). Томск, 2024. C. 176–180.
Ullrich K., Meeds E., Welling M. Soft weight-sharing for neural network compression // International Conference on Learning Representations (ICLR). 2017. URL: https://arxiv.org/abs/1702.04008
Scardapane S., Scarpiniti M., Baccarelli E., Uncini A. Why should we add early exits to neural networks? // arXiv Preprint arXiv:2004.12814. 2020. URL: https://arxiv.org/abs/2004.12814
Cheng Y., Wang D., Zhou P., Zhang T. A Survey of model compression and acceleration for deep neural networks // arXiv Preprint arXiv:1710.09282. 2017. URL: https://arxiv.org/abs/1710.09282
Bajpai D.J., Hanawal M.K. A survey of early exit deep neural networks in NLP // arXiv Preprint arXiv:2501.07670. 2025. URL: https://arxiv.org/abs/2501.07670
Panda P., Sengupta A., Roy K. Conditional deep learning for energy-efficient and enhanced pattern recognition // Design, Automation & Test in Europe Conference (DATE). 2016. Pp. 475–480.
Teerapittayanon S., McDanel B., Kung H.T. BranchyNet: Fast inference via early exiting from deep neural networks // arXiv Preprint arXiv:1709.01686. 2017. URL: https://arxiv.org/abs/1709.01686
Kaya Y., Hong S., Dumitras T. Shallow-deep networks: Understanding and mitigating network overthinking // Proceedings of the 36th International Conference on Machine Learning (ICML). 2019. Pp. 3301–3310.
Laskaridis S., Venieris S.I., Almeida M. et al. SPINN: Synergistic progressive inference of neural networks over device and cloud // Proceedings of the 26th Annual International Conference on Mobile Computing and Networking (MobiCom’20). 2020. Pp. 1–15.
Huang G., Chen D., Li T. et al. Multi-scale dense networks for resource efficient image classification // International Conference on Learning Representations (ICLR). 2018. 14 p.
Kaya Y., Dumitras T. When does dynamic computation help early-exiting neural networks? // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). 2021. Pp. 2709–2718.
Venieris S.I., Laskaridis S., Lane N.D. Dynamic neural networks: A survey // IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). 2023. Vol. 45. No. 2. Pp. 2076–2098.
Viola P., Jones M. Rapid object detection using a boosted cascade of simple features // CVPR. 2001. Vol. 1.
Чесалин А.Н. Применение каскадных алгоритмов классификации для совершенствования систем обнаружения вторжений // Нелинейный мир. 2022. Т. 20. № 1. C. 24–41.
He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // arXiv:1512.03385v1 [cs.CV]. 2015.
Sai Abhishek, Allena Venkata. Resnet18 model with sequential layer for computing accuracy on image classification dataset // International Journal of Scientific Research in Computer Science, Engineering and Information Technology. 2022. Vol. 10. Pp. 2320–2882.
Stallkamp J., Schlipsing M., Salmen J., Igel C. The German Traffic Sign Recognition Benchmark: A multi-class classification competition // IEEE International Joint Conference on Neural Networks (IJCNN). 2011.
Sovrasov V. Ptflops: A flops counting tool for neural networks in Pytorch framework. 2024. URL: https://github.com/sovrasov/flops-counter.pytorch
Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.
Kim H. Torchattacks: A PyTorch repository for adversarial attacks // arXiv:2010.01950. 2020.
Moosavi-Dezfooli S.-M., Fawzi A., Frossard P. DeepFool: A simple and accurate method to fool deep neural networks // arXiv:1511.04599. 2015.
Rauber J., Brendel W., Bethge M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models // arXiv:1707.04131. 2017.
Goodfellow I., Shlens J., Szegedy C. Explaining and harnessing adversarial examples // arXiv:1412.6572. 2015.
Торкунова Ю.В., Милованов Д.В. Оптимизация нейронных сетей: методы и их сравнение на примере интеллектуального анализа текста // International Journal of Advanced Studies. 2023. Т. 13. № 4. C. 142–158. DOI: 10.12731/2227-930X2023-13-4-142-158.
Han S., Pool J., Tran J., Dally W.J. Learning both weights and connections for efficient neural networks // Advances in Neural Information Processing Systems (NeurIPS). 2015. URL: https://arxiv.org/abs/1506.02626
Denton E.L., Zaremba W., Bruna J. et al. Exploiting linear structure within convolutional networks for efficient evaluation // Advances in Neural Information Processing Systems (NeurIPS). 2014. URL: https://arxiv.org/abs/1404.0736
Hinton G., Vinyals O., Dean J. Distilling the knowledge in a neural network // arXiv Preprint arXiv:1503.02531. 2015. URL: https://arxiv.org/abs/1503.02531
Иванов Е.А., Мамонова Т.Е. Сравнение методов сжатия модели нейронной сети при использовании на микроконтроллере // Молодежь и современные информационные технологии: сборник трудов XXI Междунар. науч.-практ. конф. студентов, аспирантов и молодых ученых (Томск, 15–18 апреля 2024 г.). Томск, 2024. C. 176–180.
Ullrich K., Meeds E., Welling M. Soft weight-sharing for neural network compression // International Conference on Learning Representations (ICLR). 2017. URL: https://arxiv.org/abs/1702.04008
Scardapane S., Scarpiniti M., Baccarelli E., Uncini A. Why should we add early exits to neural networks? // arXiv Preprint arXiv:2004.12814. 2020. URL: https://arxiv.org/abs/2004.12814
Cheng Y., Wang D., Zhou P., Zhang T. A Survey of model compression and acceleration for deep neural networks // arXiv Preprint arXiv:1710.09282. 2017. URL: https://arxiv.org/abs/1710.09282
Bajpai D.J., Hanawal M.K. A survey of early exit deep neural networks in NLP // arXiv Preprint arXiv:2501.07670. 2025. URL: https://arxiv.org/abs/2501.07670
Panda P., Sengupta A., Roy K. Conditional deep learning for energy-efficient and enhanced pattern recognition // Design, Automation & Test in Europe Conference (DATE). 2016. Pp. 475–480.
Teerapittayanon S., McDanel B., Kung H.T. BranchyNet: Fast inference via early exiting from deep neural networks // arXiv Preprint arXiv:1709.01686. 2017. URL: https://arxiv.org/abs/1709.01686
Kaya Y., Hong S., Dumitras T. Shallow-deep networks: Understanding and mitigating network overthinking // Proceedings of the 36th International Conference on Machine Learning (ICML). 2019. Pp. 3301–3310.
Laskaridis S., Venieris S.I., Almeida M. et al. SPINN: Synergistic progressive inference of neural networks over device and cloud // Proceedings of the 26th Annual International Conference on Mobile Computing and Networking (MobiCom’20). 2020. Pp. 1–15.
Huang G., Chen D., Li T. et al. Multi-scale dense networks for resource efficient image classification // International Conference on Learning Representations (ICLR). 2018. 14 p.
Kaya Y., Dumitras T. When does dynamic computation help early-exiting neural networks? // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). 2021. Pp. 2709–2718.
Venieris S.I., Laskaridis S., Lane N.D. Dynamic neural networks: A survey // IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). 2023. Vol. 45. No. 2. Pp. 2076–2098.
Viola P., Jones M. Rapid object detection using a boosted cascade of simple features // CVPR. 2001. Vol. 1.
Чесалин А.Н. Применение каскадных алгоритмов классификации для совершенствования систем обнаружения вторжений // Нелинейный мир. 2022. Т. 20. № 1. C. 24–41.
He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // arXiv:1512.03385v1 [cs.CV]. 2015.
Sai Abhishek, Allena Venkata. Resnet18 model with sequential layer for computing accuracy on image classification dataset // International Journal of Scientific Research in Computer Science, Engineering and Information Technology. 2022. Vol. 10. Pp. 2320–2882.
Stallkamp J., Schlipsing M., Salmen J., Igel C. The German Traffic Sign Recognition Benchmark: A multi-class classification competition // IEEE International Joint Conference on Neural Networks (IJCNN). 2011.
Sovrasov V. Ptflops: A flops counting tool for neural networks in Pytorch framework. 2024. URL: https://github.com/sovrasov/flops-counter.pytorch
Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.
Kim H. Torchattacks: A PyTorch repository for adversarial attacks // arXiv:2010.01950. 2020.
Moosavi-Dezfooli S.-M., Fawzi A., Frossard P. DeepFool: A simple and accurate method to fool deep neural networks // arXiv:1511.04599. 2015.
Rauber J., Brendel W., Bethge M. Foolbox: A Python toolbox to benchmark the robustness of machine learning models // arXiv:1707.04131. 2017.
Goodfellow I., Shlens J., Szegedy C. Explaining and harnessing adversarial examples // arXiv:1412.6572. 2015.
Ключевые слова:
нейронные сети с ранним выходом, повышение эффективности нейронных сетей, робастность, состязательные атаки.
