Иерархический механизм внимания в трансформерах: GPU-оптимизация и регуляризационный эффект
(Стр. 13-23)

Подробнее об авторах
Веселов Дмитрий Иванович младший научный сотрудник, молодежная лаборатория компьютерного зрения, кафедра искусственного интеллекта, факультет информационных технологий и анализа больших данных
Финансовый университет при Правительстве Российской Федерации
г. Москва, Российская Федерация Андриянов Никита Андреевич кандидат технических наук, доцент; заведующий, молодежная лаборатория компьютерного зрения, кафедра искусственного интеллекта, факультет информационных технологий и анализа больших данных; Финансовый университет при Правительстве Российской Федерации; г. Москва, Российская Федерация

Нажимая на кнопку купить вы соглашаетесь с условиями договора оферты

Аннотация:
Механизм внимания трансформеров обладает квадратичной сложностью O(n2d), и именно это ограничивает его применимость к длинным последовательностям. Субквадратичные подходы вроде бы снимают проблему, однако на практике обещанного ускорения чаще всего не дают – мешают накладные расходы конкретной реализации. Мы поставили целью разработать методологию низкоуровневой GPU-оптимизации иерархического механизма внимания, которая давала бы ощутимое ускорение и при этом не ухудшала качество языкового моделирования. Предлагаемый механизм сочетает локальное внимание с окном 256 токенов и межчанковое внимание, опирающееся на агрегированные представления сегментов. В основе реализации – три объединенных GPU-ядра: они убирают промежуточную материализацию тензоров и держат матрицы scores в разделяемой памяти. Проверку проводили на корпусе WikiText-103; модель содержала 16,3 млн параметров, длины последовательностей брали из набора n ∈ {256, 512, 1024}. Оптимизированный вариант ускоряет инференс до 1,77× (n = 1024) и обучение до 1,20×, а коэффициент практической эффективности при n = 512 доходит до 18% – это верхняя граница характерного для подобных методов диапазона 3–14%. Перплексия при этом снизилась на 11% (44,53 против 50,11, p < 0,001), что мы связываем с регуляризационным эффектом структурных ограничений иерархического внимания.
Образец цитирования:
ОБРАЗЕЦ ЦИТИРОВАНИЯ: Веселов Д.И., Андриянов Н.А. Иерархический механизм внимания в трансформерах: GPU-оптимизация и регуляризационный эффект // Computational Nanotechnology. 2026. Т. 13. № 3. С. 13-23. DOI: 10.33693/2313-223X-2026-13-3-13-23. EDN: WCEGAU
Список литературы:
Безрученко А.Ю., Егунов В.А. Исследование эффективности методов оптимизации программ для параллельных вычислительных систем с GPU // Вестник Дагестанского государственного технического университета. Технические науки. 2023. Т. 50. № 4. С. 59–74. DOI: 10.21822/2073-6185-2023-50-4-59-74. EDN: JZSYDM.
Бережнов Н.И., Сирота А.А. Совершенствование механизмов внимания для архитектуры трансформер в задачах повышения качества изображений // Компьютерная оптика. 2024. Т. 48. № 5. С. 726–733. DOI: 10.18287/2412-6179-CO-1393. EDN: HXOXQD.
Борисенко Д.С. Сравнение алгоритмов обработки естественной речи: Longformer-Encoder-Decoder и Big Bird // Международный журнал информационных технологий и энергоэффективности. 2024. Т. 9. № 6 (44). С. 75–79. EDN: ZOOCTH.
Булатов А.С., Куратов Ю.М., Бурцев М.С. Обзор архитектуры рекуррентного трансформера в контексте нейронных сетей с памятью // Труды Московского физико-технического института. 2024. Т. 16. № 4 (64). С. 5–20. EDN: TTOVIO.
Гисин В.Б. Динамическая модель внимания в трансформерах // Цифровые решения и технологии искусственного интеллекта. 2025. Т. 1. № 4. С. 35–42. DOI: 10.26794/3033-7097-2025-1-4-35-42.
Карпов Д.А., Коновалов В.П. Энкодер-агностичные модели типа Трансформер: перенос знаний на разговорных задачах для русского языка // Речевые технологии. 2023. № 2. С. 64–77. EDN: HGCSWS.
Кашко В.В., Олейникова С.А. Влияние dropout регуляризации глубокой сети на сходимость и устойчивость алгоритма градиента стратегии Advantage Actor Critic (A2C) // Вестник Пензенского государственного университета. 2025. № 1 (49). С. 62–65. EDN: UDCJBF.
Копылова Я.А. Исследование методов оптимизации использования механизма внимания в архитектуре нейронных сетей // Парадигма. 2025. № 5-2. С. 191–199. EDN: NEJANF.
Кошелев Н.М., Тарлыков А.В., Преображенский А.П. Трансформеры и механизмы внимания для прогнозирования финансовых временных рядов: применение в инвестиционном анализе энергетического сектора // Вестник Воронежского института высоких технологий. 2026. № 1 (56). EDN: FDNBDX.
Татарникова Т.М., Мокрецов Н.С. Оптимизация моделей дистилляции знаний для языковых моделей // Научно-технический вестник информационных технологий, механики и оптики. 2025. Т. 25. № 4. С. 737–743. DOI: 10.17586/2226-1494-2025-25-4-737-743. EDN: PSPNOU.
Хусаинова А.М., Романов В.А., Хан А.М. Многоязычный машинный перевод с помощью иерархического трансформера // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. 2022. № 1. С. 125–138. DOI: 10.17308/sait.2022.1/9207. EDN: UZTTNL.
Bae J., Cheon B.D., Kim H.Y. Pro-attention: Efficient probability distribution matching-based attention through feature space conversion // IEEE Access. 2022. Vol. 10. Pp. 131192–131201. DOI: 10.1109/access.2022.3229055. EDN: SMLRFM.
Dai Z., Lai G., Yang Y., Le Q.V. Funnel-transformer: Filtering out sequential redundancy for efficient language processing // Advances in Neural Information Processing Systems (NeurIPS). 2020. Vol. 33. Pp. 4271–4282. DOI: 10.48550/arXiv.2006.03236.
Dao T. FlashAttention-2: Faster attention with better parallelism and work partitioning // International Conference on Learning Representations (ICLR). 2024. DOI: 10.48550/arXiv.2307.08691.
Dao T., Fu D.Y., Ermon S. et al. FlashAttention: Fast and memory-efficient exact attention with IO-awareness // Advances in Neural Information Processing Systems (NeurIPS). 2022. Vol. 35. Pp. 16344–16359. DOI: 10.48550/arXiv.2205.14135.
Loshchilov I., Hutter F. Decoupled Weight Decay Regulariza­tion // International Conference on Learning Representations (ICLR). 2019. DOI: 10.48550/arXiv.1711.05101.
Park T., Kim H.Ch. Improving systematic generalization of li­near transformer using normalization layers and orthogonality loss function // Mathematics. 2024. Vol. 12. No. 21. P. 3390. DOI: 10.3390/math12213390. EDN: JWJBUW.
Samonov A. Methods for optimizing the training and fine-tuning of large language models // Intellectual Technologies on Transport. 2024. No. 3 (39). Pp. 5–12. DOI: 10.20295/2413-2527-2024-339-5-12. EDN: SBXKCF.
Tay Y., Dehghani M., Bahri D., Metzler D. Efficient transformers: A survey // ACM Computing Surveys. 2022. Vol. 55. No. 6. Pp. 1–28. DOI: 10.1145/3530811.
Wang X., Zhang H., Zhao Sh. et al. HiBERT: Detecting the il­logical patterns with hierarchical BERT for multi-turn dialogue reasoning // Neurocomputing. 2023. Vol. 524. Pp. 167–177. DOI: 10.1016/j.neucom.2022.12.038. EDN: HBYPXI.
Ключевые слова:
трансформеры, механизм внимания, иерархическая архитектура, GPU-оптимизация, языковые модели, субквадратичные алгоритмы.