Сравнительный анализ систем хранения данных HDFS и Apache Ozone
(Стр. 26-33)
Подробнее об авторах
Иевлев Кирилл Олегович
аспирант; ассистент, кафедра математической кибернетики и информационных технологий
Московский технический университет связи и информатики (МТУСИ)
г. Москва, Российская Федерация Городничев Михаил Геннадьевич кандидат технических наук, доцент; декан, факультет «Информационные технологии»
Московский технический университет связи и информатики (МТУСИ)
г. Москва, Российская Федерация
Московский технический университет связи и информатики (МТУСИ)
г. Москва, Российская Федерация Городничев Михаил Геннадьевич кандидат технических наук, доцент; декан, факультет «Информационные технологии»
Московский технический университет связи и информатики (МТУСИ)
г. Москва, Российская Федерация
Нажимая на кнопку купить вы соглашаетесь с условиями договора оферты
Аннотация:
За последние десятилетия значительно выросло не только количество цифровых данных в мире, но и способов их использования. Пионером и долгое время синонимом платформы для хранения и обработки больших данных являлась экосистема Hadoop, которая и по сей день активно используется во множестве крупнейших компаний. Однако, за почти 20 лет, прошедших с первого релиза Hadoop, был выявлен ряд существенных недостатков, такие как «проблема маленьких файлов» и неравномерное использование ресурсов кластеров. Во многих коммерческий и исследовательских организациях встает вопрос о модернизации стека работы с данными для повышения утилизации ресурсов и расширения возможностей для эффективной работы с данными. Цель данной работы – продемонстрировать достоинства и недостатки хранилища данных нового поколения – Apache Ozone и сделать вывод о готовности технологии для полноценной замены распределенной файловой системы Hadoop (HDFS).
Образец цитирования:
ОБРАЗЕЦ ЦИТИРОВАНИЯ: Иевлев К.О., Городничев М.Г. Сравнительный анализ систем хранения данных HDFS и Apache Ozone // Computational Nanotechnology. 2025. Т. 12. № 1. С. 26-33. DOI: 10.33693/2313-223X-2025-12-1-26-33. EDN: LNPTVP
Список литературы:
Aggarwal R., Verma J., Siwach M. Small files’ problem in Hadoop: A systematic literature review. Journal of King Saud University “Computer and Information Sciences”. 2022. No. 34 (10). Part A. Pp. 8658–8674. DOI: 10.1016/j.jksuci.2021.09.007.
Harby A.A., Zulkernine F. From data warehouse to lakehouse: A comparative review. In: IEEE International Conference on Big Data (Big Data). Osaka, 2022. Pp. 389–395. DOI: 10.1109/BigData55660.2022.10020719.
Jain E.P., Gupta E.A. Hadoop architecture and its issues. International Journal of Engineering Research and General Science. 2017. No. 5 (2). Pp. 211–217. DOI: 10.1109/CSCI.2014.140.
Niazi S., Ismail M., Haridi S. et al. HopsFS: Scaling Hierarchical File System Metadata Using NewSQL Databases. In: 15th USENIX Conference on File and Storage Technologies (FAST 17). USENIX Association, 2017. Pp. 89–104. DOI: 10.48550/arXiv.1606.01588.
Sharma G., Tripathi V., Srivastava A. Recent trends in Big Data ingestion tools: A study. In: Research in Intelligent and Computing in Engineering, Springer, 2021. Pp. 873–881. DOI: 10.1007/978-981-15-7527-3_83.
Shvachko K. HDFS scalability: The limits to growth. Login Usenix Mag. 2010. No. 35. Pp. 6–16.
White T. Hadoop: The definitive guide. 4 ed. O’Reilly Media, Inc., 2015. 754 p.
Harby A.A., Zulkernine F. From data warehouse to lakehouse: A comparative review. In: IEEE International Conference on Big Data (Big Data). Osaka, 2022. Pp. 389–395. DOI: 10.1109/BigData55660.2022.10020719.
Jain E.P., Gupta E.A. Hadoop architecture and its issues. International Journal of Engineering Research and General Science. 2017. No. 5 (2). Pp. 211–217. DOI: 10.1109/CSCI.2014.140.
Niazi S., Ismail M., Haridi S. et al. HopsFS: Scaling Hierarchical File System Metadata Using NewSQL Databases. In: 15th USENIX Conference on File and Storage Technologies (FAST 17). USENIX Association, 2017. Pp. 89–104. DOI: 10.48550/arXiv.1606.01588.
Sharma G., Tripathi V., Srivastava A. Recent trends in Big Data ingestion tools: A study. In: Research in Intelligent and Computing in Engineering, Springer, 2021. Pp. 873–881. DOI: 10.1007/978-981-15-7527-3_83.
Shvachko K. HDFS scalability: The limits to growth. Login Usenix Mag. 2010. No. 35. Pp. 6–16.
White T. Hadoop: The definitive guide. 4 ed. O’Reilly Media, Inc., 2015. 754 p.
Ключевые слова:
хранение больших данных, распределенные файловые системы, объектное хранилище.
Статьи по теме
