ОПТИМІЗАЦІЯ ОБСЯГУ МЕТАДАНИХ У СУЧАСНИХ ІНФОРМАЦІЙНИХ СИСТЕМАХ: МЕТОДИ, ІНСТРУМЕНТИ Й АЛГОРИТМІЧНІ ПІДХОДИ
DOI:
https://doi.org/10.17721/AIT.2025.1.01Ключові слова:
метадані, оптимізація, управління, інформація, динамічність, адаптивність, релевантність, продуктивність, якість, алгоритм, стисненняАнотація
В с т у п. Дослідження питання оптимізації обсягу метаданих спрямовано на досягнення балансу між достатністю опису й ефективністю системи. Надмірний обсяг метаданих може перевантажувати системи, а недостатній – ускладнювати доступ до даних. Водночас зростаючий обсяг даних ускладнює роботу з метаданими, оскільки їхнє створення, зберігання та оброблення вимагають значних ресурсів. Оптимізація обсягу метаданих стала важливим завданням для організацій, які прагнуть досягти ефективного управління інформацією. Виклики, пов'язані з обсягом метаданих: надмірність, недостатність, дублювання, динамічність даних, невідповідність стандартам.
М е т о д и. Розглянуто теоретичні основи, практичні методи, інструменти (Collibra, Apache Atlas, Talend Metadata Manager, AI-алгоритми) та переваги оптимізації обсягу метаданих (зменшення витрат, покращення продуктивності, підвищення якості даних, гнучкість і масштабованість, покращення аналітики).
Р е з у л ь т а т и. Запропоновано комплексну стратегію оптимізації метаданих, адаптовану для ІТ-середовища. Показано, що використання систематичного підходу, включаючи аналіз, стандартизацію, автоматизацію та інтеграцію новітніх технологій, дає змогу значно зменшити витрати та покращити керування даними. Представлено алгоритм оптимізації обсягу метаданих, що може бути адаптований для різних сфер застосування, таких як бази даних, системи управління контентом чи великі дані.
В и с н о в к и. Запропонований алгоритм враховує: оцінювання корисності метаданих із використанням нормалізації метрик для уніфікації шкал оцінювання та з визначенням корисності кожного елемента метаданих; відбір метаданих (фільтрація, кластеризація); стиснення метаданих; автоматичну оптимізацію з використанням моделей машинного навчання та динамічного налаштування; перевірку й адаптацію. Алгоритм може бути розширений або змінений залежно від специфіки задачі.
Завантажити
Посилання
Bizer, C., Heath, T., & Berners-Lee, T. (2009). Linked data – The story so far. International Journal on Semantic Web and Information Systems, 5(3), 1–22. https://doi.org/10.4018/jswis.2009081901
Dean, J., & Ghemawat, S. (2004). MapReduce: Simplified data processing on large clusters. Communications of the ACM, 51(1), 107–113. https://doi.org/10.1145/1327452.1327492
Ghemawat, S., Gobioff, H., & Leung, S.-T. (2003). The Google file system. In Proceedings of the 19th ACM Symposium on Operating Systems Principles (SOSP ’03) (pp. 29–43). Association for Computing Machinery. https://doi.org/10.1145/945445.945450
Joulin, A., Grave, E., Bojanowski, P., & Mikolov, T. (2017). Bag of tricks for efficient text classification. In M. Lapata, P. Blunsom, & A. Koller (Eds.), Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Vol. 2, Short Papers (pp. 427–431). Association for Computational Linguistics. https://doi.org/10.18653/v1/E17-2068
Korshun, N., Myshko, I., & Tkachenko, O. (2023). Automation and management in operating systems: The role of artificial intelligence and machine learning. In Proceedings of the 20th International Scientific Conference Dynamical System Modeling and Stability Investigation (DSMSI 2023: Mathematical Foundations of Information Technologies) (pp. 59–68). Igor Sikorsky Kyiv Polytechnic Institute; published online in CEUR Workshop Proceedings. https://ceur-ws.org/Vol-3687/
Mikolov, T., Chen, K., Corrado, G., & Dean, J. (2013). Efficient estimation of word representations in vector space. arXiv. https://doi.org/10.48550/arXiv.1301.3781
Turovsky, O., Tkachenko, O., Ghno, G. S. N., & Abed, A. M. (2024). Selection and substantiation of the system of criteria for evaluating the effectiveness of steganographic methods of hiding information in the image. In Proceedings of the 35th Conference of Open Innovations Association (FRUCT) (pp. 755–763). Open Innovations Association (FRUCT). https://doi.org/10.23919/FRUCT61870.2024.10516392
Завантаження
Опубліковано
Номер
Розділ
Ліцензія
Авторське право (c) 2025 Сучасні інформаційні технології
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution-NonCommercial 4.0 International License.
Авторське право (c) 2025 Сучасні інформаційні технології
Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.
