ЗАСТОСУВАННЯ ТА АНАЛІЗ ФОРМАЛЬНИХ МЕТОДІВ ОЦІНЮВАННЯ РЕЛЕВАНТНОСТІ АВТОМАТИЧНО СТВОРЕНИХ РЕФЕРАТІВ ІНФОРМАЦІЙНИХ ТЕКСТІВ

Олексій КУЗНЄЦОВ, асп. ORCID ID: 0000-0002-3537-9976

e-mail: oleksiy1908@gmail.com

Національний технічний університет України “Київський політехнічний інститут імені Ігоря Сікорського”, Київ, Україна

Геннадій КИСЕЛЬОВ, канд. техн. наук, cт. наук. співроб.

ORCID ID: 0000-0003-2682-3593

DOI: https://doi.org/10.17721/AIT.2024.1.04

Анотація

В с т у п . Розглянуто існуючі підходи до оцінювання якості автоматично створених рефератів інформаційних текстів. Дано огляд методів автоматичного реферування, включаючи класичні підходи та сучасні моделі на основі штучного інтелекту. Огляд містить екстрактивні методи реферування, такі як TF-IDF та PageRank, а також графові методи, зокрема TextRank. Особливу увагу приділено абстрактним підходам, що включають моделі Generative Pretrained Transformer (GPT) і Bidirectional and Auto-Regressive Transformers (BART). Оцінювання якості генерованих рефератів виконують за допомогою кількісних метрик оцінювання релевантності рефератів, зокрема і ROUGE та BLEU.

М е т о д и . Проаналізовано кілька підходів до автоматичного реферування текстів. Класичні екстрактивні методи, зокрема і TF-IDF, обчислюють важливість термів на основі частоти їхнього вживання в документі та в колекції документів. PageRank і TextRank використовують графові моделі для визначення значущості речень на основі зв’язків між ними. Абстрактні методи, такі як GPT і BART, генерують нові речення, що стисло передають зміст оригінального тексту. Оцінювання ефективності кожного підходу здійснюється метриками ROUGE і BLEU, які вимірюють збіг між автоматично згенерованими рефератами й еталонними текстами. Особливу увагу приділено аналізу їхньої точності, гнучкості, вимогам до ресурсів і простоті реалізації.

Р е з у л ь т а т и . Результати дослідження свідчать, що метрики ROUGE показують хорошу точність у вимірюванні збігів n-грам (послідовностей з n слів), тоді як BLEU ефективна у завданнях машинного перекладу, але може не враховувати деякі синтаксичні особливості тексту. Оцінювання методів автоматичного реферування за допомогою цих метрик показала, що екстрактивні методи реферування, такі як TF-IDF, є ефективними для оброблення простих текстів, але можуть втратити важливий контекст у складних текстах. PageRank і TextRank дозволяють враховувати зв’язки між реченнями, проте можуть давати менш релевантні результати для текстів із слабко вираженими структурними зв’язками. Абстрактні моделі GPT і BART забезпечують гнучкіший підхід до реферування, створюючи нові речення, що краще передають зміст, однак потребують значних обчислювальних ресурсів і складні у впровадженні.

В и с н о в к и . Поєднання класичних і сучасних методів автоматичного реферування текстів дозволяє досягти вищої якості результатів. Важливо враховувати специфіку тексту та вимоги до кінцевого результату, адаптуючи обрані підходи та метрики відповідно до завдання.

К л ю ч о в і с л о в а : автоматичне реферування, екстрактивні методи, абстрактні методи, GPT, BART, ROUGE, BLEU, TextRank, PageRank, TF-IDF.

PDF

Опубліковано

2024-12-20

Як цитувати

Олексій КУЗНЄЦОВ, Геннадій КИСЕЛЬОВ “ ЗАСТОСУВАННЯ ТА АНАЛІЗ ФОРМАЛЬНИХ МЕТОДІВ ОЦІНЮВАННЯ РЕЛЕВАНТНОСТІ АВТОМАТИЧНО СТВОРЕНИХ РЕФЕРАТІВ ІНФОРМАЦІЙНИХ ТЕКСТІВ” Сучасні інформаційні технології №1(3), pp. 32–48, 2024

Номер

Advanced Information Technology № 1 (3), 2024

Розділ

Прикладні інформаційні системи та технології

DOI: https://doi.org/10.17721/AIT.2024.1.04

Список використаних джерел

Кузнєцов, О., & Кисельов, Г. (2022). Методи розпізнавання текстів та пошуку ключових слів для автоматичного реферування текстів. Системні науки та інформатика: збірник доповідей І науково-практичної конференції “Системні науки та інформатика”, 22–29 листопада 2022 року (с. 331–335). Національний технічний університет України “Київський політехнічний інститут імені Ігоря Сікорського”. https://ai.kpi.ua/ua/document2022.pdf

Callison-Burch, C., Osborne, M., & Koehn, P. (2006). Re-evaluating the Role of Bleu in Machine Translation Research. In 11th Conference of the European Chapter of the Association for Computational Linguistics (pp. 249–256). Trento, Italy. Association for Computational Linguistics. https://aclanthology.org/E06-1032/

Christen, P., J. Hand, D., & Kirielle, N. (2024). A review of the F-measure: Its History, Properties, Criti-cism, and Alternatives. ACM Computing Surveys, 56(3), 1–24. https://doi.org/10.1145/3606367

Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 1 (Long and Short Papers), (pp. 4171–4186). Minneapolis, Minnesota. Association for Computational Linguistics. https://doi.org/10.18653/v1/N19-1423

Hosna, A., Merry, E., Gyalmo, J., Alom, Z, Aung, Z., Azim, M. A. (2022). Transfer learning: a friendly introduction. Journal of Big Data, 9(102). https://doi.org/10.1186/s40537-022-00652-w

Kuznietsov, O., & Kyselov, G. (2024). An overview of current issues in automatic text summarization of natural language using artificial intelligence methods. Technology Audit and Production Reserves, 4(78), 12–19. https://journals.uran.ua/tarp/article/view/309472

Lewis, M., Liu,Y., Goyal, N., Ghazvininejad, M., Mohamed, A., Levy, O., Stoyanov, V., & Zettlemoyer, L. (2020). BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, online (pp. 7871–7880). Association for Computational Linguistics. https://doi.org/10.18653/v1/2020.acl-main.703

Lin, C.-Y. (2004). ROUGE: A Package for Automatic Evaluation of Summaries. In Text Summarization Branches Out (pp. 74–81). Barcelona, Spain. Association for Computational Linguistics. https://aclanthology.org/W04-1013.pdf

Lin, C.-Y., & Hovy, E. H. (2000). The Automated acquisition of topic signatures for text summarization. In Proceedings of COLING-00. Saarbrücken, Germany (pp. 495–501). International Committee on Computational Linguistics. https://doi.org/10.1007/978-3-540-74851-9_25

Mihalcea, R., & Tarau P. (2004). TextRank: Bringing order into texts. Association for Computational Linguistics. https://web.eecs.umich.edu/~mihalcea/papers/mihalcea.emnlp04.pdf

Moratanch, N., & Chitrakala, S. (2016). A survey on abstractive text summarization, 2016 International Conference on Circuit, Power and Computing Technologies (ICCPCT) (pp. 1–7). Nagercoil, India. Institute of Electrical and Electronics Engineers. https://ieeexplore.ieee.org/document/7530193 OpenAI. (2022). ChatGPT. https://openai.com/chatgpt/

Papineni, K., Roukos, S., Ward, T., & Zhu, W. J. (2002). BLEU: a method for automatic evaluation of machine translation. ACL-2002: 40th Annual meeting of the Association for Computational Linguistics, (pp. 311–318). Association for Computational Linguistics. http://aclweb.org/anthology/P/P02/P02-1040.pdf

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, Aidan, N., Kaiser, Ł., & Polosukhin, I. (2017). Attention is All you Need. Advances in Neural Information Processing Systems, 30. Curran Associates, Inc. https://arxiv.org/abs/1706.03762