ДО ВИЯВЛЕННЯ ГЛОБАЛЬНОГО СТАНДАРТУ МЕТАСКАФОЛДИНГУ: ВИПАДОК ШАБЛОНУ METASCAFFOLD TAXOFRAME ЯК ПАРАДИГМАТИЧНА ДЕМОНСТРАЦІЯ ПІДХОДУ
DOI:
https://doi.org/10.17721/AIT.2025.2.03Ключові слова:
MetaScaffold, конструювання таксономій, мета-промптинг, мульти-агентні системи, великі мовні моделі, фреймворки AI-міркування, організація знань, ітераційне удосконалення, онтологічна інженерія.Анотація
Вступ. Поширення AI-систем на основі великих мовних моделей (LLM) призвело до широкого впровадження каркасних методологій міркування, які покращують можливості моделей через структуровані підходи, включаючи ланцюгові промпти, мульти-агентну координацію та інтеграцію зовнішніх інструментів. Однак спонтанний характер сучасних процесів проектування каркасів створює значні виклики щодо сумісності, масштабованості та відтворюваності в різних AI-робочих процесах. Ця стаття представляє парадигму МетаСкафолдингу – абстракцію вищого рівня для структурування та оркестрації процесів міркування AI, яка забезпечує багаторазові, систематичні, домен-агностичні принципи для організації знань та кроків міркування. Ми представляємо Шаблон MetaScaffold TaxoFrame (MSTFT) як практичну реалізацію цієї парадигми, спеціально розроблену для завдань таксономічної обробки, демонструючи, як стандартизовані мета-структури можуть покращити модульність та ефективність AI-систем, зберігаючи гнучкість у різних доменах та застосуваннях.
Методи. Ми формалізуємо metascaffold як структуровані механізми оркестрації, які динамічно інтегрують мета-рівневий промптинг, агент-орієнтоване міркування, цикли саморефлексії та зовнішнє отримання знань через центральний механізм прийняття рішень. Фреймворк MSTFT реалізує цю парадигму з основними компонентами, включаючи: (1) мета-промпти та рекурсивні мета-промпти для ітераційних циклів удосконалення, (2) модульні агентні системи для спеціалізованих можливостей міркування, (3) управління пам'яттю та контекстом для семантичної послідовності, та (4) налаштовувані параметри моделі для оптимізації завдань. Наша реалізація відповідає структурованій процедурі, що включає попередню обробку та отримання, збирання мета-промптів, динамічний вибір моделі та ітераційне міркування з валідацією. Ми оцінили MSTFT порівняно з базовими методами Single-Pass LLM (SP-LLM) та Iterative Prompting (IP) у кількох доменах (програмне забезпечення, деревина, біологія, хвороби), використовуючи референсні таксономії, побудовані з гіперонімів WordNet та похідних термінів ConceptNet, з фокусом оцінки на концептуальній релевантності, ієрархічній когерентності, дотриманні інструкцій та ефективності генерації.
Результати. Експериментальна валідація демонструє перевершуючу ефективність MSTFT за всіма метриками оцінки. У домені програмного забезпечення MSTFT зазвичай генерує 80-90 добре структурованих та семантично відмінних підконцептів порівняно з SP-LLM (~30 концептів) та IP (~50 концептів), які демонстрували проблеми з надмірністю та неоднозначністю. MSTFT послідовно підтримував триривневу ієрархічну глибину згідно зі специфікацією, тоді як базові методи продукували плоскі або непослідовні структури. Фреймворк досяг оптимального балансу між якістю та ефективністю витрат (~$0.03 за таксономію) порівняно з SP-LLM (~$0.01) та IP (~$0.10). Кроссдоменна оцінка підтвердила узагальнюваність MSTFT, продукуючи більш диференційовані та структуровані ієрархії в доменах деревини, біології та хвороб. Якісний аналіз виявив, що виводи MSTFT демонструють вищу концептуальну релевантність, ієрархічну когерентність та мінімальні логічні помилки з приблизно 25-30 валідними підконцептами на рівень на три ієрархічні рівні.
Висновки. Ця робота представляє парадигму МетаСкафолдингу та демонструє її практичну реалізацію через MSTFT, вирішуючи критичні прогалини в існуючих методологіях AI-каркасів. MSTFT успішно інтегрує мета-рівневе міркування, ітераційне удосконалення та мульти-агентну оркестрацію в уніфікований, сумісний фреймворк, що значно покращує якість конструювання таксономій зберігаючи обчислювальну ефективність. Модульний дизайн фреймворку, механізми семантичної валідації та стандартизований підхід забезпечують основу для ширших застосувань у завданнях AI-міркування, включаючи вирівнювання онтологій, довгострокове планування та багатокрокове відповідання на запитання. Майбутні напрями досліджень включають покращену семантичну валідацію, підтримку мульти-модального міркування та розширену емпіричну оцінку в різних доменах та мовах. Хоча існують обмеження щодо залежностей від LLM та обчислювальних накладних витрат, MSTFT встановлює перспективну парадигму для стандартизованих, багатофункціональних AI-каркасних фреймворків, які балансують гнучкість із систематичною структурністю.
Завантажити
Посилання
Bhutani, N., Kandogan, E., Rahman, S., Mitchell, T., Hruschka, E., & Pezeshkpour, P. (2024). Reasoning capacity in multi-agent systems: Limitations, challenges and human-centered solutions (arXiv:2402.01108). arXiv. https://doi.org/10.48550/arXiv.2402.01108
Gao, P., Xie, A., Mao, S., Wu, W., Xia, Y., Mi, H., & Wei, F. (2024). Meta reasoning for large language models (arXiv:2406.11698). arXiv. https://doi.org/10.48550/arXiv.2406.11698
Huang, X., Cheng, S., Huang, S., Shen, J., Xu, Y., Zhang, C., & Qu, Y. (2024). QueryAgent: A reliable and efficient reasoning framework with environmental feedback-based self-correction (arXiv:2403.11886). arXiv. https://doi.org/10.48550/arXiv.2403.11886
Kelley, R. (2024). Behavior trees enable structured programming of language model agents (arXiv:2404.07439). arXiv. https://doi.org/10.48550/arXiv.2404.07439
Liu, Y., Lo, S. K., Lu, Q., Zhu, L., Zhao, D., Xu, X., Harrer, S., & Whittle, J. (2024). Agent design pattern catalogue: A collection of architectural patterns for foundation model based agents (arXiv:2405.10467). arXiv. https://doi.org/10.48550/arXiv.2405.10467
Ma, C., Feng, X., Zhang, Z., Yang, H., Zhang, J., Chen, Z., Tang, J., Chen, X., Lin, Y., Zhao, W. X., Wei, Z., Wen, J.-R., & Wang, L. (2024). A survey on large language model based autonomous agents. Frontiers of Computer Science. 18, 186345. https://doi.org/10.1007/s11704-024-40231-1
Miller, G. A. (1992). WordNet: A lexical database for English. In Speech and Natural Language: Proceedings of a Workshop Held at Harriman, New York, February 23–26, 1992. ACL Anthology. https://aclanthology.org/H92-1116/
OpenAI. (2023). GPT-4 API general availability. https://openai.com
Shinn, N., Cassano, F., Berman, E., Gopinath, A., Narasimhan, K., & Yao, S. (2023). Reflexion: Language agents with verbal reinforcement learning. In Proceedings of the 37th International Conference on Neural Information Processing Systems (NeurIPS 2023). Curran Associates, Inc. https://doi.org/10.48550/arXiv.2303.11366
Speer, R., Chin, J., & Havasi, C. (2017). ConceptNet 5.5: An open multilingual graph of general knowledge. In Proceedings of the Thirty-First AAAI Conference on Artificial Intelligence (AAAI '17) (pp. 4444–4451). Association for the Advancement of Artificial Intelligence. https://doi.org/10.1609/aaai.v31i1.11164
Suzgun, M., & Kalai, A. T. (2024). Meta-prompting: Enhancing language models with task-agnostic scaffolding (arXiv:2401.12954). arXiv. https://doi.org/10.48550/arXiv.2401.12954
Yao, S., Zhao, J., Yu, D., Du, N., Shafran, I., Narasimhan, K., & Cao, Y. (2023). ReAct: Synergizing reasoning and acting (arXiv:2210.03629). arXiv. https://doi.org/10.48550/arXiv.2210.03629
Zhang, Y., Yuan, Y., & Yao, A. C.-C. (2024). Meta prompting for AI systems (arXiv:2311.11482). arXiv. https://doi.org/10.48550/arXiv.2311.11482
Zhou, Y., Liu, Z., Jin, J., Nie, J.-Y., & Dou, Z. (2024). Metacognitive retrieval-augmented large language models (arXiv:2402.11626). arXiv. https://doi.org/10.48550/arXiv.2402.11626
Опубліковано
Версії
- дата публікації 2026-10-16, версія (2)
- дата публікації 2026-05-06, версія (1)
Номер
Розділ
Ліцензія
Авторське право (c) 2026 Данило ДВОЙЧЕНКОВ, аспірант, Олександр МАРЧЕНКО, д-р фіз.-мат. наук, проф. (Автор)

Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.