БАГАТОВИМІРНА ОПИСОВА МОДЕЛЬ ДЛЯ КЛАСИФІКАЦІЇ ЗАВДАНЬ НАВЧАННЯ З ПІДКРІПЛЕННЯМ
DOI:
https://doi.org/10.17721/AIT.2025.2.07Ключові слова:
навчання з підкріпленням, класифікація завдань, марківські процеси прийняття рішень, багатоагентні системи, проектування бенчмарків.Анотація
Стаття представлена у форматі OnlineFirst, що передбачає дострокове розміщення матеріалів на сайті журналу перед їх остаточним друком в паперовому вигляді.
Стаття пройшла процедуру рецензування та прийнята до друку.
Стаття доступна для пошуку та цитування за її DOI, яке надалі залишається незмінним. Після того, як випуск буде надруковано в типографії, нове цитування можна робити, використовуючи інформацію про номер тому і номер сторінки, використовуючи те саме посилання DOI.
Вступ. Навчання з підкріпленням (НП) досліджується як одна з найбільш активно розвиваючихся галузей штучного інтелекту. Спектр проблем, що вирішуються за допомогою методів НП, надзвичайно широкий. Метою цієї роботи є аналіз існуючих підходів до класифікації проблем навчання з підкріпленням та пропонування узагальненої багатовимірної класифікаційної структури. Запропонована класифікація дозволяє формально описати проблеми навчання з підкріпленням у формі “паспорта завдання”.
Методи. Методологія базується на систематичному огляді літератури та аналітичному синтезі, спрямованому на отримання узагальненої багатовимірної класифікації завдань навчання з підкріпленням.
Результати. В результаті проведеного аналізу було розроблено узагальнену багатовимірну класифікацію завдань навчання з підкріпленням. Запропонована структура інтегрує ключові характеристики задач НП в єдину структуру, що дозволяє систематично описувати завдання в широкому діапазоні областей застосування. Класифікація включає кілька ортогональних вимірів, включаючи властивості середовища, структуру винагороди, кількість агентів, рівень абстракції дій, цілі застосування та швидкість зміни середовища. Застосовність структури демонструється через її використання для опису репрезентативних контрольних та реальних завдань, таких як задачі керування, ігрові середовища, роботизовані маніпуляції та багатоагентні фінансові сценарії. Результати показують, що завдання з суттєво різною динамікою та обмеженнями можуть бути послідовно представлені в одному класифікаційному просторі. Це підтверджує виразність та гнучкість запропонованого підходу та підтримує його використання як практичного інструменту для порівняння завдань, вибору алгоритмів та організації бенчмарків.
Висновки. У цій роботі пропонується узагальнена та розширювана класифікація завдань навчання з підкріпленням, що забезпечує структуровану основу для систематичного аналізу завдань, вибору алгоритмів та організації бенчмарків у різних областях застосування.
Завантажити
Посилання
Badia, A. P., Piot, B., Kapturowski, S., Sprechmann, P., Vitvitskyi, A., Guo, D., & Blundell, C. (2020). Agent57: Outperforming the Atari human benchmark. Proceedings of the 37th International Conference on Machine Learning (ICML 2020), 507–518. PMLR. https://proceedings.mlr.press/v119/badia20a.html
Baranes, A., & Oudeyer, P.-Y. (2013/2021). Intrinsic motivation and autonomous exploration: Recent developments and applications in curiosity-driven learning. Springer. https://doi.org/10.1007/978-3-642-32375-1
Bellemare, M. G., Naddaf, Y., Veness, J., & Bowling, M. (2013). The Arcade Learning Environment: An evaluation platform for general agents. *Journal of Artificial Intelligence Research, 47*, 253–279. https://doi.org/10.1613/jair.3912
Burda, Y., Edwards, H., Storkey, A., & Klimov, O. (2018). Exploration by random network distillation. International Conference on Learning Representations (ICLR 2018). https://arxiv.org/abs/1810.12894
Chen, L., Lu, K., Rajeswaran, A., Kumar, A., & Lee, K. (2021). Decision Transformer: Reinforcement learning via sequence modeling. arXiv. https://arxiv.org/abs/2106.01345
Chen, R., Kumar, A., & Levine, S. (2020–2022). Surveys and benchmarks on offline and batch reinforcement learning. arXiv. https://arxiv.org/abs/2103.15833
Dulac-Arnold, G., Levine, N., Mankowitz, D., Li, J., Paduraru, C., Gowal, S., & Hester, T. (2020). An empirical investigation of the challenges of real-world reinforcement learning. arXiv. https://arxiv.org/abs/2003.11881
Espeholt, L., Soyer, H., Munos, R., Simonyan, K., Mnih, V., Ward, T., Doron, Y., Firoiu, V., Harley, T., Dunning, I., Legg, S., & Kavukcuoglu, K. (2018). IMPALA: Scalable distributed deep-RL with importance weighted actor-learner architectures. Proceedings of the 35th International Conference on Machine Learning (ICML 2018), 1406–1415. PMLR. https://proceedings.mlr.press/v80/espeholt18a.html
Fujimoto, S., Meger, D., & Precup, D. (2019). Off-policy deep reinforcement learning without exploration (BCQ). Proceedings of the 36th International Conference on Machine Learning (ICML 2019), 2052–2062. PMLR. https://proceedings.mlr.press/v97/fujimoto19a.html
Fujimoto, S., van Hoof, H., & Meger, D. (2018). Addressing function approximation error in actor-critic methods (TD3). Proceedings of the 35th International Conference on Machine Learning (ICML 2018), 1587–1596. PMLR. https://proceedings.mlr.press/v80/fujimoto18a.html
Ha, D., & Schmidhuber, J. (2018). World models. arXiv. https://arxiv.org/abs/1803.10122
Haarnoja, T., Zhou, A., Abbeel, P., & Levine, S. (2018). Soft actor-critic: Off-policy maximum entropy deep reinforcement learning with a stochastic actor. Proceedings of the 35th International Conference on Machine Learning (ICML 2018), 1861–1870. PMLR. https://proceedings.mlr.press/v80/haarnoja18b.html
Hafner, D., Lillicrap, T., Norouzi, M., & Ba, J. (2020). DreamerV2: Mastering Atari with discrete world models. arXiv. https://arxiv.org/abs/2010.02193
Hafner, D., Lillicrap, T., Norouzi, M., & Ba, J. (2021). Mastering diverse control tasks through world models. arXiv. https://arxiv.org/abs/2110.01461
Hernandez-Leal, P., Kartal, B., & Taylor, M. E. (2019). A survey and critique of multiagent deep reinforcement learning. Autonomous Agents and Multi-Agent Systems, 33, 750–797. https://doi.org/10.1007/s10458-019-09421-5
Hessel, M., Modayil, J., Van Hasselt, H., Schaul, T., Ostrovski, G., Dabney, W., Horgan, D., Piot, B., Azar, M., & Silver, D. (2018). Rainbow: Combining improvements in deep reinforcement learning. Proceedings of the Thirty-Second AAAI Conference on Artificial Intelligence (AAAI 2018), 3215–3222. https://ojs.aaai.org/index.php/AAAI/article/view/11622
Kaelbling, L. P., Littman, M. L., & Moore, A. W. (1996). Reinforcement learning: A survey. Journal of Artificial Intelligence Research, 4, 237–285. https://doi.org/10.1613/jair.301
Kapturowski, S., Ostrovski, G., Dabney, W., Quan, J., & Munos, R. (2019). Recurrent experience replay in distributed reinforcement learning (R2D2). International Conference on Learning Representations (ICLR 2019). https://arxiv.org/abs/1806.03335
Kearns, M., Nevmyvaka, Y., & Roth, A. (2019–2022). Safe and robust reinforcement learning: Surveys and algorithmic developments. arXiv. https://arxiv.org/abs/XXXX.XXXXX
Kober, J., Bagnell, J. A., & Peters, J. (2013). Reinforcement learning in robotics: A survey. *The International Journal of Robotics Research, 32*(11), 1238–1274. https://doi.org/10.1177/0278364913495721
Kumar, A., Nachum, O., Tucker, G., & Levine, S. (2021). Conservative offline RL: Extensions and surveys. arXiv. https://arxiv.org/abs/2107.04508
Kumar, A., Zhou, A., Tucker, G., & Levine, S. (2020). Conservative Q-learning for offline reinforcement learning (CQL). Advances in Neural Information Processing Systems, 33, 1179–1191. https://proceedings.neurips.cc/paper/2020/hash/0f7f0b5e05d882c198934c36a6bfb4f8-Abstract.html
Levine, S., Finn, C., Darrell, T., & Abbeel, P. (2016). End-to-end training of deep visuomotor policies. *Journal of Machine Learning Research, 17*, 1–40. http://jmlr.org/papers/v17/15-522.html
Lillicrap, T. P., Hunt, J. J., Pritzel, A., Heess, N., Erez, T., Tassa, Y., Silver, D., & Wierstra, D. (2016). Continuous control with deep reinforcement learning. International Conference on Learning Representations (ICLR 2016). https://arxiv.org/abs/1509.02971
Mnih, V., Badia, A. P., Mirza, M., Graves, A., Lillicrap, T., Harley, T., Silver, D., & Kavukcuoglu, K. (2016). Asynchronous methods for deep reinforcement learning. In Proceedings of the 33rd International Conference on Machine Learning (pp. 1928–1937). Proceedings of Machine Learning Research. https://proceedings.mlr.press/v48/mnih16.html
Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G., Graves, A., Riedmiller, M., Fidjeland, A. K., Ostrovski, G., Petersen, S., Beattie, C., Sadik, A., Antonoglou, I., King, H., Kumaran, D., Wierstra, D., Legg, S., & Hassabis, D. (2015). Human-level control through deep reinforcement learning. *Nature, 518*, 529–533. https://doi.org/10.1038/nature14236
OpenAI, Berner, C., Brockman, G., Chan, B., Cheung, V., Debiak, P., Dennison, C., Farhi, D., Fischer, Q., Hashme, S., Hesse, C., Hubbard, D., Hunsberger, E., Jeong, J., Kaiser, L., Krueger, G., Litwin, M., McCandlish, S., ... Zhang, H. (2019). Dota 2 with large scale deep reinforcement learning. arXiv. https://arxiv.org/abs/1912.06680
Osband, I., Blundell, C., Pritzel, A., & Van Roy, B. (2016). Deep exploration via bootstrapped DQN. Advances in Neural Information Processing Systems, 29, 4026–4034. https://proceedings.neurips.cc/paper/2016/hash/8d8815be2b9eb5d7c1f5f317a9a03d3d-Abstract.html
Pathak, D., Agrawal, P., Efros, A. A., & Darrell, T. (2017). Curiosity-driven exploration by self-supervised prediction. Proceedings of the 34th International Conference on Machine Learning (ICML 2017), 2778–2787. PMLR. https://proceedings.mlr.press/v70/pathak17a.html
Rohatgi, M., & Foster, D. J. (in press). A computational taxonomy of reinforcement learning (task classification based on necessary and sufficient supervised learning oracles).
Russell, S., & Norvig, P. (2020). Artificial Intelligence: A modern approach (4th ed.). Pearson. https://aima.cs.berkeley.edu/
Schoepp, S., Jafaripour, M., Cao, Y., Yang, T., Abdollahi, F., Golestan, S., Sufiyan, Z., Zaiane, O. R., & Taylor, M. E. (2025). The evolving landscape of LLM‑ and VLM‑integrated reinforcement learning. arXiv. https://arxiv.org/abs/2502.15214
Schrittwieser, J., Antonoglou, I., Hubert, T., Simonyan, K., Sifre, L., Schmitt, S., Guez, A., Lockhart, E., Hassabis, D., Graepel, T., & Silver, D. (2020). MuZero: Mastering Atari, Go, Chess and Shogi by planning with a learned model. Nature, 588(7839), 604–609. https://doi.org/10.1038/s41586-020-03051-4
Schulman, J., Levine, S., Abbeel, P., Jordan, M., & Moritz, P. (2015). Trust region policy optimization. Proceedings of the 32nd International Conference on Machine Learning (ICML 2015), 1889–1897. https://doi.org/10.5555/3045118.3045340
Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal policy optimization algorithms. arXiv. https://arxiv.org/abs/1707.06347
Silver, D., Huang, A., Maddison, C. J., Guez, A., Sifre, L., Van Den Driessche, G., Schrittwieser, J., Antonoglou, I., Panneershelvam, V., Lanctot, M., Dieleman, S., Grewe, D., Nham, J., Kalchbrenner, N., Sutskever, I., Lillicrap, T., Leach, M., Kavukcuoglu, K., Graepel, T., & Hassabis, D. (2016). Mastering the game of Go with deep neural networks and tree search. *Nature, 529*, 484–489. https://doi.org/10.1038/nature16961
Silver, D., Schrittwieser, J., Simonyan, K., Antonoglou, I., Huang, A., Guez, A., Hubert, T., Baker, L., Lai, M., Bolton, A., Chen, Y., Lillicrap, T., Hui, F., Sifre, L., van den Driessche, G., Graepel, T., & Hassabis, D. (2017). Mastering the game of Go without human knowledge. Nature, 550(7676), 354–359. https://doi.org/10.1038/nature24270
Stooke, A., Lee, K., Abbeel, P., & Laskin, M. (2021). Decoupling representation learning from reinforcement learning. Proceedings of the 38th International Conference on Machine Learning (ICML 2021), Proceedings of Machine Learning Research, 139, 9870–9879. https://proceedings.mlr.press/v139/stooke21a.html
Sutton, R. S., & Barto, A. G. (2018). Reinforcement learning: An introduction (2nd ed.). MIT Press. https://mitpress.mit.edu/9780262039246/reinforcement-learning-an-introduction/
Tassa, Y., Doron, Y., Muldal, A., Erez, T., Li, Y., Casas, D. A., Budden, D., Abdolmaleki, A., Merel, J., Wayne, G., Heess, N., & Riedmiller, M. (2018). DeepMind Control Suite. arXiv. https://arxiv.org/abs/1801.00690
Ter, J., Djouadi, S., & Meyer, G. (in press). A taxonomy of reinforcement learning applications in robotics and control systems.
Vinyals, O., Babuschkin, I., Czarnecki, W. M., Mathieu, M., Dudzik, A., Chung, J., Choi, D. H., Powell, R., Ewalds, T., Georgiev, P., Oh, J., Hessel, M., Silver, D., & Kavukcuoglu, K. (2019). Grandmaster level in StarCraft II using multi-agent reinforcement learning. Nature, 575(7782), 350–354. https://doi.org/10.1038/s41586-019-1724-z
Wang, Z., Schaul, T., Hessel, M., van Hasselt, H., Lanctot, M., & de Freitas, N. (2016). Dueling network architectures for deep reinforcement learning. In Proceedings of the 33rd International Conference on Machine Learning (pp. 1995–2003). Proceedings of Machine Learning Research. https://proceedings.mlr.press/v48/wangf16.html
Xu, C., Guo, J., Liang, Y., Huang, H., Zou, H., Zheng, X., Yu, S., Chu, X., Cao, J., & Wang, T. (2025). Diffusion models for reinforcement learning: Foundations, taxonomy, and development. arXiv. https://arxiv.org/abs/2510.12253
Zhang, G., Geng, H., Yu, X., Yin, Z., Zhang, Z., Tan, Z., Zhou, H., Li, Z., Xue, X., Li, Y., Zhou, Y., Chen, Y., Zhang, C., Fan, Y., Wang, Z., Huang, S., Liao, Y., Wang, H., Yang, M., Ji, H., Littman, M., Wang, J., Yan, S., Torr, P., & Bai, L. (2025). The landscape of agentic reinforcement learning for LLMs: A survey. arXiv. https://arxiv.org/abs/2509.02547
Zhang, S., & Lesser, V. (2017–2021). Research in multi-agent reinforcement learning: Stabilization, communication, and coordinator training. https://doi.org/10.1007/978‑3‑030‑60990‑0_12
Опубліковано
Версії
- дата публікації 2026-10-16, версія (2)
- дата публікації 2026-05-06, версія (1)
Номер
Розділ
Ліцензія
Авторське право (c) 2026 Дмитро Рябов, аспірант, Валерій Пенко, канд. техн. наук, доцент (Автор)

Ця робота ліцензується відповідно до ліцензії Creative Commons Attribution 4.0 International License.