Порівняння методик ранжування дослідників на основі індексів Гірша та PageRank:суперечливі результати

Григорій Гнатієнко

Факультет інформаційних технологій, Київський національний університет імені Тараса Шевченка, Україна

orcid.org/0000-0002-0465-5018

Олексій Олецький

Факультет інформатики, Національний університет “Києво-Могилянська Академія”, Україна

orcid.org/0000-0002-0553-5915

Анотація

DOI: https://doi.org/10.17721/AIT.2021.1.05

У статті описуються результати експериментального порівняння методик оцінювання та ранжування науковців і дослідників на основі їх публікаційної активності. Порівнюються наукометричні індикатори на основі індексів Гірша та PageRank-подібних алгоритмів; при цьому використовується матриця посилань між статтями, написаними різними авторами.. Наводиться приклад ситуації, коли застосування різних методик приводить до протилежних результатів – наприклад, коли автори статей, які отримали найкращі оцінки за PageRank, мають найнижчі (тобто найгірші) індекси Гірша. Описана ситуація характеризується тим, що деякий автор отримав ключовий результат, на який посилаються всі інші автори, але самих статей у нього мало, а також з можливими посиланнями в роботі такого автора, статті якого мають високий рівень цитування. Робиться також спроба співставлення результатів з можливими результатами експертного оцінювання, яке має особливе значення при побудові автоматизованих систем, що базуються на комбінуванні різних методик оцінювання. Розглядається можливе застосування  методу аналізу ієрархій. Для побудови матриць попарних порівнянь використовуються транзитивні шкали з параметром, який задає відношення переваги між градаціями у параметризованому вигляді.

Ключові слова– наукометрія, індекс Гірша, PageRank, метод аналізу ієрархій.

Інформація про авторів

Григорій Гнатієнко. Кандидат технічних наук. Освіта: Факультет кібернетики Київського національного університету імені Тараса Шевченка. Місце роботи: Факультет інформаційних технологій Київського національного університету імені Тараса Шевченка. Посада: заступник декана з наукової роботи. Наукові інтереси: обробка експертної інформації, прийняття рішень, інформаційні технології.

Олексій Олецький. Кандидат технічних наук, доцент. Освіта: Факультет кібернетики Київського національного університету імені Тараса Шевченка. Місце роботи: Факультет інформатики, Національний Університет «Києво-Могилянська Академія». Посада: Доцент кафедри мультимедійних систем. Наукові інтереси – прийняття рішень, штучний інтелект.

Література

1. J.E. Hirsch, “An index to quantify an individual’s scientific research output”, PNAS, vol.102 (46), pp.16569–16572,  2005.
2. J.D. West, M.C. Jensen, R.C. Dandrea, G.J. Gordon, C.T. Bergstrom. “Author-level Eigenfactor metrics: Evaluating the influence of authors, institutions, and countries within the social science research network community”, Journal of the American Society for Information Science and Technology, vol.64(4), pp.787–801, 2013.
3. S. Brin, L. Page. “The anatomy of a large-scale hypertextual web search engine”, in Proc. WWW, 1998, pp.107-117.
4. К.Д. Маннинг, П. Рагхаван, Х. Шютце, Введение в информационный поиск, Москва: ООО «И.Д. Вильямс», 2011.
5. В.Г. Кремень, В.Ю.Биков, “Категорії «простір» і «середовище»: особливості модельного подання та освітнього застосування”, Теорія і практика управління соціальними системами, no.2, pp.3-16, 2013.
6. О.Ю. Кучанський, “Складові аналізу наукових мереж”,  Управління розвитком складних систем, no.41, pp.115-126, 2020.
7. А.В. Кільченко, “Вітчизняний та зарубіжний досвід використанні інформаційно-цифрових технологій для оцінювання результативності науково-педагогічних досліджень”, in Звітна науково-практична конференція Інституту інформаційних технологій і засобів навчання НАПН України : матеріали науково-практичної конференції, 2021, pp.48-54.
8. В.Ю. Биков, О.М. Спірін, А.О. Білощицький. та ін., “Відкриті цифрові системи в оцінюванні результатів науково-педагогічних досліджень”, Інформаційні технології і засоби навчання, vol.75(1), pp.294-315, 2020.
9. В.М. Горовий, “Критерії якості наукових досліджень у контексті забезпечення національних інтересів”, Вісник Національної академії наук України, no.6, pp.74-80, 2015.
10. О.М. Спірін., С.М. Іванова., А.В. Кільченко, Т.Д. Новицька,  “Використання наукометричних баз даних і систем вебаналітики для моніторингу електронних наукових фахових видань”,  Інформаційні технології в освіті, vol.45(4), pp.18-30, 2020.
11. С.Д. Штовба, Е.В.Штовба, “Обзор наукометрических показателей для оценки публикационной деятельности ученого”, Управление большими системами. Спец. вып. 44: Наукометрия и экспертиза в управлении наукой,  pp.262-278, 2013.
12. В.Є. Снитюк, Г.М. Гнатієнко, Експертні технології прийняття рішень, Київ: Маклаут, 2008.
13. Т. Саати, Принятие решений. Метод анализа иерархий, Москва: Радио и связь, 1993.
14. И.Г. Черноруцкий. Методы принятия решений, Санкт-Петербург: БХВ-Петербурт, 2005.
15. O.V. Oletsky, E.V. Ivohin, “Formalizing the Procedure for the Formation of a Dynamic Equilibrium of Alternatives in a Multi-Agent Environment in Decision-Making by Majority of Votes”, Cybern Syst Anal, vol.57, pp.47-56, 2021.
16. А.В. Олецкий, М.Ф. Махно, “О повышении уровня адекватности в результатах процесса оценивания учебных проектов на основе параметрической релаксации метода парных сравнений”, Проблемы управления и информатики,no.1, pp.122-133, 2021.
17. С. Рассел., П.Норвиг, Искусственный интеллект: современный подход,  Москва: Изд. дом «Вильямс», 2006.
18. M. Antonewich, A. Didyk, and V. Snytyuk, “Optimization of Functions of Two Variables by Deformed Stars Method,” in Proc. ATIT, 2019, pp. 475-480.
19. С.М. Николенко, А.Л. Тулупьев. Самообучающиеся системы, Москва: МЦНМО, 2009.
20. H. Hnatiienko, V. Snytyuk,  N. Tmienova, O. Voloshyn,  “Determining the effectiveness of scientific research of universities staff” in Selected Papers of the 7th International conference “Information Technology and Interactions” (IT&I-2020). CEUR Workshop Proceedings, 2883, 2021,  pp. 164–176.
21. M. Shell. (2002) IEEEtran homepage on CTAN. [Online]. Available: http://www.ctan.org/tex-archive/macros/latex/ contrib/supported/IEEEtran/