У аспирантуры есть явные и латентные функции. Аспирантами становятся те, кто заинтересован в академической карьере – для этого нужно провести исследование и защитить кандидатскую диссертацию. Латентная функция аспирантуры всегда имела гендерную составляющую – для мужчин аспирантура предоставляет отсрочку, а кандидаты наук вовсе освобождаются от призыва. Неакадемические мотивы поступления в аспирантуру упоминаются аспирантами даже лучших вузов: каждый четвертый аспирант-мужчина рассматривал аспирантуру как способ получения отсрочки от военной службы. Начало СВО в 2022 году должно было только усилить латентную функцию аспирантуры – на это указывает сравнение данных о численности аспирантов в 2021 и 2022 годах по полу и возрастным группам.

Общая численность мужчин выросла на 41.7% (с 50,786 до 71,967 человек). Тогда как численность женщин уменьшилась на 4.1% (с 39,370 до 37,738 человек). Мужчины стали составлять 65% от числа аспирантов. В 2020 и 2021 их доля составляла 56%. Тем самым, это изменение не является плавным трендом, скорее его следует связывать именно с 2022 годом и началом СВО.

Заметное увеличение у мужчин произошло в когортах 30 лет и старше – в 2021 году мужчины такого возраста составляли 24%, а в 2022 стали составлять 34.3%. Более молодые мужчины все еще составляют большинство аспирантов, однако, эта доля в 2022 году стала уменьшилась – с 76% до 65.7%. У женщин изменения по когортам не произошло.

При этом аспирантура перестала быть местом с минимальными ожиданиями – если раньше достаточно было опубликовать одну статью почти в любом издании и выйти на защиту, то сейчас статей должно быть три. Статистика показывала, что и раньше далеко не все аспиранты доходили до выпуска и тем более защиты диссертации. С изменением состава аспирантов, можно ожидать, что статистика вряд ли улучшится.

Самый простой способ подступиться к оценке научных результатов – это оценивать не сами статьи, а журналы, в которых они появились. Будем тогда считать значимыми исследованиями все статьи, которые появились в важных журналах. Ключевой здесь вопрос, кто и на каких основаниях определяет список авторитетных журналов? Долгое время в России опирались на индексацию журналов в Scopus/Web of Science и наличие у журнала квартиля согласно количеству цитирований.

В ноябре появилось официальное постановление о переходе от списка журналов из Web of Science и Scopus на журналы из Белого списка. Валидность Белого списка можно оценивать, с одной стороны, через представленность в них наиболее авторитетных изданий, а с другой стороны, полезно знать, попадают ли туда журналы с признаками слабой и некорректной редакционной политики.

Вопреки опасениям, в Белый список вошли тысячи авторитетных зарубежных изданий, что сделало список равнозначным текущему списку журналов в Scopus. Остается только малопонятным, каким образом в Белый список будут попадать новые журналы, которые только начнут индексироваться в Scopus.

Сложность с оценкой попадания слабых или проблемных журналов состоит в том, что в России отсутствует свой список Билла. Только отчасти мы можем полагаться на данные Диссернет – они скорее всего не описывают во всей полноте сомнительные журналы. Мы попробовали восполнить этот пробел и оценить, какова доля российских медицинских журналов, которые показывают явные признаки нарушения академической этики, попали в Белый список.

Анализ проводился по 586 российским журналам по медицине, для которых мы собрали информацию о некорректной редакторской политике и присвоили баллы каждой характеристике:

— 1 балл, если журнал входит в квартиль журналов с наибольшим (среди медицинских) пятилетним коэффициентом самоцитирования (данные РИНЦ),
— 1 балл, если журнал входит в квартиль с наибольшим уровнем статей с обнаруженными недобросовестными заимствованиями (данные РИНЦ),
— 1 балл, если журнал входит в квартиль с наибольшим числом статей, являющихся множественной публикацией (данные Чеховича-Хазова),
— 1 балл, если журнал имеет три и более кейсов в базе «Диссернет».

Если журнал набрал 3 и более балла, то можно относительно уверенно говорить о признаках недобросовестной редакционной политики. В эту же группу мы поместили журналы, в которых обнаружилось пять или более случаев повторной публикации в этом же самом журнале. Всего было найдено 49 с признаками некорректной редакционной политики.

Наш результат показал, что в Белый список попало достаточно заметное количество проблемных журналов: 25% журналов с явными признаками нарушения редакционной политики попало в Белый список. Но стоит и признать, что Белый список – это огромный шаг вперед в сравнении со списком ВАК – 67% проблемных медицинских журналов входит в список ВАК.

Время покажет, будут ли прилагаться усилия, чтобы в Белый список не допускались слабые и недобросовестных издания. Пока исследователи могут дорабатывать методику определения таких журналов.

Подробнее смотрите: Dyachenko, E. L., Guba, K. S., Potapov, I. V., & Mironenko, A. Y. (2024). Comparison of Approaches to Stratification of Russian Journals: Scientometric Indicators, International Databases, and National Lists. Scientific and Technical Information Processing, 51(2), 145-153.

Мониторинг эффективности образовательных организаций является самым полным источником открытых данных о российских вузах. Впервые Мониторинг был проведен Министерством образования и науки в 2012 году, уже на следующий год участие в нем стало обязательным почти для всех вузов. Мониторинг включает в себя информацию по нескольким десяткам показателей, которые объединены в восемь групп.

Министерство с 2013 года выкладывает показатели каждого университета на сайт, однако, эти данные недоступны для скачивания. Мы подготовили данные Мониторинга для широкого пользования – панель показателей для каждого университета доступна с 2015 по 2023 годы. Данные выложены в репозиторий и доступны по ссылке.

Мы также использовали данные для дополнительной аналитики показателей университетов – в виде дашборда с таблицами и графиками. Мы полагаем, что выводы об эффективности вуза должны быть основаны на анализе показателей вуза в динамике или в сравнении с другими похожими вузами. Дашборд предоставляет базовые инструменты для сравнительного анализа показателей эффективности вузов.

Сценарий №1 позволяет для каждого вуза анализировать динамику показателя одним кликом. К примеру, как изменялись баллы ЕГЭ абитуриентов вуза за последние пять лет?
Сценарий №2 позволяет ранжировать все вузы по одному из показателей Мониторинга. К примеру, можно получить список вузов, которые входят в топ-пятьдесят вузов по среднему количеству публикаций в Scopus. Такие условные рейтинги можно строить за каждый год.

Результаты ранжирования могут удивить. К примеру, в 2021 году наибольший показатель по количеству опубликованных работ в РИНЦ на 100 НПР составил 6 611,60 единиц! (у Санкт-Петербургского государственного экономического университета). Очевидно, что эта цифра не может реалистично описывать научные результаты вуза (она при этом примерно соответствует цифре о количестве публикаций в РИНЦ).
Мы уже писали о качестве данных Мониторинга – из года в год встречаются явные ошибки. Эта проблема так и не была решена.

Вы удивитесь, но в исследованиях Высшей школы экономики за последние 20 лет выросла доля экономики, МФТИ стал гораздо более инженерным, а саудиты теперь чаще цитируют исследования Бауманки, чем американцы!

Узнать всё это за несколько кликов теперь можно благодаря новой платформе Rankless от венгерских исследователей.
И если что-то и поможет новому общедоступному индексу OpenAlex привлечь больше внимания уже в 2024 году, чем дорогие и просто недоступные в России Web of Science и Scopus, то это именно новый сервис с впечатляющей визуализацией. С мотивирующим лозунгом «We need to understand more and rank less» команда из CCL (Центр коллективных знаний Будапештского университета имени Корвина) нацелилась побороться с глобальными рейтингами вузов. Разобраться с содержанием образовательных программ с Rankless вряд ли получится, но актуальных выгрузок из обширной базы OpenAlex уже достаточно, чтобы сравнивать научные специализации вузов. И всё это доступно в динамике, в том числе в ежегодной с 2019 года.

Охват вузов пока ещё не полон, но выявить интересные тенденции уже можно. Например, петербургские ИТМО и СПбГУ планомерно отходят от физической специализации в пользу химии материалов, а томские ТГУ и ТПУ наоборот уменьшили долю последней в пользу инженерных исследований. При этом все четыре вуза диверсифицировали профиль исследований в целом и наращивают сотрудничество не только с Китаем, но и, например, с Ираном. Современная междисциплинарность так высока, что далёкий от моря МГТУ Баумана и ещё более континентальный Университет Назарбаева (Астана) усилили вклад в морские технологии.

Самое интересное, что можно проследить, как изменился набор стран, который цитирует исследования университета. Вот, например, в 2019 году на долю США приходилось 18% ссылок от числа всех цитирований Вышки, ссылки из Китая составляли ту же долю в 18%. В 2022 году пока проиндексировано только 675 статей Высшей школы экономики: доля ссылок из США составила уже 14%, а Китая – 24%. Однако, стоит предостеречь от окончательных выводов, так как за последние годы индексация статей в OpenAlex происходит с большой задержкой.

• Отдельного внимания заслуживает тот факт, что 80% российских журналов Q1 являются гуманитарными изданиями (по философии, истории, филологии и т.д.). По иронии, именно гуманитарии больше всего недолюбливают наукометрию.

Недавно обновился показатель SJR для журналов, входящих в Scopus. Предлагаем посмотреть на тренд: менялись ли показатели российских журналов в худшую или лучшую сторону за последние три года?

В 2023 году увеличилось количество журналов, для которых рассчитываются метрики: в 2022 году было 504, а в 2023 – уже 559.

Средний показатель SJR не изменился за эти три года – составляет 0,2. На отсутствие заметных изменений также указывает распределение по квартилям:

— в 2023 году по SJR первый квартиль был у 12% (69) журналов*
— в 2022 году у 11% (57) журналов
— в 2021 году у 13% (56) журналов

Журналы могут менять квартили каждый год (для отдельных журналов такие колебания удобно смотреть на диаграмме в канале Выше квартилей). В 2022 году квартиль изменился к худшему у 27% (149) журналов, улучшился у 10% (55) журналов. В 2023 году произошло изменение к худшему у 20% (112) журналов, улучшилось у 14% (79) изданий.

Насколько по этим метрикам можно судить об улучшении или ухудшении качества журнала? Проблема в том, что квартиль зависит от метрик других журналов – журнал может начать лучше цитироваться, но если остальные журналы также стали лучше цитироваться, то его квартиль не улучшится. В 2023 году насчитывалось 287 журналов, у которых улучшился SJR, однако, только 27% одновременно улучшили свой квартиль, а 73% остались с прежним квартилем. Только у 40% журналов с изменением SJR в худшую сторону, квартиль стал ниже, а у 59% остался на том же уровне.

Для тех, кто серьезно относится к квартилям (к примеру, поздравляет журнал с попаданием в Q1), должны предупредить, что изменение квартиля зачастую сопровождается малозаметными изменениями в SJR. Так, для того, чтобы ухудшился квартиль – в среднем SJR снижается на 0,06, а улучшение квартиля в среднем происходит при изменении SJR на 0,07.

Как бы мы не относились к метрикам, мы видим, что возрастающая изоляция российской науки не сказалась на показателях цитируемости российских журналов, индексируемых в Scopus. Это во многом объясняется тем, что российские журналы в основном читаются и цитируются российскими авторами, которые сами также публикуются в российских журналах. Многие журналы продолжают оставаться национальными – в них редко публикуются зарубежные авторы, а статьи мало цитируются за пределами России.

Недавнее исследование самоцитирования стран показало, что у России очень высокий уровень самоцитирования (вместе с такими странами как Колумбия, Египет, Индонезия, Иран, Италия, Малайзия, Пакистан, Румыния, Саудовская Аравия, Таиланд и Украина) – в среднем, примерно 40% ее статей цитируется другими российскими исследователями. Более того, этот показатель самоцитируемости только растет, тогда как в других странах он подает. Наши расчеты по корпусу статей в области climate change показали, что 2/3 цитирования статей из российских журналов приходят из других российских журналов, а треть иностранных цитирований происходит за счет российских авторов.

Резюмируя, метрики цитирования российских журналов остаются на том же уровне. Российские журналы и до 2022 годы были мало видимы за пределами России, а вот для ответа на вопрос, насколько эта видимость изменилась с 2022 года, нужны дополнительные данные.

Статьи по теме национальных журналов и их видимости:

- Macháček, V. (2023). Globalization of scientific communication: Evidence from authors in academic journals by country of origin. Research Evaluation, 32(1), 157-169.
- Baccini, A., & Petrovich, E. (2023). A global exploratory comparison of country self-citations 1996-2019. Plos one, 18(12), e0294669.
- Lovakov, A., Panova, A., & Yudkevich, M. (2022). Global visibility of nationally published research output: the case of the post-Soviet region. Scientometrics, 127(5), 2643-2659.
- Kirchik, O., Gingras, Y., & Larivière, V. (2012). Changes in publication languages and citation practices and their effect on the scientific impact of R ussian science (1993–2010). Journal of the American Society for Information Science and Technology, 63(7), 1411-1419.

Эффект Матфея возвращается!

С каждым годом появляется все больше и больше цифровых инструментов, способных упростить те или иные аспекты академической рутины. С энтузиазмом или опасением сейчас обсуждаются большие языковые модели, выложенные в открытый доступ. Самой известной из них является chatGPT, получившая в конце 2022 года интуитивный интерфейс и большое освещение в медиа.

Их распространение грозит как прозрачности науки (этому посвящена колонка в Nature), так и валидности публикуемого научного знания. Теперь, когда с момента «открытия» chatGPT для широкой публики прошло более года, стали появляться первые оценки распространенности его использования. Основная предпосылка такого рода оценок, – неожиданный рост частотности тех или иных слов или словосочетаний в текстах публикаций. Заметим, что есть и совсем комичные случаи проникновения инструментальных сообщений чатбота в тексты публикаций: сотни тысяч просмотров набрал твит Гийома Кабанака (Guillaume Cabanac) о статье, чья аннотация начинается фразой “Certainly! Here is a possible introduction for your topic <…>”.

На рисунке ниже показано несколько примеров слов/словосочетаний, ставших значительно чаще появляться в научных текстах на openalex в 2023 году (первый полный год после публичного релиза chatGPT). Неожиданный рост частотности слова “delve” (“копаться”, “углубляться”) ранее был показан в твите Филипа Шапиры (Philip Shapira), другие примеры взяты из обсуждений на reddit (раз, два), в которых пользователи делились своим опытом работы с чатботом.

Эта грубая идея получила более серьезное развитие в препринте Эндрю Грэя (Andrew Gray). Используя данные Dimensions и опробированный ранее словарь лексики, характерной для ответов чатбота, он оценил распространенность применения AI в академических текстах 2023 года в 1% (~60000 публикаций). Если вы пользуетесь чатботом, например, для proofreading, советуем хорошо запомнить слова, которые «выдают» применение AI. Среди них особенно часто встречаются: “commendable“, “meticulous“ и “intricate“.

Мы думаем, что очень скоро способ идентификации AI по росту частотности тех или иных слов или в научных текстах перестанет так хорошо работать. Авторы могут попросить языкового помощника переформулировать сгенерированный текст или вручную удалять характерные для него слова. Автор также может дообучить модель на корпусе собственных текстов, чтобы сделать написанные помощником фрагменты неотличмыми от собственных. Идентификация нечеловеческих следов в публикациях, таким образом, все еще будет требовать тщательного изучения отдельных случаев (а их база собирается, например, на Retraction Watch, куда также можно прислать подозрительные публикации).

Кажется, что тема использования языковых помощников в академических текстах с нами надолго.