Отправил очередной выпуск рассылки в основном про Open Access и проблемы вокруг него, важные для России (подписаться можно по почте в описании канала, если вы работаете в некоммерческой организации)

Тут, тем временем, писать стало сложнее: на меня было снова указано руководству (алгоритмы или бдительные граждане? предполагаю, все каналы с 1000+ подписчиков мониторятся минимум автоматически по ключевым словам), настоятельно рекомендовали не упоминать никакие российские имена и фамилии и вообще писать как-нибудь иначе. Слушаю и подчиняюсь. Попробуем стихами:

В своей рассылке как-то раз
Я снова поднял лай:
Страна одна, где есть у нас
Любовь к MDPI,
Не любит Frontiers, хоть убей.
Откуда казус сей?
По совпаденью из глубин
Недружественной бездны
Раздался глас вот прям сейчас:
То Батчер Джеймс, он консультант,
Журналы любит нежно.

тьфу, сложновато) Ладно, вернемся к прозе.

В рассылке я в т.ч. разбираю удивительную особенность некоторой страны: адскую любовь к MDPI и нелюбовь к Frontiers. По совпадению сегодня в своей рассылке Journalology Джеймс Батчер как раз и изучает кейс Frontiers, которые мучительно пересобирают себя как качественное ОА-издательство. Настолько мучительно, что обвалили число своих публикаций и увольняют 600 из 2000 сотрудников. https://www.frontiersin.org/news/2024/01/10/the-next-chapter-for-frontiers-to-the-open-access-tipping-point "Золотая OA-лихорадка" окончилась, репутационные издержки "облегченного рецензирования" и всех этих спецвыпусков оказались слишком сильны, и издательства, аффилированные с мейджорами, пытаются сохранить репутацию (уж не знаю, что выйдет с Hindawi, но в некоторой стране там все равно толком не публиковались). Но всем видно, что обвал Frontiers слишком силен, чтобы объясняться одним лишь повышением rejection rate. Батчер гадает, в чем еще дело. Предположу с опорой на цифры, что существенная часть просто ушла к конкурентам. Вернее, конкуренту (впихнувшему в этом году в Скопус еще несколько десятков журналов). Потому что этой существенной части важнее опубликоваться, чем вся ваша недобитая integrity.

И еще один сюжет на близкую тему: сразу из нескольких источников, включая рекомендации Google Scholar (отличный сервис, надо признать) прилетел препринт https://arxiv.org/abs/2401.04022 от сотрудников Digital Science. Речь про выявление покупного соавторства по довольно простой логике: такие авторы реже сотрудничают друг с другом на деле. Есть и данные по некоторой стране. Рекомендую препринт издательствам и обращаю внимание на его заключительную часть.

Frontiers Science News

The next chapter for Frontiers: to the open access tipping point

Frontiers announces a strategic reorganization and team resizing to focus on researcher-centric, technology-empowered teams to provide a first class publishing

https://youtu.be/WUSMo9ehAkQ записал мини-видео про визуализацию сети соавторства в верхнем сегменте российских исследований искусственного интеллекта. Шарик-Рихтарик)

Может быть интересно тем, кто
- занимается прикладной аналитикой и визуализациями в наукометрии,
- исследует развитие AI в России
- самим представителям AI-сообщества, хотя они наверное и так все это знают.

В конкурсе на самую центральную позицию (смотрел betweenness и pagerank) соревнуются в основном Оселедец и Бурнаев, оба Сколтех\Сбер.

Кстати, мы с коллегами планируем серьезный набор исследований в этой области, конечно, в парадигме открытой науки. Через пару месяцев поделимся инструментами и результатами.

YouTube

Исследования AI\ML\CV\NLP в России: сеть соавторства

Рассказываю о визуалиации сети соавторов публикаций на ведущих конференциях и в ведущих журналах.

в ИИЕТ РАН подумали, да и решили не публиковать видео моего доклада, зато публикуют мою фотографию. Лучше бы наоборот, но дело хозяйское. Выложу тут некоторые слайды с комментариями.

методика у меня простая:

Я замеряю по годам для отдельных ученых процент публикаций, в которых хотя бы у одного из соавторов (_любого_, не обязательно данного) есть российская аффилиация. Как видите, подход позволяет говорить о динамике сотрудничества с Россией, но не об утечке мозгов напрямую. Тем не менее, он надежный и показательный в негативном плане: если у человека за период вовсе нет работ, где хотя бы один из соавторов хоть каким-то боком аффилирован с РФ, то его сотрудничество с РФ маловероятно. Таким же образом можно с опорой на данные говорить об иностранных соавторах россиян, что крайне важно в условиях постоянного усложнения и интернационализации науки в целом.

Мой датасет включает порядка миллиона авторов публикаций с российской аффилиацией с 2015 г. - и российских, и иностранных. Из него я выбрал лиц, у которых есть хоть что-то в приличных журналах (конечно, норвежский список, а не дырявые квартили), довольно много работ в целом (об оттоке лучшей молодежи планирую отдельное исследование) и среднее число соавторов в статях не коллайдерное (до 70). Пока успел пробить примерно 11 тысяч человек сверху по числу статей, т.е. это лидеры продуктивности. Конечно, данные по 2023 предварительные и еще будут корректироваться.

Всех авторов делим на три группы: а) чисто российские аффилиации за весь период (аффилиации именно у данного автора) б) чисто иностранные (ака друзья России) и в) смесь - и российские, и иностранные аффилиации.

давным-давно, в 2017 году, когда Цукерберг купил AI-стартап Meta, который предсказывал цитируемость, я и остальные начали писать, что роботы-ученые не за горами, вполне есть шанс дожить.

fast-forward to 2023:

Researchers have also flagged work by an "AI scientist" team, the existence of which multiple sources confirmed. The group, formed by combining earlier "Code Gen" and "Math Gen" teams, was exploring how to optimize existing AI models to improve their reasoning and eventually perform scientific work, one of the people said.

не очень понятно, как это связано с их новым супер-пупер проектом Q, но в нашем контексте это забавно: обычные ученые выше Q1 не прыгнут. А также: A породили Q*.

https://www.reuters.com/technology/sam-altmans-ouster-openai-was-precipitated-by-letter-board-about-ai-breakthrough-2023-11-22/

Reuters

OpenAI researchers warned board of AI breakthrough ahead of CEO ouster, sources say

Ahead of OpenAI CEO Sam Altman’s four days in exile, several staff researchers wrote a letter to the board of directors warning of a powerful artificial intelligence discovery that they said could threaten humanity, two people familiar with the matter told…

Уфф, худо-бедно представил проект, вроде бы небесполезно)

Сам датасет тут https://doi.org/10.5281/zenodo.10119095

В формате all included: и сами данные, и скрипты для их получения и обновления, и все использованные списки журналов и поисковые запросы. Всё можно настраивать под свои нужды.

Метрик много: общее число публикаций России, в разных журналах и экспертных списках по направлениям наук, по 20 крупнейшим издательствам, по российским журналам, с такими-сякими странами в разных форматах. и то же самое для 20+ российских организаций (ведущие вузы и РАН), всё в динамике с 2018 г.

Видеозапись с визуализациями всего этого богатства будет в канале у коллег из НЦ.

По селективным журналам у РФ в 2023 г. ожидается падение 30-40% по сравнению с "нормальным" 2021 г., это эффект не только от утечки селективных мозгов и сворачивания международных коллабораций (полагаю, основные факторы), аффилиационной политики ЦЕРН, траблов с оборудованием и реагентами и т.д., но и от массового перехода на MDPI. Это издательство в ближайшее время, вероятно, потеснит Плеядес и станет главным для России.

Zenodo

Open and Reproducible Dataset of Bibliometric Indicators of Russia

Version 1. Data collected on 03-04 November 2023.by Ivan Sterligov, HSE University, [email protected] readme.md for detailsThe dataset comes with python code that lets anyone collect and update all the data automatically, provided they set up a…

Недавно я упоминал работу с интересной критикой подхода Иоаннидиса к построению рейтинга ученых мира, там хардкор, не буду повторять.

А теперь ак. Хохлов продвигает этот рейтинг в своей телеге, не только не ссылаясь на него по-нормальному, но и вообще не упоминая самого Иоаннидиса :) https://t.me/khokhlovAR/534 Человек, насколько куртуазный в смелых и правильных выражениях для широкой публики, допускает форменное академическое безобразие) Впрочем, дело хозяйское, я о другом, тем более внимание к рейтингу он привлек успешно.

Помимо вышеупомянутой критики композитного индикатора, рейтинг Иоаннидиса и ко https://elsevier.digitalcommonsdata.com/datasets/btchxktzyw/6 страдает от отсутствия тематической нормализации (попытка авторов объяснить, почему https://doi.org/10.1371/journal.pbio.1002542) и представители разных областей находятся в неравном положении (в последнем выпуске эту пилюлю подсластили, но в целом перекос остался). Полноценного долевого подсчета там тоже нет, хотя есть определенные схожие метрики. Поэтому какие-то обобщения на его основе делать сложно, но я таки предлагаю посмотреть на основные страны, там прослеживается кое-что интересное.

А именно, Россия лидирует. Мы чемпионы по самоцитированиям и по среднему возрасту.

На первой картинке число ученых в рейтинге vs медиана процента самоцитирований.

На второй - средний наукометрический возраст (год выхода первой публикации) vs те же самоцитирования, размер шарика = число ученых.

Кто-то скажет, что наши ученые самые, кхм, умудренные, поэтому и цитируют себя больше. Был, например, такой академик Маслов, просто король в обоих отношениях. Конечно, в этом есть некоторая логика: нужно иметь что процитировать из своего, у старших с этим попроще.

Но как же юный Египет? Там дрючат метриками по скопусу, а еще любят мусор. Италия? Аналогично, только с мусорными журналами построже, кейс известный https://doi.org/10.1016/j.joi.2021.101204

На деле вклад в сдвиг по самоцитированиям для России отчасти связан с перекосом в сторону физики и коллайдеров, где эти метрики выше. Но не только. В таблице я сравниваю эти метрики для России, США (тоже старички) и Китая, зацените, например, биологию.

Telegram

Алексей Хохлов

Опубликовано очередное обновление рейтинга наиболее цитируемых ученых мира (top 2%) по числу цитирований в Scopus. Рейтинг вычисляется на основе нормированных показателей для данной области науки, без учета самоцитирований. Всего в рейтинге по общему числу…

жулики научились подсовывать левые ссылки на этапе внесения метаданных научных публикаций в CrossRef, чтобы накрутить цитирования и остаться незамеченными https://arxiv.org/abs/2310.02192

We report evidence of an undocumented method to manipulate citation counts involving 'sneaked' references. Sneaked references are registered as metadata for scientific articles in which they do not appear. This manipulation exploits trusted relationships between various actors: publishers, the Crossref metadata registration agency, digital libraries, and bibliometric platforms. By collecting metadata from various sources, we show that extra undue references are actually sneaked in at Digital Object Identifier (DOI) registration time, resulting in artificially inflated citation counts. As a case study, focusing on three journals from a given publisher, we identified at least 9% sneaked references (5,978/65,836) mainly benefiting two authors. Despite not existing in the articles, these sneaked references exist in metadata registries and inappropriately propagate to bibliometric dashboards

Университет наш примечателен своей своеобразной информационной политикой: как только человек увольняется, его личную страницу ликвидируют.

Сейчас так много людей интересуется Вышкой, вернее, ее распадом, упадком и утечкой всевозможных мозгов (не дождетесь), ориентируясь на наличие персональных страниц, что захотелось помочь.

Берете список интересующих лиц (например, авторов легко собрать тысячами из РИНЦ) и вперед. Потом в фейсбук, а то и в статью научную. Может и грант дадут в каком-нибудь фонде. В общем, дерзайте, смелые и свободные, скрипт вам в руки.

import re
import requests
from bs4 import BeautifulSoup

def hsechecker(name):
try:
url = "https://www.hse.ru/org/persons/?search_person="+name.replace(' ','+')
soup = BeautifulSoup(requests.get(url).text, 'html.parser')
if soup.findAll(string = re.compile('поиск не дал результатов')):
return False
else:
return True
except Exception as e:
return str(e)

print (hsechecker('Стерлигов Иван'))

True

print (hsechecker('Сонин Константин'))

False

Завершил сбор данных для проекта открытой воспроизводимой базы наукометрических индикаторов России, скоро упакую и представим.

A пока немного о новых исследованиях, в порядке пререгистрации. У меня есть полный датасет авторов России тысяч на 400, потихоньку пришло время начать фиксировать текущие аффилиации, чтобы оценить эмиграцию, но для полноценной работы нужен забугорный (диаспорный?) соавтор с полноценным (не рецензентским) доступом к апи скопуса. Впрочем, может и так справимся со всякими опеналексами и гробидами, голь на выдумки хитра.

Поэтому я начал с иностранных соавторов россиян, которых у меня тоже сотни тысяч (это люди, у которых c 2015 г. до декабря 2022 есть хотя бы одна работа с РФ). Здесь куцый бесплатный апи вполне достаточен: можно проверить, продолжает ли человек сотрудничать с Россией, просто собрав число его\ее публикаций вообще и число публикаций, содержащих российские аффилиации хотя бы у одного из авторов. Грубо говоря, процент работ с Россией в динамике. Пока я взял топовых: у которых не менее 50 работ с Россией (естественно, кроме авторов из гиперавторских работ типа коллайдера), их около 250.

Этакие хардкорные друзья России, у которых, как можно предположить, на совместные публикации с нами приходится солидная доля своего аутпута. Замечу, это не продавцы третьих аффилиаций типа Шариата (о них особый разговор), а иностранцы без российских аффилиаций.

Вот такие цифирки. Пессимисты и оптимисты могут смотреть на них по-разному. Оптимистам напомню, что процесс подготовки и публикации статьи - все еще долгий.

Первая строчка - средний % публикаций с РФ на человека среди всех его\ее работ в данном году
Вторая строчка - % людей с нулем публикаций с РФ в данном году

2019 2020 2021 2022 2023
50.8 52.9 53.1 46.3 33.8
5.6 1.7 6.8 7.3 25.6

Естественно, 23 год неполный, а людей вовсе без публикаций в этом году я убрал. Еще из важного - может влиять ахтунг с выходом\индексацией российских журналов, где выходила часть совместных работ.

Планы простые: масштабировать на несколько тысяч человек, посмотреть в разрезе стран и тематик, поискать детерминанты.

Четвертый выпуск рассылки отправился адресатам :) Реализую semantic similarity на основе машинного обучения своими gpt-руками (как обычно, все скрипты в комплекте) и спекулирую на тему "как обустроить учет и анализ публикаций в одной отдельной стране". Напоминаю, что рассылка доступна всем науковедам и регулярно сталкивающимся с наукометрией по работе сотрудникам некоммерческих организаций (вузы, НИИ, редакции, библиотеки...), подписаться можно, написав на [email protected]

Потихоньку собираюсь вернуть скрипты на гитхаб, увязав с релизом открытых списков журналов. Все это нужно как сопровождение моего - сугубо научного - проекта открытых воспроизводимых индикаторов науки в России, который будет представлен в сентябре. Кажется, пора обсудить, что происходит с публикациями, данных уже много.