70% новых статей по программной инженерии на ArXiv связаны с LLM

Данные о статьях, опубликованных с 2022 года на сервисе препринтов ArXiv, показывают, что в области программной инженерии лидирует тема LLM (больших языковых моделей). На них приходится 70% новых материалов.

Серверы препринтов предлагают быстрый путь к публикации. Исследователь загружает статью, и она появляется на следующий день, а рецензируемая версия выходит позже. Итак, данные о публикациях в препринтах дают наиболее точное представление об исследовательских темах в реальном времени. 

arXiv — это главный архив открытого доступа для исследовательских статей в области вычислительной техники, физики, математики и различных инженерных областях. Подкатегория программной инженерии — cs.SE. Пакет Python arxivscraper использует программный интерфейс arXiv для получения метаданных, связанных со статьями, опубликованными на сайте. Эта приложение позволила энтузиасту извлечь 15 899 статей, опубликованных в подкатегории cs.SE с 1 января 2022 года.

На графике ниже показан процент статей, опубликованных каждый месяц, заголовок которых (без учёта регистра) соответствует либо выражению «llm», либо «большая языковая модель»: 

Пик популярности заголовка «Большая языковая модель», по-видимому, пришёлся на конец 2024 года. А вот пик популярности LLM в заголовках статей пришёлся на конец 2025 года.

Аннотация статьи кратко излагает её содержание и предоставляет достаточно места для более подробного текста. На графике ниже показан процент статей, публикуемых каждый месяц, аннотация которых (без учёта регистра) соответствует либо выражению «llm», либо «large language model»: 

Пик или плато популярности LLM, по-видимому, приходятся на конец 2025-го. О том, начался ли спад тренда, можно будет сказать только к концу этого года.

Другие термины, связанные с LLM, — это ИИ, искусственный интеллект и агенты. На графике ниже показан процент статей, публикуемых каждый месяц, заголовок которых соответствует каждому из выражений «llm|large language model», или «ai[ ,.)]|artificial intellig», или «agent»: 

Подсчёт статей, содержащих одну или несколько из этих фраз, связанных с LLM, даёт оценку количества материалов по программной инженерии, изучающих тему. На графике ниже показан процент статей, публикуемых каждый месяц, заголовок или аннотация которых соответствуют одному или нескольким выражениям «llm|large language model», или «ai[ ,.)]|artificial intellig», или «agent»: 

Если темпы роста останутся неизменными, примерно через 18 месяцев 100% статей, публикуемых в подкатегории cs.SE на arXiv, будут связаны с LLM.

Однако автор ожидает замедления темпов роста. По его мнению, рост остановится, не достигнув 100%, а пока метрика держится на отметке чуть выше 70%.

Между тем сама система ArXiv осенью объявила, что больше не будет принимать обзорные статьи и аналитические доклады по информатике, которые не были рецензированы и приняты академическим журналом или конференцией. Изменение правил обусловлено наводнением этой категории низкопробными статьями, созданными при помощи искусственного интеллекта.