How we measured AI writing across arXiv, and where the measurement breaks
На основе анализа 12 750 статей arXiv выявлено, что около трети новых публикаций (32–39%) содержат текст, стилистически схожий с генерируемым ИИ. Для точности измерения был создан детектор, настроенный так, чтобы ложно классифицировать лишь 0,4% статей до появления ChatGPT — это стало базовой линией. После 2022 года доля подозрительных работ резко выросла: в компьютерных науках до 65%, в квантовой биологии — 56%, в электротехнике — 51%. Наименьшая доля — в математике (0,7%), но это не означает отсутствие ИИ: детектор плохо распознаёт тексты, состоящие преимущественно из формул и теорем, где мало естественного языка.
Оценка даёт нижнюю границу реального уровня использования ИИ: детектор не охватывает все модели и промпты, а флаг — не доказательство полной генерации, а признак машинного стиля, включая редактирование. В математике низкий показатель может означать либо малое применение ИИ, либо его неспособность распознать такой стиль — данные не позволяют различить эти варианты. В областях с плотным текстом (например, экономика, физика) рост совпадает с ожидаемым, что подтверждает надёжность тренда. Детектор доступен бесплатно для проверки любых текстов.