More questions about whether researchers can trust OpenAI with unpublished math

Тристан Бакмастер и Левант Альпёге опубликовали три результата о конечном времени взрыва с гладким принуждением для несжимаемой пористой среды, системы Буссинеска и 3D несжимаемого уравнения Эйлера. Работы доступны в виде PDF-файлов на сайте NYU CIMS, а связанный код размещён в репозитории GitHub под названием fluid_lean. Эти результаты касаются фундаментальных вопросов в теории дифференциальных уравнений и гидродинамики, демонстрируя, что даже при гладких внешних силах решения могут становиться сингулярными за конечное время.

Андреас Том прокомментировал публикацию, выразив обеспокоенность прозрачностью использования больших языковых моделей в математических исследованиях. Он напомнил о своём предыдущем обмене с OpenAI после объявления о открытии несофической группы, где он и коллега использовали ChatGPT при обсуждении проблемы расширителей и сопоставления. Том подчеркнул отсутствие прозрачности в том, как модели используют введённые пользователем данные, и warned, что это может подорвать доверие в математическом сообществе, если исследователи не смогут определить, влиял ли ИИ на их открытия. Dispute подчёркивает необходимость чётких норм использования ИИ в непublikованных исследованиях.

Комментарии (690)

Исследователи не осознают, что их приватные диалоги с AI могут использоваться для обучения моделей, а компании не предоставляют прозрачных гарантий, что данные не влияют на результаты — это ставит под сомнение этичность и надежность AI-ассистентов в науке. Споры идут о том, могла ли модель воспроизвести результаты исключительно через RL и масштабные вычисления, или же использовала прямые промпты. Некоторые считают, что отключение опции обучения не гарантирует защиты: данные могут использоваться в де-идентифицированном виде, но это невозможно проверить — обвинения остаются спекулятивными, особенно поскольку никто не проводил экспериментов с canary-фразами. Рекомендации: не использовать AI для работы с непубликованными результатами; применять локальные инференс-системы с высокой RAM, чтобы промпты не покидали устройство; датировать работы на GitHub до взаимодействия с AI для фиксации приоритета. Все согласны: AI-компании собирают данные не только для улучшения продуктов, но и для построения конкурентных экосистем знаний. Под давлением монетизации OpenAI и Anthropic стимулированы использовать любые доступные данные, включая научные обсуждения. Доверие облачным сервисам — уязвимость: условия использования могут меняться, а гарантии конфиденциальности не имеют юридической силы. Компании не обязаны раскрывать, как используются данные, и их заявления о независимости результатов не поддаются независимой проверке. Некоторые полагают, что использование промптов как контекста для внутренних аналитиков — не нарушение политики обучения, но неэтично. Все участники признают: обучение AI на пользовательских данных без явного согласия и прозрачности создаёт этическую дилемму, особенно в фундаментальной науке, где приоритет и оригинальность критичны. Считать любые промпты публичными — даже при отключённой опции обучения. Некоторые утверждают, что обвинения в плагиате преувеличены: AI ускоряет процесс, основанный на существующих идеях, а полноценные открытия редко бывают абсолютно новыми.