Нейросети заметно ускоряют разбор математических материалов, но их выводы нельзя принимать без проверки. В Хельсинкском университете Claude подготовила 650-страничный анализ рабочих тетрадей математика и логика Курта Гёделя. Учёные вручную разбирали записи со скоростью около одной страницы в неделю, а полный материал насчитывал 1009 страниц.
Нейросеть выделила 663 утверждения, для которых у Гёделя были доказательства, наброски или идеи. Результаты проверили с помощью Coq, программы для формальной верификации доказательств: около 400 утверждений подтвердились, примерно 200 потребовали уточнений, а почти 50 оказались ошибочными.
На открытых задачах, для которых пока нет известных решений, надёжность ИИ оказалась ниже. В эксперименте Google DeepMind люди проверили 200 ответов на задачи Эрдёша, и 69% из них признали ошибочными. Содержательно верными были только 13 решений, причём восемь уже встречались в научной литературе. Отдельно OpenAI отозвала три из 722 препринтов о продвижении в 372 задачах из-за ошибки в знаке.
По оценке старшего научного сотрудника Института ядерных исследований РАН Ивана Харука, ИИ пока слабее человека в концептуальной работе и постановке оригинальных вопросов. Для вузов и исследовательского обучения это означает, что ИИ может ускорять поиск и подготовку черновиков, но образование должно развивать навыки проверки доказательств и выявления убедительных ошибок.