Наука

ИИ ускоряет разбор математических материалов, но требует проверки

Нейросети быстро разбирают математические записи и готовят решения, однако заметная доля результатов содержит ошибки. Для вузов важнее учить проверять доказательства и критически оценивать ответы ИИ.

Нейросети заметно ускоряют разбор математических материалов, но их выводы нельзя принимать без проверки. В Хельсинкском университете Claude подготовила 650-страничный анализ рабочих тетрадей математика и логика Курта Гёделя. Учёные вручную разбирали записи со скоростью около одной страницы в неделю, а полный материал насчитывал 1009 страниц.

Нейросеть выделила 663 утверждения, для которых у Гёделя были доказательства, наброски или идеи. Результаты проверили с помощью Coq, программы для формальной верификации доказательств: около 400 утверждений подтвердились, примерно 200 потребовали уточнений, а почти 50 оказались ошибочными.

На открытых задачах, для которых пока нет известных решений, надёжность ИИ оказалась ниже. В эксперименте Google DeepMind люди проверили 200 ответов на задачи Эрдёша, и 69% из них признали ошибочными. Содержательно верными были только 13 решений, причём восемь уже встречались в научной литературе. Отдельно OpenAI отозвала три из 722 препринтов о продвижении в 372 задачах из-за ошибки в знаке.

По оценке старшего научного сотрудника Института ядерных исследований РАН Ивана Харука, ИИ пока слабее человека в концептуальной работе и постановке оригинальных вопросов. Для вузов и исследовательского обучения это означает, что ИИ может ускорять поиск и подготовку черновиков, но образование должно развивать навыки проверки доказательств и выявления убедительных ошибок.

Вопросы и ответы

Что именно Claude разобрала в материалах Курта Гёделя?

Нейросеть подготовила 650-страничный анализ рабочих тетрадей Гёделя и выделила 663 утверждения, для которых были найдены доказательства, наброски или идеи.

Как проверяли результаты анализа Claude?

Результаты проверили в Coq, программе для формальной верификации доказательств. Около 400 утверждений подтвердились, примерно 200 потребовали уточнений, а почти 50 оказались ошибочными.

Насколько успешен ИИ в решении открытых математических задач?

В проверенной людьми выборке из 200 ответов на задачи Эрдёша 69% оказались ошибочными. Содержательно верными признали 13 решений, восемь из которых уже были опубликованы в научной литературе.

Чему вузам важно учить при использовании ИИ в математике?

Помимо решения задач, студентам и исследователям важно развивать навыки проверки доказательств и поиска ошибок в убедительно сформулированных ответах.

Чат техподдержки