Мы почти исчерпали все доступные знания человечества <…> для обучения ИИ. Это произошло еще в прошлом году, — сообщил Маск в беседе с Марком Пенном, председателем компании Stagwell, в социальной сети X.

Это заявление прозвучало вскоре после того, как Суцкевер на ежегодной конференции Neurips заявил, что индустрия искусственного интеллекта достигла своего максимума в отношении доступных данных и больше не сможет их пополнять.

Если это так, то восполнить дефицит можно будет при помощи синтетических данных — контента, генерируемого самими ИИ-моделями. Однако такой подход далек от совершенства.

Исследования ученых из Стэнфорда и Университета Райса показали, что модели, обучающиеся на синтетических данных (будь то текст или изображения), начинают деградировать уже после пяти циклов обучения.

В ноябре прошлого года стало известно, что OpenAI столкнулась с проблемами при создании своей новой модели Orion, которая не оправдала ожиданий. Похожая ситуация произошла и с последней версией модели Gemini от Google, которая не продемонстрировала значительного прогресса по сравнению с предыдущей. В свою очередь, компания Anthropic отложила выпуск своей модели Claude.

Напомним, что ранее Маск и генеральный директор OpenAI Сэм Альтман утверждали, что ИИ скоро может превзойти умственные способности одного человека, а в будущем — и все человечество в целом.

cover: processmi.com

Запись Илон Маск заявил, что больше нет доступных знаний человечества для обучения ИИ. Он выучил все, что известно человечеству впервые появилась Locals.