Оглавление
Исследователи из MIT и Harvard разработали новый метод оценки глубины понимания реального мира крупными языковыми моделями. Результаты показывают, что современные ИИ-системы успешно предсказывают конкретные результаты, но не способны к обобщению знаний и переносу их в новые области.
От Кеплера к Ньютону: аналогия с пониманием мира
В XVII веке Иоганн Кеплер точно предсказывал движение планет, но лишь Исаак Ньютон сформулировал универсальные законы гравитации, которые работали для любых объектов — от пушечного ядра до лунных приливов. Современные ИИ-системы напоминают Кеплера: они прекрасно предсказывают в узких областях, но не понимают фундаментальных принципов.
Разрыв между предсказанием и пониманием — ключевой вызов для современного искусственного интеллекта. Модели учатся корреляциям, а не причинно-следственным связям.
Метрика индуктивного смещения
Команда разработала количественную метрику под названием индуктивное смещение, которая измеряет, насколько предсказания модели соответствуют реальным физическим законам. Исследователи тестировали системы на различных уровнях сложности:
- Одномерные решеточные модели (простое движение по линии)
- Многомерные конфигурации
- Игра «реверси» (Отелло) с предсказанием ходов
- Пять различных категорий прогностических моделей
Результаты: обобщение ухудшается с ростом сложности
В простейших случаях, таких как одномерная решетка, модели успешно реконструировали «мир». Однако с увеличением сложности системы быстро теряли способность к обобщению.
«В двух- или трехсостояной решетке модель демонстрирует хорошее индуктивное смещение в сторону реального состояния, — объясняет Питер Чанг. — Но при увеличении числа состояний начинается расхождение с реальными моделями мира».
В случае с игрой модели точно предсказывали допустимые ходы, но совершенно не понимали общей конфигурации игрового поля, включая заблокированные фишки.
Практическое значение исследования
Разработанный метод предоставляет исследователям тестовую среду для оценки различных моделей и подходов к обучению на задачах, где известна «истинная правда» о системе.
Как отмечает ведущий автор исследования Кейон Вафа: «Люди всегда могли совершать переход от хороших предсказаний к моделям мира. Вопрос в том, смогли ли фундаментальные модели — смог ли ИИ — совершить этот скачок от предсказаний к моделям мира?».
По материалам MIT News
Оставить комментарий