Sakana AI представила MASS — метод рекурсивного самосовершенствования LLM без участия человека
Метод Multi-Agent Self-Supervision позволяет одной модели улучшать себя, распределяя задачи между своими копиями, но несет риски закрепления ошибок.
Машинное обучение
Актуальные новости машинного обучения и нейронных сетей. Прорывы в области ML, новые алгоритмы, исследования от ведущих лабораторий. Практические применения машинного обучения в бизнесе, науке и повседневной жизни. Deep learning, computer vision, NLP и другие направления. Туториалы, гайды и экспертные материалы для специалистов.
Обучению языковых моделей мешает некачественное распознавание текстов старыми OCR
Проект FineBooks протестировал 14 OCR-моделей на исторических книгах, выявив лучшие инструменты для подготовки чистых данных для обучения языковых моделей.
NVIDIA может обучать LLM без пауз при помощи NTP — неравномерного тензорного параллелизма
NVIDIA представила технологию NTP, позволяющую динамически менять степень тензорного параллелизма для предотвращения простоев при обучении больших языковых моделей.
Meta* ограничивает использование Claude Code и Codex ради защиты своих данных
Компания Meta* ввела строгие ограничения на использование инструментов Claude Code от Anthropic и Codex от OpenAI своими инженерами. Это сделано для предотвращения попадания результатов работы чужих алгоритмов в собственные обучающие выборки и защиты интеллектуальной собственности.
Google представила OpenRL — API для тонкой настройки моделей внутри Kubernetes
Google представила OpenRL, open-source решение для дообучения языковых моделей на Kubernetes, которое разделяет управление инфраструктурой и исследовательскую работу.
Ученые предложили обучать ИИ на данных, размеченных другим ИИ на основе небольшого датасета
Исследователи представили метод обучения LLM рассуждениям с минимальной разметкой, используя специальный верификатор и энтропийную фильтрацию данных.
