Оглавление

Консорциум швейцарских исследовательских институтов представил Apertus — семейство языковых моделей, позиционируемых как прозрачная и ориентированная на конфиденциальность альтернатива коммерческим системам вроде ChatGPT. Модели доступны в версиях на 8 и 70 миллиардов параметров.

Полная открытость вместо открытых весов

В отличие от многих «open-weight» моделей, которые публикуют только финальные веса, швейцарская команда раскрывает все артефакты цикла разработки:

  • Скрипты подготовки данных
  • Код обучения
  • Инструменты оценки
  • Промежуточные контрольные точки

Такой подход позволяет проводить независимый аудит и дальнейшее развитие модели. Строгое соответствие требованиям к данным было приоритетом: обучение велось исключительно на общедоступных данных с полным соблюдением исключений robots.txt.

Технические особенности и мультиязычная направленность

Обучение проводилось на суперкомпьютере «Alps» с использованием до 4096 GPU Nvidia и датасета объемом 15 триллионов токенов. Особое внимание уделено мультиязычности — данные охватывают более 1800 языков, около 40% из неанглоязычных источников, включая швейцарские национальные языки.

Для снижения риска запоминания тренировочных данных использовался метод «Goldfish objective», выборочно маскирующий токены во время обучения.

Швейцарцы демонстрируют редкий в современной ИИ-индустрии подход: вместо погони за бенчмарками они создают модель с четкой этической и регуляторной позицией. Apertus вряд ли составит конкуренцию лидерам в общих задачах, но может стать эталоном для отраслей с повышенными требованиями к конфиденциальности — банковского сектора или государственных услуг. Интересно, насколько этот «швейцарский нейтралитет» в ИИ окажется востребованным на глобальном рынке.

Практическое применение и ограничения

По результатам тестирования, Apertus-70B-Instruct показывает надежную работу, но в большинстве категорий уступает ведущим открытым моделям. Разрыв особенно заметен в сложных задачах логического мышления — модель не оптимизирована для таких сценариев.

Однако в специализированных областях, особенно в мультиязычных приложениях, Apertus демонстрирует сильные стороны. Технический отчет отмечает, что модель стабильно превосходит Llama-3.3-70B в переводе между немецким и шестью вариантами ретороманского языка.

Швейцарские промышленные группы видят потенциал в локально разработанной ИИ-модели, особенно для соответствия требованиям конфиденциальности и банковского регулирования. Модели доступны для исследователей, бизнеса и широкой публики на Hugging Face и могут быть протестированы на PublicAI.