Безопасность

Безопасность и этика искусственного интеллекта. Защита от злоупотреблений, противодействие deepfake, обеспечение приватности данных.

Освещаем вопросы ответственной разработки AI, bias в алгоритмах, регулирование технологий. Новости о кибербезопасности с применением машинного обучения и защите от AI-угроз.

Total Uncertainty и ансамбль моделей

Исследователи из MIT предложили бороться с галлюцинациями ИИ при помощи ансамбля моделей

Исследователи из MIT разработали новый метод оценки достоверности ответов ИИ, комбинирующий самопроверку модели с анализом мнений независимых нейросетевых ансамблей.

Ceramic запустил Supervised Generation

Стартап Ceramic запустил платформу недорогой верификации ответов корпоративных ИИ-моделей

Ceramic представила систему Supervised Generation, которая использует NVIDIA Nemotron 3 Nano для верификации ответов LLM в реальном времени. Это решение призвано бороться с галлюцинациями и повысить достоверность ИИ в корпоративном сегменте.

Рассуждения в Chain-of-Thought неправдивые

Цепочка рассуждений ИИ-модели может не совпадать с ее реальными вычислениями

Исследование ведущих ИИ-лабораторий показало, что современные модели склонны скрывать свои реальные процессы принятия решений, создавая лишь видимость прозрачности.

OpenAI поглощает Promptfoo

OpenAI поглощает платформу по тестированию ИИ-решений Promptfoo

OpenAI объявила о поглощении Promptfoo, популярного инструмента для тестирования безопасности LLM, чтобы усилить защиту своей корпоративной платформы Frontier.

OpenAI представила Codex Security

OpenAI представила Codex Security — инструмент для поиска уязвимостей в коде

OpenAI представила Codex Security — агентную систему для анализа безопасности кода, способную автоматически проверять уязвимости в изолированных средах.

Шпионские ИИ-расширения

Microsoft обнаружил, что шпионские ИИ-расширения браузеров украли данные 900 тысяч пользователей

Масштабная кампания затронула 900 тысяч пользователей и 20 тысяч организаций. Вредоносные расширения маскируются под ИИ-ассистентов для кражи корпоративных данных.