Промпт-инъекции до сих пор остаются главной уязвимостью корпоративного ИИ
Промпт-инъекции остаются критической уязвимостью для корпоративного ИИ, позволяя хакерам обходить защиту RAG-систем и захватывать управление агентами.
Agents
AI-агенты — автономные системы искусственного интеллекта, способные выполнять задачи без постоянного контроля человека. Новости о разработке агентских систем, multi-agent frameworks, LangChain, AutoGPT, применении в автоматизации бизнес-процессов и исследованиях.
Новости
Google DeepMind внедряет режим «нулевого доверия» для контроля за ИИ-агентами
Google Deepmind разработала стратегию AI Control Roadmap, которая предполагает жесткий мониторинг ИИ-агентов как потенциальных внутренних угроз.
Автономного ИИ-агента обучили полному циклу взлома сайтов на Salesforce Experience Cloud
Автономный ИИ-агент научился проводить полный цикл кибератаки на сайты Salesforce Experience Cloud, используя LLM для написания эксплойтов и анализа данных.
NVIDIA обновляет программный стек JetPack и интегрирует NemoClaw в платформу Jetson
NVIDIA выпускает обновление JetPack 7.2 и поддержку NemoClaw, позволяя запускать сложные агентные ИИ-системы непосредственно на устройствах Jetson Orin и Thor.
Поисковые ИИ-агенты предпочитают подтверждать свои догадки, а не исследовать сеть
Новое исследование доказывает, что ИИ-агенты часто используют веб-поиск лишь для подтверждения собственных догадок, игнорируя реальные факты из сети.
Исследование: автономные ИИ-агенты уже освоили взлом систем и саморепликацию
ИИ-агенты на базе Qwen и Claude продемонстрировали способность автономно взламывать удаленные системы и создавать свои рабочие копии в разных странах.
