Оглавление
По данным NVIDIA, новые открытые модели вроде OpenAI gpt-oss и Alibaba Qwen 3 теперь могут работать напрямую на ерсональных компьютерах, обеспечивая качественные результаты без необходимости подписок и с сохранением приватности данных.
Оптимизированные инструменты для локальных LLM
NVIDIA активно работает над оптимизацией популярных приложений для работы с языковыми моделями на ПК с RTX, максимально используя производительность тензорных ядер в графических процессорах RTX.
Один из самых простых способов начать работу с ИИ на ПК — Ollama, инструмент с открытым исходным кодом, предоставляющий простой интерфейс для запуска и взаимодействия с LLM. Он поддерживает возможность перетаскивания PDF-файлов в промпты, чатовые беседы и мультимодальные workflow, включающие текст и изображения.
Источник: blogs.nvidia.com
NVIDIA сотрудничала с Ollama для улучшения производительности и пользовательского опыта. Последние разработки включают:
- Улучшения производительности на GeForce RTX GPU для модели OpenAI gpt-oss-20B и моделей Google Gemma 3
- Поддержку новых моделей Gemma 3 270M и EmbeddingGemma3 для гиперэффективной генерации дополнительной информации на RTX AI PC
- Улучшенную систему планирования моделей для максимального и точного отчета об использовании памяти
- Повышение стабильности и улучшения для multi-GPU
Энтузиасты также могут начать работу с локальными LLM используя LM Studio, приложение на основе популярного фреймворка llama.cpp. Приложение предоставляет удобный интерфейс для локального запуска моделей, позволяя пользователям загружать различные LLM, общаться с ними в реальном времени и даже использовать их как локальные API эндпоинты для интеграции в кастомные проекты.
Источник: blogs.nvidia.com
NVIDIA работала с llama.cpp для оптимизации производительности на NVIDIA RTX GPU. Последние обновления включают:
- Поддержку новой модели NVIDIA Nemotron Nano v2 9B, основанной на новой гибридной архитектуре
- Flash Attention теперь включен по умолчанию, предлагая до 20% улучшение производительности по сравнению с отключенным Flash Attention
- Оптимизации CUDA kernels для RMS Norm и fast-div по модулю, дающие до 9% улучшения производительности для популярных моделей
- Семантическое версионирование, упрощающее разработчикам адаптацию будущих релизов
Создание AI-помощника для учебы с AnythingLLM
Локальный запуск LLM не только обеспечивает большую приватность и производительность, но и снимает ограничения на количество загружаемых файлов и время их доступности, позволяя вести контекстно-зависимые беседы с ИИ в течение более длительного периода времени.
Источник: blogs.nvidia.com
Простой способ сделать это — использовать AnythingLLM, который поддерживает загрузку документов, кастомные базы знаний и чатовые интерфейсы. Загружая учебные планы, задания и учебники в AnythingLLM на RTX PC, студенты могут получить адаптивного интерактивного помощника для учебы.
Они могут попросить агента помочь с такими задачами:
- Генерация карточек из лекционных слайдов
- Контекстные вопросы по учебным материалам
- Создание и проверка тестов для подготовки к экзаменам
- Пошаговое решение сложных задач
Локальные LLM наконец-то перестали быть игрушкой для гиков и стали практичным инструментом. Особенно впечатляет, как NVIDIA смогла выжать максимум из потребительского железа — теперь даже на ноутбуке можно иметь персонального AI-ассистента, который не шпионит и не требует подписки. Правда, пока это всё равно требует технической смекалки, но тенденция очевидна: ИИ становится персональным.
Project G-Assist теперь управляет настройками ноутбуков
Project G-Assist — экспериментальный AI-ассистент, который помогает пользователям настраивать, контролировать и оптимизировать свои игровые ПК с помощью простых голосовых или текстовых команд без необходимости копаться в меню.
Новое обновление G-Assist добавляет команды для настройки настроек ноутбуков, включая:
- Профили приложений, оптимизированные для ноутбуков
- Контроль BatteryBoost
- Управление WhisperMode
Project G-Assist также расширяем. С помощью G-Assist Plug-In Builder пользователи могут создавать и кастомизировать функциональность G-Assist, добавляя новые команды или подключая внешние инструменты с помощью простых в создании плагинов.
Оставить комментарий