Бесплатный лончер для локальных нейросетей: обзор Unsloth Desktop

Я уже писал про локальные модели дважды - про Qwen вместо Cursor в VS Code и про Glimmer 30B от Meta. Оба раза приходилось собирать инструменты по кускам: одна программа качает модель, другая её крутит, а обучить хоть что-то под свою задачу без Python и консоли было почти нереально. 11 августа команда Unsloth выпустила Desktop - приложение, которое закрывает весь путь разом: скачал, запустил, при желании дообучил под себя. И бесплатно.

Проект не с нуля - у Unsloth за плечами библиотека для тонкой настройки моделей, которой пользуются тысячи разработчиков, и репозиторий на GitHub с 70 тысячами звёзд. Desktop - их первое приложение с окнами и кнопками, а не только код для терминала.

Что это вообще такое

Unsloth Desktop - Tauri-приложение (то есть лёгкая нативная оболочка, не Electron-монстр на пару гигабайт) для Mac, Windows и Linux. Внутри - каталог моделей, чат, настройка обучения и подключение к внешним агентам вроде Claude Code. Поддерживает текстовые модели, диффузионные (картинки и видео), аудио и модели-эмбеддинги, форматы GGUF и MLX. Никакой телеметрии, можно работать полностью офлайн - разработчики прямо это заявляют в документации.

Ядро - Apache 2.0, лицензия свободная, ставь и используй без вопросов. Часть компонентов самой Studio (веб-версии, которая вышла раньше Desktop) идёт под AGPL-3.0 - это уже другая история, там если дорабатываешь код и отдаёшь его по сети другим, обязан открыть свои изменения.

Запускать и обучать - две разные истории

Тут важно не путать. Ollama и LM Studio, о которых я тоже писал, умеют одно - запускать готовую модель. Ты скачал веса, программа их погоняла через llama.cpp, ты получил ответ в чате. Обучить модель под свою задачу они не могут вообще, разве что LM Studio позволяет накинуть готовую LoRA-надстройку поверх модели.

Unsloth Desktop умеет и то, и другое в одном окне. Запуск - для тех, кому просто нужен локальный чат или сервер для агента. Обучение (fine-tuning) - для тех, кто хочет взять базовую модель и дообучить её на своих данных: переписке в поддержке, документах компании, стиле текста, кодовой базе. Это разные сценарии с разными требованиями к железу, и путать их не стоит - если тебе нужен просто локальный чат-бот, обучение можно смело пропускать, оно не бесплатное по времени и нагрузке на видеокарту, даже если бесплатное по деньгам.

Что нужно по железу

Официального единого минимума разработчики не называют - приложение работает и на процессоре без видеокарты, просто медленно, и на связке из нескольких GPU для тяжёлых моделей. Поддержаны NVIDIA, AMD, Intel и Apple Silicon.

Ориентир по памяти проще смотреть на конкретной модели. Например, Muse Glimmer 30B от Meta, которая идёт в каталоге Unsloth с первого дня, в рекомендованном 4-битном кванте требует около 18 гигабайт видеопамяти - то есть та же RTX 3090 или 4090, о которой я писал в статье про Glimmer. Для менее тяжёлых моделей хватит и видеокарты попроще, для обучения (не запуска) потребуется заметно больше - именно тут компания и обещает экономию.

Как поставить

Ставится без плясок. Идёшь на unsloth.ai, выбираешь свою систему и качаешь готовый установщик: .dmg для Mac, .exe для Windows, .deb или AppImage для Linux. Файлы компактные, по 40-45 мегабайт - это оболочка, сами модели весом в гигабайты качаются уже потом, отдельно, только те, что реально нужны.

После установки открываешь приложение, идёшь в каталог моделей, выбираешь модель и квантование под своё железо - и жмёшь скачать. Дальше всё как в LM Studio: чат, параметры генерации, локальный сервер с API.

Подключаем Claude Code и Codex

Отдельная причина, почему эта штука интересна лично мне. В приложении есть команда unsloth start claude - запускаешь Unsloth, загружаешь модель, открываешь папку своего проекта и одной командой подключаешь Claude Code к локальной модели вместо облачной. Точно так же работает unsloth start codex для Codex.

Смысл не в том, чтобы заменить Claude Sonnet или Opus локальной моделью на постоянной основе - для сложных задач разрыв в качестве всё ещё большой, я уже разбирал это на примере Glimmer против Qwen на агентных бенчмарках. Смысл - в дешёвых и объёмных задачах, где гнать всё через платный API накладно: линтинг, простые правки по шаблону, второй слой проверки перед тем, как показать результат тебе. Разработчики заявляют, что за счёт умной обработки инструментальных вызовов локальная модель реже “ломает” JSON-структуру и переспрашивает сама себя - но это их собственные цифры, я такие вещи стараюсь проверять на своих задачах, а не верить на слово.

Что реально даёт обучение дома

Главный заявленный плюс - обучение примерно в два раза быстрее и с 70% меньшим расходом видеопамяти по сравнению со стандартным способом через голый PyTorch, без потери точности. Это цифры самой компании, не независимый бенчмарк, и относятся они к движку Unsloth, который годами обкатывался как раз на задаче тонкой настройки - тут я скорее склонен им верить, чем в случае со свежими агентными бенчмарками, потому что это их основная компетенция с самого основания проекта.

Практический смысл: раньше, чтобы дообучить модель под свои данные, нужен был минимум Python, Jupyter-блокнот и терпение разбираться с зависимостями. Теперь это загрузка своего датасета (можно даже из PDF или CSV - приложение само превращает их в обучающие примеры), выбор базовой модели и кнопка “старт”. Для тех, кто пишет код, ничего не изменилось - все те же библиотеки доступны из терминала. А для тех, кто раньше даже не пробовал, барьер входа обрушился до уровня “поставил приложение, нашёл файл с примерами, нажал кнопку”.

Кому это реально надо

Три сценария, где я вижу практический смысл, а не просто “модно”.

Локальный агент для чувствительных данных - юридические документы, переписка с клиентами, внутренние регламенты компании. Обучаешь модель на своих текстах прямо на месте, ничего не улетает на чужой сервер.

Дешёвый второй слой в уже существующем пайплайне. Если у тебя, как у меня, крутятся автоматизации с генерацией контента через LLM, локальная дообученная модель отлично годится на роль проверяющего или форматтера - ей не нужно быть гением, нужно стабильно делать одну узкую вещь.

И третий - просто эксперимент без риска. Хочешь понять, что вообще такое fine-tuning и зачем он нужен, - раньше для этого требовался вечер с документацией Hugging Face, теперь можно просто скачать приложение и потыкать на игрушечном датасете, ничего не сломаешь и ничего не заплатишь.

Стоит ли ставить

Если ты уже пользуешься Ollama или LM Studio просто для чата - переходить ради этого одного смысла нет, разница минимальна. Если тебе хоть раз хотелось дообучить модель под свою задачу, но останавливала возня с Python-окружением - вот тут Unsloth Desktop реально решает проблему, а не косметически её прячет.

Я себе уже поставил - буду пробовать дообучить маленькую модель под форматирование постов под мой стиль, чтобы разгрузить один из внутренних агентов от платного вызова каждый раз. Получится - расскажу отдельно, с цифрами по времени и памяти на своём железе, а не по маркетинговым слайдам разработчиков.