Локальные LLM под задачу
Подберите модель под конкретную задачу: кодинг, суммаризация, перевод, голосовой ассистент, зрение. У каждой задачи — рекомендуемый VRAM и подходящие модели из каталога.
LLM для кода
Для кода важнее всего: большой контекст (чужие файлы), точное следование формату и скорость. На 16–24 GB VRAM — Devstral Small 2 24B и Qwen3.5 35B-A3B (MoE, активные ~3B → быстро). На 12 GB — Qwen3 8B / Ministral 3 8B.
VRAM: ~16 GB
LLM для суммаризации
Суммаризация = длинный вход, короткий выход. Ключевое — длина контекста: берём модель, которая влезает в VRAM с большим KV-кэшем. Qwen3 30B на 32 GB, Mistral Small 3.1 24B на 24 GB, Gemma 3 12B на 16 GB — рабочие точки.
VRAM: ~24 GB
LLM для перевода
Перевод требует мультиязычности. Для RU-паров (RU↔EN) лучше всего Qwen3-серия (сильный RU), Mistral Small 3.1 и Gemma 3. На 8 GB уже работает Qwen3 8B; на 16 GB — 14B с заметным приростом качества.
VRAM: ~12 GB
LLM для голосового ассистента
Голосовой ассистент = маленький модельный размер + скорость 15+ tok/s. Оптимум: 3–9B на Q4. Qwen3.5 9B на 12 GB, Ministral 3 8B / MiniCPM-V 4.5 8B (с зрением) на 8–16 GB. Дальше — связка с STT/TTS (Whisper + Coqui/XTTS).
VRAM: ~8 GB
LLM со зрением
Vision-модели (обработка изображений) тяжелее текстовых: у Qwen3.5 9B и MiniCPM-V 4.5 8B есть vision-модальности. Берём 12+ GB VRAM, чтобы видео-фреймы и KV-кэш влезли с запасом.
VRAM: ~16 GB