LLM для голосового ассистента локально
Голосовой ассистент = маленький модельный размер + скорость 15+ tok/s. Оптимум: 3–9B на Q4. Qwen3.5 9B на 12 GB, Ministral 3 8B / MiniCPM-V 4.5 8B (с зрением) на 8–16 GB. Дальше — связка с STT/TTS (Whisper + Coqui/XTTS).
Рекомендованные модели (оценки на RTX 4060 8GB, 8 GB)
| Модель | Q4, ГБ | ~tok/s на RTX 4060 8GB | Запуск |
|---|---|---|---|
| Ministral 3 8B | 5 | 5 (offload) | ollama run ministral-3:8b |
| Qwen3.5 9B Instruct | 5.4 | 5 (offload) | ollama run qwen3.5:9b-instruct |
| MiniCPM-V 4.5 8B | 5.2 | 5 (offload) | ollama run minicpm-v4.5:8b |
| DeepSeek-R1 Distill Qwen 7B | 4.2 | 38 | ollama run deepseek-r1-distill-qwen-7b |
Рекомендуемый VRAM для этой задачи: 8 GB. Оценки — от пропускной способности памяти и размера, не бентчмарки.