LLM для кода локально
Для кода важнее всего: большой контекст (чужие файлы), точное следование формату и скорость. На 16–24 GB VRAM — Devstral Small 2 24B и Qwen3.5 35B-A3B (MoE, активные ~3B → быстро). На 12 GB — Qwen3 8B / Ministral 3 8B.
Рекомендованные модели (оценки на RTX 4060 Ti 16GB, 16 GB)
| Модель | Q4, ГБ | ~tok/s на RTX 4060 Ti 16GB | Запуск |
|---|---|---|---|
| Devstral Small 2 24B | 14.4 | 4 (offload) | ollama run devstral-small-2:24b |
| Qwen3.5 35B-A3B Instruct | 21 | 7 (offload) | ollama run qwen3.5:35b-a3b-instruct |
| Qwen3 8B | 4.8 | 38 | ollama run qwen3:8b |
| Ministral 3 8B | 5 | 36 | ollama run ministral-3:8b |
| GLM-4.7-Flash 30B-A3B | 18 | 8 (offload) | ollama run glm-4.7-flash |
Рекомендуемый VRAM для этой задачи: 16 GB. Оценки — от пропускной способности памяти и размера, не бентчмарки.