LLM на RTX 4060 8GB: какие модели пойдут и с какой скоростью
У RTX 4060 8 ГБ VRAM и 320 ГБ/с — хватает на 7–8B модели на Q4_K_M. Топ по скорости: DeepSeek-R1 Distill 7B (~38 tok/s), Qwen3 8B и Llama 3.1 8B — ~33 tok/s. От 9B и выше не влезают в 8 ГБ — CPU-offload; потолок по качеству здесь — 8B на Q4.
Характеристики
- VRAM
- 8 GB GDDR6
- Пропускная способность
- 320 GB/s
- Архитектура
- Ada Lovelace (AD107)
- Цена РФ (окт 2026)
- ~42 000 ₽
Оценка рынка РФ окт 2026 (малые магазины ~36–40k); уточнить в e-com фазе. Ориентир, уточняется в e-com фазе.
Оценки tok/s по моделям каталога (Q4_K_M)
| Модель | Q4, ГБ | Статус | ~tok/s | Запуск |
|---|---|---|---|---|
| Llama 3.1 8B Instruct | 4.8 | Влезает | 33 | ollama run llama3.1:8b |
| Qwen3 8B | 4.8 | Влезает | 33 | ollama run qwen3:8b |
| DeepSeek-R1 Distill Qwen 7B | 4.2 | Влезает | 38 | ollama run deepseek-r1-distill-qwen-7b |
Не влезает в VRAM → CPU offload (16): медленно
| Модель | Q4, ГБ | Статус | ~tok/s |
|---|---|---|---|
| Llama 3.3 70B Instruct | 42 | CPU offload (медленно) | 1 |
| Qwen3 14B | 8.4 | CPU offload (медленно) | 3 |
| Qwen3 30B | 18 | CPU offload (медленно) | 1 |
| Qwen3.5 9B Instruct | 5.4 | CPU offload (медленно) | 5 |
| Qwen3.5 35B-A3B Instruct | 21 | CPU offload (медленно) | 4 |
| DeepSeek-R1 Distill Qwen 14B | 8.4 | CPU offload (медленно) | 3 |
| Mistral Small 3.1 24B | 14.4 | CPU offload (медленно) | 1 |
| Devstral Small 2 24B | 14.4 | CPU offload (медленно) | 1 |
| Gemma 3 12B | 7.2 | CPU offload (медленно) | 4 |
| Gemma 4 12B | 7.2 | CPU offload (медленно) | 4 |
| Phi-4 14B | 8.4 | CPU offload (медленно) | 3 |
| GLM-4.7-Flash 30B-A3B | 18 | CPU offload (медленно) | 4 |
| MiniCPM-V 4.5 8B | 5.2 | CPU offload (медленно) | 5 |
| Ministral 3 8B | 5 | CPU offload (медленно) | 5 |
| Gemma 4 26B-A4B | 15.6 | CPU offload (медленно) | 6 |
| Yi-1.5 34B Chat | 20.4 | CPU offload (медленно) | 1 |
Как считаем
Влезает ли модель: мин. VRAM (Q4) ≈ размер GGUF + 1–3 ГБ на контекст, бюджет ≈ 90% VRAM. Скорость: tok/s ≈ 320 ГБ/с ÷ размер модели × 0.5 (dense) / × 0.18 по активным (MoE). Не влезает в VRAM → CPU-offload 1–5 tok/s. Это модельные оценки, не измеренные бентчмарки (метод — модификация под РФ-контекст из modelfit.io, CC BY 4.0).
Не хватает VRAM → видеокарта
Чтобы DeepSeek-R1 Distill Qwen 7B (~38 tok/s, Q4 ≈ 4.2 ГБ) шла без CPU-offload (или влезли модели покрупнее), смотрите карты с большим VRAM. Цены — ориентир рынка РФ, окт 2026:
- RTX 3060 12GB · 12 GB от ~45 000 ₽
- RTX 4070 12GB · 12 GB от ~64 000 ₽
- RTX 4070 Super 12GB · 12 GB от ~72 000 ₽
- RTX 4060 Ti 16GB · 16 GB от ~55 000 ₽
Смотрите также
Модели, которые влезут на RTX 4060 8GB (3)