Какая нейросеть на 8 ГБ памяти
На 8 ГБ памяти (типовые 320 ГБ/с, бюджет 90% = 7.2 ГБ) без CPU-offload влезает до Llama 3.1 8B Instruct (Q4, ~33 tok/s). Самая быстрая в каталоге — DeepSeek-R1 Distill Qwen 7B: ~38 tok/s. Крупнее 9B (14B и выше) уже идёт с CPU-offload (1–5 tok/s) — либо берёте карту с большим VRAM.
Топ-5 моделей на 8 GB / 320 ГБ/с (Q4)
| Модель | Q4, ГБ | ~tok/s | Статус | Запуск |
|---|---|---|---|---|
| DeepSeek-R1 Distill Qwen 7B | 4.2 | 38 | влезает | ollama run deepseek-r1-distill-qwen-7b |
| Llama 3.1 8B Instruct | 4.8 | 33 | влезает | ollama run llama3.1:8b |
| Qwen3 8B | 4.8 | 33 | влезает | ollama run qwen3:8b |
| Gemma 4 26B-A4B | 15.6 | 6 | CPU-offload | ollama run gemma4:26b-a4b-it |
| Qwen3.5 9B Instruct | 5.4 | 5 | CPU-offload | ollama run qwen3.5:9b-instruct |
Оценка — от пропускной способности памяти и размера (не бентчмарки). Bandwidth 320 ГБ/с — типовой ориентир для 8 ГБ (референсы: RTX 4060 8GB).
Размер моделей в квантах (ГБ)
| Модель | Q4_K_M | Q6_K | Q8_0 | Мин. VRAM, ГБ |
|---|---|---|---|---|
| DeepSeek-R1 Distill Qwen 7B | 4.2 | 5.8 | 7.4 | 8 |
| Llama 3.1 8B Instruct | 4.8 | 6.6 | 8.4 | 12 |
| Qwen3 8B | 4.8 | 6.6 | 8.4 | 12 |
| Gemma 4 26B-A4B | 15.6 | 21.6 | 27.3 | 24 |
| Qwen3.5 9B Instruct | 5.4 | 7.5 | 9.5 | 12 |
Q6/Q8 тяжелее на ~40–75% и быстрее не становятся (лимит памяти) — зато качество ближе к FP16. Детали — в гиде по квантам.
Не хватает 8 GB → видеокарта с большим VRAM
Чтобы больше моделей шло без CPU-offload — карта с VRAM больше 8 ГБ (цены РФ, окт 2026, ориентир):
- RTX 3060 12GB · 12 GB · 360 ГБ/с · от ~45 000 ₽
- RTX 4070 12GB · 12 GB · 504 ГБ/с · от ~64 000 ₽
- RTX 4070 Super 12GB · 12 GB · 504 ГБ/с · от ~72 000 ₽
Рядом