Какая нейросеть на 32 ГБ памяти
На 32 ГБ памяти (типовые 800 ГБ/с, бюджет 90% = 28.8 ГБ) без CPU-offload влезает до Qwen3.5 35B-A3B Instruct (Q4, ~80 tok/s). Самая быстрая в каталоге — DeepSeek-R1 Distill Qwen 7B: ~95 tok/s. 70B на Q4 не влезает — CPU-offload; MoE с активными 3–4B идут с запасом.
Топ-5 моделей на 32 GB / 800 ГБ/с (Q4)
| Модель | Q4, ГБ | ~tok/s | Статус | Запуск |
|---|---|---|---|---|
| DeepSeek-R1 Distill Qwen 7B | 4.2 | 95 | влезает | ollama run deepseek-r1-distill-qwen-7b |
| Llama 3.1 8B Instruct | 4.8 | 83 | влезает | ollama run llama3.1:8b |
| Qwen3 8B | 4.8 | 83 | влезает | ollama run qwen3:8b |
| Qwen3.5 35B-A3B Instruct | 21 | 80 | влезает | ollama run qwen3.5:35b-a3b-instruct |
| GLM-4.7-Flash 30B-A3B | 18 | 80 | влезает | ollama run glm-4.7-flash |
Оценка — от пропускной способности памяти и размера (не бентчмарки). Bandwidth 800 ГБ/с — типовой ориентир для 32 ГБ (референсы: ).
Размер моделей в квантах (ГБ)
| Модель | Q4_K_M | Q6_K | Q8_0 | Мин. VRAM, ГБ |
|---|---|---|---|---|
| DeepSeek-R1 Distill Qwen 7B | 4.2 | 5.8 | 7.4 | 8 |
| Llama 3.1 8B Instruct | 4.8 | 6.6 | 8.4 | 12 |
| Qwen3 8B | 4.8 | 6.6 | 8.4 | 12 |
| Qwen3.5 35B-A3B Instruct | 21 | 29.1 | 36.8 | 32 |
| GLM-4.7-Flash 30B-A3B | 18 | 24.9 | 31.5 | 32 |
Q6/Q8 тяжелее на ~40–75% и быстрее не становятся (лимит памяти) — зато качество ближе к FP16. Детали — в гиде по квантам.
Не хватает 32 GB → видеокарта с большим VRAM
Больше 32 ГБ в потребительском каталоге нет — смотрите Mac с unified-памятью или серверные карты.
Рядом