Какая нейросеть на 24 ГБ памяти
На 24 ГБ памяти (типовые 1008 ГБ/с, бюджет 90% = 21.6 ГБ) без CPU-offload влезает до Qwen3 30B (Q4, ~28 tok/s). Самая быстрая в каталоге — DeepSeek-R1 Distill Qwen 7B: ~120 tok/s. 34B dense (Yi-1.5) и 70B — CPU-offload либо апгрейд VRAM.
Топ-5 моделей на 24 GB / 1008 ГБ/с (Q4)
| Модель | Q4, ГБ | ~tok/s | Статус | Запуск |
|---|---|---|---|---|
| DeepSeek-R1 Distill Qwen 7B | 4.2 | 120 | влезает | ollama run deepseek-r1-distill-qwen-7b |
| Llama 3.1 8B Instruct | 4.8 | 105 | влезает | ollama run llama3.1:8b |
| Qwen3 8B | 4.8 | 105 | влезает | ollama run qwen3:8b |
| GLM-4.7-Flash 30B-A3B | 18 | 101 | влезает | ollama run glm-4.7-flash |
| Ministral 3 8B | 5 | 101 | влезает | ollama run ministral-3:8b |
Оценка — от пропускной способности памяти и размера (не бентчмарки). Bandwidth 1008 ГБ/с — типовой ориентир для 24 ГБ (референсы: RTX 4090 24GB, RX 7900 XTX 24GB, Apple M2 24GB (unified)).
Размер моделей в квантах (ГБ)
| Модель | Q4_K_M | Q6_K | Q8_0 | Мин. VRAM, ГБ |
|---|---|---|---|---|
| DeepSeek-R1 Distill Qwen 7B | 4.2 | 5.8 | 7.4 | 8 |
| Llama 3.1 8B Instruct | 4.8 | 6.6 | 8.4 | 12 |
| Qwen3 8B | 4.8 | 6.6 | 8.4 | 12 |
| GLM-4.7-Flash 30B-A3B | 18 | 24.9 | 31.5 | 32 |
| Ministral 3 8B | 5 | 7 | 8.8 | 12 |
Q6/Q8 тяжелее на ~40–75% и быстрее не становятся (лимит памяти) — зато качество ближе к FP16. Детали — в гиде по квантам.
Не хватает 24 GB → видеокарта с большим VRAM
Больше 24 ГБ в потребительском каталоге нет — смотрите Mac с unified-памятью или серверные карты.
Рядом