Gemma 3 12B IT: какой квант выбрать
Все кванты Gemma 3 12B IT (12 B), которые реально есть в данных (7: Q4_K_M, Q5_K_M, Q8_0, Q4_0, Q4_K_XL, Q4_K_M, 4bit), с точными размерами файлов от 19.10.2026 и расчётом «сколько VRAM под контекст».
Кванты: размер → VRAM под контекст → мин. карта
| Квант (файл) | Размер, ГБ | Итого @8K | Итого @16K | Итого @32K | Мин. карта | ~tok/s RTX 4060 8 GB | ~tok/s RTX 4090 24 GB | ~tok/s Apple M2 24 GB (unified) |
|---|---|---|---|---|---|---|---|---|
| Q4_K_M ggml-org/gemma-3-12b-it-GGUF | 7.3 ГБ | 12 | 15.2 | 21.7 | от 20 ГБ | offload | ~69 | ~7 |
| Q5_K_M unsloth/gemma-3-12b-it-GGUF | 8.45 ГБ | 13.2 | 16.4 | 22.8 | от 20 ГБ | offload | ~60 | ~6 |
| Q8_0 ggml-org/gemma-3-12b-it-GGUF | 12.51 ГБ | 17.2 | 20.5 | 26.9 | от 24 ГБ | offload | ~40 | offload |
| Q4_0 Ollama: gemma3:12b-it-qat | 8.07 ГБ | 12.8 | 16 | 22.5 | от 20 ГБ | offload | ~62 | ~6 |
| Q4_K_XL (UD-Dynamic) unsloth/gemma-3-12b-it-GGUF | 7.43 ГБ | 12.2 | 15.4 | 21.8 | от 20 ГБ | offload | ~68 | ~7 |
| Q4_K_M (QAT) unsloth/gemma-3-12b-it-qat-GGUF | 7.3 ГБ | 12 | 15.2 | 21.7 | от 20 ГБ | offload | ~69 | ~7 |
| 4bit mlx-community/gemma-3-12b-it-4bit | 8.03 ГБ | 12.8 | 16 | 22.4 | от 20 ГБ | offload | ~63 | ~6 |
«Итого» = веса + KV-кэш (fp16, 8 KV-голов) + 1.5 ГБ overhead; q8_0-KV-кэш режет KV вдвое. У модели sliding window 1024 — расчёт по всем слоям (верхняя оценка).
tok/s — оценка: влезает → bandwidth ÷ размер × 0.5 (dense), не влезает → CPU-offload 1–5 tok/s. Оценка, не бенчмарк.
Лучший квант по tier памяти (влезает @16K)
| Память | Бюджет (90%) | Лучший (самый тяжёлый) квант | Итого @16K |
|---|---|---|---|
| 8 ГБ | 7.2 ГБ | не влезает даже лёгче — offload / больше памяти | — |
| 16 ГБ | 14.4 ГБ | не влезает даже лёгче — offload / больше памяти | — |
| 24 ГБ | 21.6 ГБ | Q8_0 (12.51 ГБ, gemma-3-12b-it-Q8_0.gguf) | 20.5 ГБ |
| 48 ГБ | 43.2 ГБ | Q8_0 (12.51 ГБ, gemma-3-12b-it-Q8_0.gguf) | 20.5 ГБ |
«Лучший» = самый тяжёлый (качественный) квант, влезший в tier с контекстом 16K. Q2/Q3-кванты — заметное падение качества (experimental) — не рекомендуем и в таблицу не включали.
Диапазон скорости по квантам (оценка, не бентчмарк)
- RTX 4060 8 GB: оффлоад (1–5 tok/s) (ни один квант не влезает — CPU-offload)
- RTX 4090 24 GB: 40–69 tok/s (среди квантов, влезших на это устройство)
- Apple M2 24 GB (unified): 6–7 tok/s (среди квантов, влезших на это устройство)
Оговорки и ссылки
- Размеры — фактические байты из Ollama-реестра / HF API от 19.10.2026; «влезает» — по бюджету 90% VRAM (unified — 70–85%). Оценки — модельные, не бентчмарки.
- Мин. карта — из каталога gpus.json (12 устройств); «24 ГБ+» — вне каталога/оффлоад.