Gemma 3 12B IT: какие файлы скачать (GGUF/Ollama/MLX) — все кванты, размеры и VRAM
Полная раскладка весовых файлов Gemma 3 12B IT (12 B): 14 записей — Ollama-теги, GGUF (все кванты и провайдеры, multi-part), MLX и vLLM-сборки. Размеры — точные байты из манифестов/репо от 19.10.2026, не оценка «0.6 × параметры».
Dense-модель: и память, и скорость — по полным 12 B.
Ollama (registry.ollama.ai)
| Тег | Квант | Размер | Запуск |
|---|---|---|---|
gemma3:12b | Q4_K_M | 7.31 ГБ | ollama pull gemma3:12b |
gemma3:12b-it-qat | Q4_0 | 8.07 ГБ | ollama pull gemma3:12b-it-qat |
Размер — сумма слоёв манифеста registry.ollama.ai (19.10.2026). Реестр несёт один квант на тег (обычно Q4_K_M): прочие кванты — в GGUF-таблице ниже.
GGUF (все кванты и провайдеры)
| Квант | Файл / провайдер | Размер | Скачать |
|---|---|---|---|
| Q4_K_M | ggml-org/gemma-3-12b-it-GGUF ↗ gemma-3-12b-it-Q4_K_M.gguf | 7.3 ГБ | |
| Q8_0 | ggml-org/gemma-3-12b-it-GGUF ↗ gemma-3-12b-it-Q8_0.gguf | 12.51 ГБ | |
| Q4_K_M | unsloth/gemma-3-12b-it-GGUF ↗ gemma-3-12b-it-Q4_K_M.gguf | 7.3 ГБ | |
| Q5_K_M | unsloth/gemma-3-12b-it-GGUF ↗ gemma-3-12b-it-Q5_K_M.gguf | 8.45 ГБ | |
| Q8_0 | unsloth/gemma-3-12b-it-GGUF ↗ gemma-3-12b-it-Q8_0.gguf | 12.51 ГБ | |
| Q4_K_XL (UD-Dynamic) | unsloth/gemma-3-12b-it-GGUF ↗ gemma-3-12b-it-UD-Q4_K_XL.gguf | 7.43 ГБ | |
| Q4_K_M | lmstudio-community/gemma-3-12b-it-GGUF ↗ gemma-3-12b-it-Q4_K_M.gguf | 7.3 ГБ | |
| Q4_K_M (QAT) · QAT-вариант (Quantization-Aware Training) — выше качество при том же кванте | unsloth/gemma-3-12b-it-qat-GGUF ↗ gemma-3-12b-it-qat-Q4_K_M.gguf | 7.3 ГБ |
mmproj — визуальный проектор: mmproj-model-f16.gguf (+0.85 ГБ, отдельный файл) · mmproj — визуальный проектор: mmproj-F16.gguf (+0.85 ГБ, отдельный файл)
MLX (только Apple Silicon)
| Репозиторий | Квант | Размер | Скачать |
|---|---|---|---|
| mlx-community/gemma-3-12b-it-4bit ↗ | 4bit | 8.03 ГБ · 2 части | РФ (hf-mirror) ↗ |
vLLM / серверные сборки только сервер
| Репозиторий | Квант | Размер | Зачем |
|---|---|---|---|
| gaunernst/gemma-3-12b-it-int4-awq ↗ | AWQ-INT4 · 2 части | 9.08 ГБ | AWQ-квант для vLLM (130k загрузок); сервер/NVIDIA |
Для домашнего железа не предлагаем — только датацентр/облако. Локальные запуски — GGUF/Ollama выше.
Сколько памяти под контекст
| Контекст | KV-кэш (fp16) | Итого (Q4_K_M 7.31 ГБ + KV + 1.5 ГБ) | 8 ГБ | 12 ГБ | 16 ГБ | 24 ГБ |
|---|---|---|---|---|---|---|
| 4K | 1.6 ГБ | 10.4 ГБ | — | ✓ | ✓ | ✓ |
| 8K | 3.2 ГБ | 12 ГБ | — | — | ✓ | ✓ |
| 16K | 6.4 ГБ | 15.3 ГБ | — | — | — | ✓ |
| 32K | 12.9 ГБ | 21.7 ГБ | — | — | — | — |
KV — оценка 16-бит (fp16-кэш); q8_0-KV-кэш режет колонку KV вдвое. У модели скользящее окно 1024 — расчёт по всем слоям (верхняя оценка).
Влезает на N ГБ (Q4_K_M, контекст 16K + overhead)
| Память | Бюджет (90%) | Итого @16K | Вердикт | Макс. контекст |
|---|---|---|---|---|
| 8 ГБ | 7.2 ГБ | 15.3 ГБ | не влезает → offload | не влезает даже без контекста |
| 16 ГБ | 14.4 ГБ | 15.3 ГБ | не влезает → offload | до ~14K токенов |
| 24 ГБ | 21.6 ГБ | 15.3 ГБ | влезает | до ~33K токенов |
| 48 ГБ | 43.2 ГБ | 15.3 ГБ | влезает | до ~87K токенов |
Бюджет — 90% VRAM (dedicated); unified (Mac) — 70–85%. Не влезает → CPU-offload (1–5 tok/s) или часть весов на GPU (n-gpu-layers). Минимально из вердиктов: 24 ГБ.
Оговорки и ссылки
- Размеры — фактические байты из Ollama-реестра / HF API от 19.10.2026 (методика — в данных files.json).
- «РФ (hf-mirror)» — зеркало hf-mirror.com (Япония): проверено из-за границы 19.10.2026, доступность из РФ не проверялась — проверьте со своего IP (гайд: скачать в России).
- Ссылки на HuggingFace/hf-mirror —
rel="nofollow"(не e-com). Оценка памяти — модель, не бенчмарк.