Gemma 4 31B: VRAM, кванты, скорость, для чего
Gemma 4 31B — крупная мультимодальная модель Google (32.7B параметров, контекст 256K). На Q4_K_M занимает ~19.6 ГБ (с контекстом ~22 ГБ), минимальный VRAM 32 ГБ — класс 2× 24 GB или Mac 32+ ГБ; на 24 GB — только с оффлоадом. Мультимодальность — через mmproj-файл (vision), лицензия Apache-2.0 (по HF API).
32.7B параметров · релиз 2026-03 · Apache-2.0. Хорошо поддерживает русский язык.
Размеры весов и VRAM
Q4_K_M
19.6 ГБ
Q6_K
27.1 ГБ
Q8_0
34.3 ГБ
Мин. VRAM (Q4)
32 ГБ
Для чего: чат, кодинг, мультимодальность, долгий контекст
Шаг «наверх» в каталоге по качеству: чат, кодинг, суммаризация и зрение. Если есть 32 ГБ — это верхний consumer-уровень.
Оценки размера: Q4_K_M ≈ 0.60, Q6_K ≈ 0.83, Q8_0 ≈ 1.05 ГБ на млрд параметров (метод modelfit, CC BY 4.0). Источник данных: HF config.json + API google/gemma-4-31B (19.10.2026): total 32,682,372,656 (32.7B), ctx 256K, Apache-2.0 (tag HF API), 60 слоёв; wordstat30d 7230 («gemma 4», 17.10.2026). Скорость — оценка от bandwidth/размера, не бентчмарк.
Запуск (Ollama)
ollama run gemma4:31b Влезает ли на карты каталога (Q4_K_M)
| Карта | VRAM | Статус | ~tok/s |
|---|---|---|---|
| RTX 3060 12GB | 12 GB | CPU offload | 1 |
| RTX 4060 8GB | 8 GB | CPU offload | 1 |
| RTX 4060 Ti 16GB | 16 GB | CPU offload | 2 |
| RTX 4070 12GB | 12 GB | CPU offload | 1 |
| RTX 4070 Super 12GB | 12 GB | CPU offload | 1 |
| RTX 4080 16GB | 16 GB | CPU offload | 2 |
| RTX 4090 24GB | 24 GB | CPU offload | 5 |
| RX 7900 XT 20GB | 20 GB | CPU offload | 3 |
| RX 7900 XTX 24GB | 24 GB | CPU offload | 5 |
| Intel Arc A770 16GB | 16 GB | CPU offload | 2 |
| Apple M1 16GB (unified) | 16 GB | CPU offload | 2 |
| Apple M2 24GB (unified) | 24 GB | CPU offload | 5 |
Файлы: какой файл скачать
| Источник | Файл | Квант | Размер | Скачать |
|---|---|---|---|---|
| Ollama (registry.ollama.ai) | gemma4:31b | Q4_K_M | 18.67 ГБ | ollama pull gemma4:31b |
| GGUF (unsloth) | unsloth/gemma-4-31b-it-GGUF ↗
gemma-4-31B-it-Q4_K_M.gguf | Q4_K_M | 18.32 ГБ | |
| GGUF (unsloth) | unsloth/gemma-4-31b-it-GGUF ↗
gemma-4-31B-it-Q5_K_M.gguf | Q5_K_M | 21.66 ГБ | |
| GGUF (ggml-org) | ggml-org/gemma-4-31b-it-GGUF ↗
gemma-4-31B-it-Q8_0.gguf | Q8_0 | 32.64 ГБ | |
| MLX (только Apple) | mlx-community/gemma-4-31b-it-4bit ↗ | 4bit | 18.41 ГБ · 4 части | Скачать в РФ ↗ |
mmproj — визуальный проектор (+1.2 ГБ), отдельный файл: нужен, если используете распознавание изображений моделью.
mtp — головы спекулятивного декодирования (+0.28 ГБ), опциональный файл для ускорения.
Размеры — из манифестов/репо от 19.10.2026 (Ollama registry API, HF API); «Скачать в РФ» — через hf-mirror.com, доступность из РФ не проверялась (извне, 19.10.2026); оценка памяти — модель, не бенчмарк.
Сколько памяти под контекст
| Контекст | KV-кэш (fp16) | Итого (Q4_K_M 18.67 ГБ + KV + 1.5 ГБ) | 8 ГБ | 12 ГБ | 16 ГБ | 24 ГБ |
|---|---|---|---|---|---|---|
| 4K | 4 ГБ | 24.2 ГБ | — | — | — | — |
| 8K | 8.1 ГБ | 28.2 ГБ | — | — | — | — |
| 16K | 16.1 ГБ | 36.3 ГБ | — | — | — | — |
| 32K | 32.2 ГБ | 52.4 ГБ | — | — | — | — |
Макс. контекст: на 12 ГБ — не влезает и без контекста, на 24 ГБ — до ~1K токенов (бюджет 90% VRAM).
KV — оценка 16-бит (fp16-кэш); q8_0-KV-кэш режет колонку KV вдвое. Бюджет: dedicated GPU — 90% VRAM; unified (Mac) — 70–85%. Оценка — модель, не бенчмарк.
Семейство Gemma
- Gemma 4 12B · 12B
- Gemma 4 26B-A4B · 26B (MoE 4B)
- Gemma 3 12B · 12B