К содержимому
myvram.ru

Gemma 3 12B: VRAM, кванты, скорость, для чего

Gemma 3 12B — компактная мультимодальная модель Google. На Q4_K_M занимает 7.2 ГБ (с контекстом ~10 ГБ), минимальный VRAM 16 ГБ — комфортно на 4060 Ti 16GB / 4080 16GB / 7900 XT. Скорость на 16–24 GB ≈ 25–67 tok/s (оценка, не бентчмарк).

12B параметров · релиз 2025-03 · Gemma Terms of Use. Хорошо поддерживает русский язык.

Размеры весов и VRAM

Q4_K_M

7.2 ГБ

Q6_K

10 ГБ

Q8_0

12.6 ГБ

Мин. VRAM (Q4)

16 ГБ

Для чего: чат, мультимодальность, суммаризация

12B — шаг выше 8B по качеству: чат, суммаризация, мультимодальность (картинки). Хороший выбор, если есть 16 GB и хочется не 8B.

Оценки размера: Q4_K_M ≈ 0.60, Q6_K ≈ 0.83, Q8_0 ≈ 1.05 ГБ на млрд параметров (метод modelfit, CC BY 4.0). Источник данных: modelfit (Q4_K_M minRam 16). Скорость — оценка от bandwidth/размера, не бентчмарк.

Запуск (Ollama)

ollama run gemma3:12b
GGUF (HuggingFace) ↗ Модель (HuggingFace) ↗

Влезает ли на карты каталога (Q4_K_M)

КартаVRAMСтатус~tok/s
RTX 3060 12GB 12 GB Влезает 25
RTX 4060 8GB 8 GB CPU offload 4
RTX 4060 Ti 16GB 16 GB Влезает 25
RTX 4070 12GB 12 GB Влезает 35
RTX 4070 Super 12GB 12 GB Влезает 35
RTX 4080 16GB 16 GB Влезает 50
RTX 4090 24GB 24 GB Влезает 70
RX 7900 XT 20GB 20 GB Влезает 56
RX 7900 XTX 24GB 24 GB Влезает 67
Intel Arc A770 16GB 16 GB Влезает 36
Apple M1 16GB (unified) 16 GB Влезает 5
Apple M2 24GB (unified) 24 GB Влезает 7

Минимальная карта из каталога для Q4: RTX 3060 12GB (12 GB).

Где запустить: карты с 16+ GB VRAM

Модель встаёт на 16 ГБ и выше (по данным каталога). Страницы карт — с таблицами tok/s и ценами РФ:

Подобрать модель под свою карту — T1 · Какая LLM запустится на моей карте.

Семейство Gemma