Кванты простыми словами: Q4, Q6 и Q8
Квантование сжимает веса модели с 16 бит до 4–8 бит на вес: файл в 2–4 раза меньше, качество — почти как полный (на 4 битах теряются, как правило, 1–3 балла на большинстве задач). Q4_K_M — стандарт локальных LLM: ≈ 0.6 ГБ на 1 млрд параметров (8B ≈ 4.8 ГБ). Q6/Q8 тяжелее на ~40–75% и быстрее не становятся (лимит — память), но ближе к FP16: берут, когда VRAM есть в запасе и важно качество (долгий контекст, рассуждения).
Сколько весят модели (веса, без контекста)
| Квант | ГБ на 1B параметров | 8B | 14B | 34B | Когда брать |
|---|---|---|---|---|---|
| Q4_K_M | ≈ 0.6 | ≈ 4.8 ГБ | ≈ 8.4 ГБ | ≈ 20.4 ГБ | По умолчанию: лучшее соотношение «качество / VRAM / скорость» |
| Q6_K | ≈ 0.83 | ≈ 6.6 ГБ | ≈ 11.6 ГБ | ≈ 28.2 ГБ | Средний: чуть выше качество, +~40% к размеру |
| Q8_0 | ≈ 1.05 | ≈ 8.4 ГБ | ≈ 14.7 ГБ | ≈ 35.7 ГБ | Максимум качества при локальном запуске (почти FP16-качество) |
К весам сверху добавляется контекст/KV-кэш: +1–2 ГБ на типичный контекст ~8K (сколько VRAM ест контекст), поэтому бюджет — 90% VRAM, как считает T1-калькулятор. Методика — модификация modelfit.io (CC BY 4.0).
Как выбрать
- Q4_K_M — старайтесь с него: влезает в меньше всего VRAM, скорость та же (лимит памяти).
- Q6_K — если модель «впритык» не идёт на Q4, а Q8 уже не влезает, и VRAM ещё есть.
- Q8_0 — если VRAM с запасом и важна предсказуемость/качество (например, для вашего продакшена локального пайплайна); на бытовых объёмах разница с Q4 почти незаметна.
- Разные кванты одной модели — те же GGUF-файлы, просто разных размеров; теги Ollama
(
qwen3:8b-q6_Kи т.п.) переключают квант без переустановки.
Рядом