GLM-4.7-Flash 30B-A3B: какой квант выбрать
Все кванты GLM-4.7-Flash 30B-A3B (30 B (MoE, active 3 B)), которые реально есть в данных (3: Q4_K_M, Q5_K_M, Q8_0), с точными размерами файлов от 19.10.2026 и расчётом «сколько VRAM под контекст». MoE: память — по total 30 B (MoE, active 3 B), скорость — по active ~3 B.
Кванты: размер → VRAM под контекст → мин. карта
| Квант (файл) | Размер, ГБ | Итого @8K | Итого @16K | Итого @32K | Мин. карта | ~tok/s RTX 4060 8 GB | ~tok/s RTX 4090 24 GB | ~tok/s Apple M2 24 GB (unified) |
|---|---|---|---|---|---|---|---|---|
| Q4_K_M unsloth/GLM-4.7-Flash-GGUF | 18.31 ГБ | 19.8 | 19.8 | 19.8 | от 24 ГБ | offload | ~101 | offload |
| Q5_K_M unsloth/GLM-4.7-Flash-GGUF | 21.41 ГБ | 22.9 | 22.9 | 22.9 | 24 ГБ+ | offload | offload | offload |
| Q8_0 unsloth/GLM-4.7-Flash-GGUF | 31.84 ГБ | 33.3 | 33.3 | 33.3 | 24 ГБ+ | offload | offload | offload |
MLA-внимание (kv не заполнена): KV-кэш сжат в латент — в «итого» учтены только веса + overhead, KV-колонки нет (реальный аппетит памяти чуть выше). MLA (Multi-head Latent Attention): kv_lora_rank=512, qk_nope=192, qk_rope=64, v_head_dim=256; 47 слоёв + MTP. KV сжата в латент (общий для всех голов) — GQA-формула (2×layers×kv_heads×head_dim) неприменима. Оценка: ≈ layers × (512+64) × 2 байта/токен (fp16). Конфиг: HF config.json (pубличные копии), 19.10.2026
tok/s — оценка: влезает → bandwidth ÷ размер × 0.5 (MoE: bandwidth ÷ активные 3B × 0.18), не влезает → CPU-offload 1–5 tok/s. Оценка, не бенчмарк.
Лучший квант по tier памяти (влезает @16K)
| Память | Бюджет (90%) | Лучший (самый тяжёлый) квант | Итого @16K |
|---|---|---|---|
| 8 ГБ | 7.2 ГБ | не влезает даже лёгче — offload / больше памяти | — |
| 16 ГБ | 14.4 ГБ | не влезает даже лёгче — offload / больше памяти | — |
| 24 ГБ | 21.6 ГБ | Q4_K_M (18.31 ГБ, GLM-4.7-Flash-Q4_K_M.gguf) | 19.8 ГБ |
| 48 ГБ | 43.2 ГБ | Q8_0 (31.84 ГБ, GLM-4.7-Flash-Q8_0.gguf) | 33.3 ГБ |
«Лучший» = самый тяжёлый (качественный) квант, влезший в tier с контекстом 16K. Q2/Q3-кванты — заметное падение качества (experimental) — не рекомендуем и в таблицу не включали.
Диапазон скорости по квантам (оценка, не бентчмарк)
- RTX 4060 8 GB: оффлоад (1–5 tok/s) (ни один квант не влезает — CPU-offload)
- RTX 4090 24 GB: 101 tok/s (среди квантов, влезших на это устройство)
- Apple M2 24 GB (unified): оффлоад (1–5 tok/s) (ни один квант не влезает — CPU-offload)
Оговорки и ссылки
- Размеры — фактические байты из Ollama-реестра / HF API от 19.10.2026; «влезает» — по бюджету 90% VRAM (unified — 70–85%). Оценки — модельные, не бентчмарки.
- Мин. карта — из каталога gpus.json (12 устройств); «24 ГБ+» — вне каталога/оффлоад.