GLM-5.3 Flash: 321B — не для домашней карты, но вот как запустить
GLM-5.3 Flash — MoE-модель Z.ai (Zhipu) 321B total (~11–12B active) (288 экспертов, 8 на токен; MLA, 45 слоёв). Свежий флагман семейства GLM-5 (08.2026) — и одна из самых искомых моделей 2026, но серверного класса: на домашнем железе не запускается.
Параметры и память
| Параметр | Значение |
|---|---|
| Total параметров | 321 B (MoE, ~11–12 B active) |
| Внимание | MLA (kv_lora_rank=512) + index-attention (index_topk=2048), 45 слоёв — KV латентная (GQA-формула неприменима) |
| Официальные веса (files.json, 19.10.2026) | safetensors, 328.34 ГБ (62 части), vLLM-формат |
| Оценка Q4 | ≈ 210 ГБ (321B × ~0.65 ГБ/B) |
| Минимальная память | 256 ГБ+ (210 ÷ 0.9 ≈ 233 ГБ → класс 256 ГБ) |
| База GLM-5.3 (753B) | Q4 ≈ 490 ГБ → 512 ГБ+ (для сравнения) |
Сколько памяти нужно под модель, которая реально влезает дома: /vram/16/, /vram/24/. GLM-5.3-Flash в эти бюджеты не влезает — серверный класс.
Почему не на домашнем железе
- ~210 ГБ весов (Q4) против 8–24 ГБ у домашних карт — на порядок больше.
- Официальных consumer-GGUF нет: Z.ai не публикует GGUF-кванты; в каталоге файлов — только официальные safetensors (server_only, 19.10.2026).
- Ollama-тег glm-5.3-flash:cloud — обёртка над облачным API (0 байт весов в манифесте): «локально» он не работает — просто проксирует запросы в облако Z.ai.
- Офлоад не спасает: 210 ГБ весов на CPU — unusable.
Как запустить (3 варианта)
1. Сервер / vLLM (для тех, у кого есть железо)
Официальные веса — zai-org/GLM-5.3-Flash ↗ (328.34 ГБ, 62 части; РФ-зеркало — hf-mirror, проверено из-за границы 19.10.2026). Запуск — vLLM на 256 ГБ+ VRAM.
2. Облако / API (проще всего)
API Z.ai (z.ai/docs ↗) — модель на стороне провайдера, ваше железо не нужно. «Локально vs облако» по расчёту — гайд «Локальная LLM vs облачный API».
3. Consumer-модель на домашней карте
GLM-4.7-Flash 30B-A3B (30B MoE, active 3B; Q4 ≈ 19 ГБ — влезает на 16–24 ГБ, скорость — по активным 3B): карточка /models/glm-4.7-flash-30b-a3b/. Это ближайшая consumer-родственница семейства GLM-Flash в каталоге.
На серверных страницах myvram.ru нет партнёрских e-com-ссылок: 256 ГБ+ VRAM у партнёров магазина не продаётся.
Оффер — облако/API или consumer-модель ниже. Внешние ссылки — rel="nofollow".
Оговорки и ссылки
- Размеры файлов — из files.json (Ollama registry / HF API, 19.10.2026); «Q4 ≈ 210 ГБ» — оценка (0.65 ГБ/B), не бенчмарк.
- Параметры подтверждены HF config.json (19.10.2026); доступность hf-mirror из РФ не проверялась.