Ornith 1.5 35B-A3B: VRAM, кванты, скорость, для чего
Ornith 1.5 35B-A3B — MoE-модель семейства Ornith: 35.95B параметров суммарно, ~3B активных на токен, контекст 256K. На Q4_K_M занимает ~21.5 ГБ (с контекстом ~24 ГБ), минимальный VRAM 32 ГБ; на 24 GB — впритык/оффлоад. Скорость — от активных ~3B; MIT, официальные GGUF и MLX (офиц. касты до 4.9M загрузок).
35.9B параметров (MoE, 3B активных на токен) · релиз 2026-08 · MIT.
Размеры весов и VRAM
Q4_K_M
21.5 ГБ
Q6_K
29.8 ГБ
Q8_0
37.7 ГБ
Мин. VRAM (Q4)
32 ГБ
Для чего: агентные задачи, кодинг, долгий контекст, быстро на потребительском железе
Агентная работа, кодинг и длинные контексты: качество MoE, близкое к плотному 35B, со скоростью ~3B активных. На 32 ГБ — «быстро и качественно».
Оценки размера: Q4_K_M ≈ 0.60, Q6_K ≈ 0.83, Q8_0 ≈ 1.05 ГБ на млрд параметров (метод modelfit, CC BY 4.0). Источник данных: HF config.json + API ornith-ai/Ornith-1.5-35B-A3B (19.10.2026): total 35,951,822,704 (35.95B), 256 expert × 8/tok (~3B активных), ctx 256K, 40 слоёв (10 full + 30 linear), MIT, офиц. GGUF; wordstat30d 1962 («ornith», 17.10.2026). Скорость — оценка от bandwidth/размера, не бентчмарк.
Запуск (Ollama)
ollama run ornith:35b Влезает ли на карты каталога (Q4_K_M)
| Карта | VRAM | Статус | ~tok/s |
|---|---|---|---|
| RTX 3060 12GB | 12 GB | CPU offload | 5 |
| RTX 4060 8GB | 8 GB | CPU offload | 4 |
| RTX 4060 Ti 16GB | 16 GB | CPU offload | 7 |
| RTX 4070 12GB | 12 GB | CPU offload | 5 |
| RTX 4070 Super 12GB | 12 GB | CPU offload | 5 |
| RTX 4080 16GB | 16 GB | CPU offload | 7 |
| RTX 4090 24GB | 24 GB | CPU offload | 11 |
| RX 7900 XT 20GB | 20 GB | CPU offload | 9 |
| RX 7900 XTX 24GB | 24 GB | CPU offload | 11 |
| Intel Arc A770 16GB | 16 GB | CPU offload | 7 |
| Apple M1 16GB (unified) | 16 GB | CPU offload | 7 |
| Apple M2 24GB (unified) | 24 GB | CPU offload | 11 |
Файлы: какой файл скачать
MoE: память — по total 35.9 B, скорость — по active 3 B
| Источник | Файл | Квант | Размер | Скачать |
|---|---|---|---|---|
| Ollama (registry.ollama.ai) | ornith:35b | Q4_K_M | 21.17 ГБ | ollama pull ornith:35b |
| GGUF (ornith-ai (официальный)) | ornith-ai/Ornith-1.5-35B-A3B-GGUF ↗
Ornith-1.5-35B-Q4_K_M.gguf | Q4_K_M | 21.71 ГБ | |
| GGUF (ornith-ai (официальный)) | ornith-ai/Ornith-1.5-35B-A3B-GGUF ↗
Ornith-1.5-35B-Q5_K_M.gguf | Q5_K_M | 25.35 ГБ | |
| GGUF (ornith-ai (официальный)) | ornith-ai/Ornith-1.5-35B-A3B-GGUF ↗
Ornith-1.5-35B-Q8_0.gguf | Q8_0 | 37.8 ГБ | |
| MLX (только Apple) | ornith-ai/Ornith-1.5-35B-A3B-MLX ↗ | bf16 (официальный MLX, 14 частей) | 69.32 ГБ · 14 части | Скачать в РФ ↗ |
Размеры — из манифестов/репо от 19.10.2026 (Ollama registry API, HF API); «Скачать в РФ» — через hf-mirror.com, доступность из РФ не проверялась (извне, 19.10.2026); оценка памяти — модель, не бенчмарк.
Сколько памяти под контекст
| Контекст | KV-кэш (fp16) | Итого (Q4_K_M 21.17 ГБ + KV + 1.5 ГБ) | 8 ГБ | 12 ГБ | 16 ГБ | 24 ГБ |
|---|---|---|---|---|---|---|
| 4K | 0.1 ГБ | 22.8 ГБ | — | — | — | — |
| 8K | 0.2 ГБ | 22.8 ГБ | — | — | — | — |
| 16K | 0.3 ГБ | 23 ГБ | — | — | — | — |
| 32K | 0.7 ГБ | 23.3 ГБ | — | — | — | — |
Макс. контекст: на 12 ГБ — не влезает и без контекста, на 24 ГБ — не влезает и без контекста (бюджет 90% VRAM).
KV — оценка 16-бит (fp16-кэш); q8_0-KV-кэш режет колонку KV вдвое. Бюджет: dedicated GPU — 90% VRAM; unified (Mac) — 70–85%. Оценка — модель, не бенчмарк.
Семейство Ornith
- Ornith 1.5 9B · 9.7B