Ornith 1.5 9B: VRAM, кванты, скорость, для чего
Ornith 1.5 9B — компактная мультимодальная модель семейства Ornith (9.65B параметров, релиз 08.2026, MIT). На Q4_K_M занимает ~5.8 ГБ (с контекстом ~8 ГБ), минимальный VRAM 12 ГБ — влезает в RTX 3060 12GB / 4070 12GB / Mac 16 GB; контекст 256K. Из 32 слоёв 24 — linear-attention (меньше KV-кэша), официальный GGUF — топ загрузок семейства (4.9M).
9.7B параметров · релиз 2026-08 · MIT.
Размеры весов и VRAM
Q4_K_M
5.8 ГБ
Q6_K
8.1 ГБ
Q8_0
10.2 ГБ
Мин. VRAM (Q4)
12 ГБ
Для чего: чат, мультимодальность (vision), лёгкий кодинг
Чат, зрение (mmproj) и лёгкий кодинг на скромном железе: вариант «9B на 12 ГБ», быстрый благодаря линейным слоям.
Оценки размера: Q4_K_M ≈ 0.60, Q6_K ≈ 0.83, Q8_0 ≈ 1.05 ГБ на млрд параметров (метод modelfit, CC BY 4.0). Источник данных: HF config.json + API ornith-ai/Ornith-1.5-9B (19.10.2026): total 9,653,104,368 (9.65B), ctx 256K, 32 слоя (8 full + 24 linear-attention), MIT, офиц. GGUF; wordstat30d 1962 («ornith», 17.10.2026). Скорость — оценка от bandwidth/размера, не бентчмарк.
Запуск (Ollama)
ollama run ornith:9b Влезает ли на карты каталога (Q4_K_M)
| Карта | VRAM | Статус | ~tok/s |
|---|---|---|---|
| RTX 3060 12GB | 12 GB | Влезает | 31 |
| RTX 4060 8GB | 8 GB | CPU offload | 5 |
| RTX 4060 Ti 16GB | 16 GB | Влезает | 31 |
| RTX 4070 12GB | 12 GB | Влезает | 43 |
| RTX 4070 Super 12GB | 12 GB | Влезает | 43 |
| RTX 4080 16GB | 16 GB | Влезает | 62 |
| RTX 4090 24GB | 24 GB | Влезает | 87 |
| RX 7900 XT 20GB | 20 GB | Влезает | 69 |
| RX 7900 XTX 24GB | 24 GB | Влезает | 83 |
| Intel Arc A770 16GB | 16 GB | Влезает | 44 |
| Apple M1 16GB (unified) | 16 GB | Влезает | 6 |
| Apple M2 24GB (unified) | 24 GB | Влезает | 9 |
Минимальная карта из каталога для Q4: RTX 3060 12GB (12 GB).
Файлы: какой файл скачать
| Источник | Файл | Квант | Размер | Скачать |
|---|---|---|---|---|
| Ollama (registry.ollama.ai) | ornith:9b | Q4_K_M | 5.63 ГБ | ollama pull ornith:9b |
| GGUF (ornith-ai (официальный)) | ornith-ai/Ornith-1.5-9B-GGUF ↗
Ornith-1.5-9B-Q4_K_M.gguf | Q4_K_M | 5.78 ГБ | |
| GGUF (ornith-ai (официальный)) | ornith-ai/Ornith-1.5-9B-GGUF ↗
Ornith-1.5-9B-Q5_K_M.gguf | Q5_K_M | 6.64 ГБ | |
| GGUF (ornith-ai (официальный)) | ornith-ai/Ornith-1.5-9B-GGUF ↗
Ornith-1.5-9B-Q8_0.gguf | Q8_0 | 9.79 ГБ | |
| MLX (только Apple) | ornith-ai/Ornith-1.5-9B-MLX-4bit ↗ | 4bit (официальный MLX) | 5.04 ГБ | Скачать в РФ ↗ |
mmproj — визуальный проектор (+0.92 ГБ), отдельный файл: нужен, если используете распознавание изображений моделью.
Размеры — из манифестов/репо от 19.10.2026 (Ollama registry API, HF API); «Скачать в РФ» — через hf-mirror.com, доступность из РФ не проверялась (извне, 19.10.2026); оценка памяти — модель, не бенчмарк.
Сколько памяти под контекст
| Контекст | KV-кэш (fp16) | Итого (Q4_K_M 5.63 ГБ + KV + 1.5 ГБ) | 8 ГБ | 12 ГБ | 16 ГБ | 24 ГБ |
|---|---|---|---|---|---|---|
| 4K | 0.1 ГБ | 7.3 ГБ | — | ✓ | ✓ | ✓ |
| 8K | 0.3 ГБ | 7.4 ГБ | — | ✓ | ✓ | ✓ |
| 16K | 0.5 ГБ | 7.7 ГБ | — | ✓ | ✓ | ✓ |
| 32K | 1.1 ГБ | 8.2 ГБ | — | ✓ | ✓ | ✓ |
Макс. контекст: на 12 ГБ — до ~112K токенов, на 24 ГБ — до ~442K токенов (бюджет 90% VRAM).
KV — оценка 16-бит (fp16-кэш); q8_0-KV-кэш режет колонку KV вдвое. Бюджет: dedicated GPU — 90% VRAM; unified (Mac) — 70–85%. Оценка — модель, не бенчмарк.
Где запустить: карты с 12+ GB VRAM
Модель встаёт на 12 ГБ и выше (по данным каталога). Страницы карт — с таблицами tok/s и ценами РФ:
- RTX 3060 12GB · 12 GB · от ~45 000 ₽
- RTX 4070 12GB · 12 GB · от ~64 000 ₽
- RTX 4070 Super 12GB · 12 GB · от ~72 000 ₽
- RTX 4060 Ti 16GB · 16 GB · от ~55 000 ₽
- RTX 4080 16GB · 16 GB · от ~104 000 ₽
- Intel Arc A770 16GB · 16 GB · от ~35 000 ₽
- Apple M1 16GB (unified) · 16 GB · от ~65 000 ₽
- RX 7900 XT 20GB · 20 GB · от ~85 000 ₽
- RTX 4090 24GB · 24 GB · от ~140 000 ₽
- RX 7900 XTX 24GB · 24 GB · от ~110 000 ₽
- Apple M2 24GB (unified) · 24 GB · от ~130 000 ₽
Подобрать модель под свою карту — T1 · Какая LLM запустится на моей карте.
Семейство Ornith
- Ornith 1.5 35B-A3B · 35.9B (MoE 3B)