Nemotron 3 Nano 4B: VRAM, кванты, скорость, для чего
NVIDIA Nemotron 3 Nano 4B — Mamba-hybrid модель (3.97B параметров, релиз 03.2026). На Q4_K_M занимает ~2.4 ГБ (с контекстом ~4 ГБ), минимальный VRAM 8 ГБ — самая лёгкая из крупных релизов семейства; контекст 256K, Mamba-слои режут KV-кэш. Лицензия — NVIDIA open (в HF указана как other — проверьте условия для коммерческого использования).
3.97B параметров · релиз 2026-03 · NVIDIA-лицензия (HF: other — условия проверить).
Размеры весов и VRAM
Q4_K_M
2.4 ГБ
Q6_K
3.3 ГБ
Q8_0
4.2 ГБ
Мин. VRAM (Q4)
8 ГБ
Для чего: чат, быстрые агентные задачи, лёгкие ассистенты
Класс 8 GB: быстрые агентные задачи, лёгкие ассистенты и голосовые связки (STT/TTS). Быстрее всех по tok/s на компактных картах.
Оценки размера: Q4_K_M ≈ 0.60, Q6_K ≈ 0.83, Q8_0 ≈ 1.05 ГБ на млрд параметров (метод modelfit, CC BY 4.0). Источник данных: HF config.json + API nvidia/NVIDIA-Nemotron-3-Nano-4B-BF16 (19.10.2026): total 3,973,556,832 (3.97B), Mamba-hybrid (42 слоя), ctx 256K, license tag other (NVIDIA); wordstat30d 2363 («nemotron», 17.10.2026). Скорость — оценка от bandwidth/размера, не бентчмарк.
Запуск (Ollama)
ollama run nemotron-3-nano:4b Влезает ли на карты каталога (Q4_K_M)
| Карта | VRAM | Статус | ~tok/s |
|---|---|---|---|
| RTX 3060 12GB | 12 GB | Влезает | 75 |
| RTX 4060 8GB | 8 GB | Влезает | 67 |
| RTX 4060 Ti 16GB | 16 GB | Влезает | 75 |
| RTX 4070 12GB | 12 GB | Влезает | 105 |
| RTX 4070 Super 12GB | 12 GB | Влезает | 105 |
| RTX 4080 16GB | 16 GB | Влезает | 149 |
| RTX 4090 24GB | 24 GB | Влезает | 210 |
| RX 7900 XT 20GB | 20 GB | Влезает | 167 |
| RX 7900 XTX 24GB | 24 GB | Влезает | 200 |
| Intel Arc A770 16GB | 16 GB | Влезает | 107 |
| Apple M1 16GB (unified) | 16 GB | Влезает | 14 |
| Apple M2 24GB (unified) | 24 GB | Влезает | 21 |
Минимальная карта из каталога для Q4: RTX 3060 12GB (12 GB).
Файлы: какой файл скачать
| Источник | Файл | Квант | Размер | Скачать |
|---|---|---|---|---|
| Ollama (registry.ollama.ai) | nemotron-3-nano:4b | Q4_K_M | 2.84 ГБ | ollama pull nemotron-3-nano:4b |
| GGUF (nvidia (официальный)) | nvidia/NVIDIA-Nemotron-3-Nano-4B-GGUF ↗
NVIDIA-Nemotron3-Nano-4B-Q4_K_M.gguf | Q4_K_M | 2.84 ГБ | |
| MLX (только Apple) | mlx-community/NVIDIA-Nemotron-3-Nano-4B-4bit ↗ | 4bit | 2.24 ГБ | Скачать в РФ ↗ |
Размеры — из манифестов/репо от 19.10.2026 (Ollama registry API, HF API); «Скачать в РФ» — через hf-mirror.com, доступность из РФ не проверялась (извне, 19.10.2026); оценка памяти — модель, не бенчмарк.
Сколько памяти под контекст
| Контекст | KV-кэш (fp16) | Итого (Q4_K_M 2.84 ГБ + KV + 1.5 ГБ) | 8 ГБ | 12 ГБ | 16 ГБ | 24 ГБ |
|---|---|---|---|---|---|---|
| 4K | 0.7 ГБ | 5 ГБ | ✓ | ✓ | ✓ | ✓ |
| 8K | 1.4 ГБ | 5.7 ГБ | ✓ | ✓ | ✓ | ✓ |
| 16K | 2.8 ГБ | 7.2 ГБ | ✓ | ✓ | ✓ | ✓ |
| 32K | 5.6 ГБ | 10 ГБ | — | ✓ | ✓ | ✓ |
Макс. контекст: на 12 ГБ — до ~38K токенов, на 24 ГБ — до ~100K токенов (бюджет 90% VRAM).
KV — оценка 16-бит (fp16-кэш); q8_0-KV-кэш режет колонку KV вдвое. Бюджет: dedicated GPU — 90% VRAM; unified (Mac) — 70–85%. Оценка — модель, не бенчмарк.
Где запустить: карты с 8+ GB VRAM
Модель встаёт на 8 ГБ и выше (по данным каталога). Страницы карт — с таблицами tok/s и ценами РФ:
- RTX 4060 8GB · 8 GB · от ~42 000 ₽
- RTX 3060 12GB · 12 GB · от ~45 000 ₽
- RTX 4070 12GB · 12 GB · от ~64 000 ₽
- RTX 4070 Super 12GB · 12 GB · от ~72 000 ₽
- RTX 4060 Ti 16GB · 16 GB · от ~55 000 ₽
- RTX 4080 16GB · 16 GB · от ~104 000 ₽
- Intel Arc A770 16GB · 16 GB · от ~35 000 ₽
- Apple M1 16GB (unified) · 16 GB · от ~65 000 ₽
- RX 7900 XT 20GB · 20 GB · от ~85 000 ₽
- RTX 4090 24GB · 24 GB · от ~140 000 ₽
- RX 7900 XTX 24GB · 24 GB · от ~110 000 ₽
- Apple M2 24GB (unified) · 24 GB · от ~130 000 ₽
Подобрать модель под свою карту — T1 · Какая LLM запустится на моей карте.
Семейство Nemotron
- Nemotron 3.5 Lightning 30B-A3B · 31.6B (MoE 3B)