Nemotron 3.5 Lightning 30B-A3B: VRAM, кванты, скорость, для чего
NVIDIA Nemotron 3.5 Lightning 30B-A3B — быстрая MoE-модель: 31.6B параметров суммарно, ~3B активных на токен, контекст 256K. Mamba-hybrid: из 52 блоков только 6 full-attention (KV-кэш минимальный). На Q4_K_M — ~19 ГБ (с контекстом ~22 ГБ), минимальный VRAM 24 ГБ: встаёт на RTX 4090 24GB / RX 7900 XTX. Лицензия — NVIDIA open (HF: other — условия проверить).
31.6B параметров (MoE, 3B активных на токен) · релиз 2026-08 · NVIDIA-лицензия (HF: other — условия проверить).
Размеры весов и VRAM
Q4_K_M
19 ГБ
Q6_K
26.2 ГБ
Q8_0
33.2 ГБ
Мин. VRAM (Q4)
24 ГБ
Для чего: кодинг, агентные задачи, быстрый долгий контекст
Кодинг и агентные задачи с очень быстрым длинным контекстом: Mamba-блоки плюс 3B активных дают высокие tok/s на потребительских картах 24 GB.
Оценки размера: Q4_K_M ≈ 0.60, Q6_K ≈ 0.83, Q8_0 ≈ 1.05 ГБ на млрд параметров (метод modelfit, CC BY 4.0). Источник данных: HF config.json + API nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16 (19.10.2026): total 31,577,937,344 (31.6B), 128 routed + 1 shared expert, ~3B активных, ctx 256K, Mamba-hybrid (52 блока: 6 attention / 23 mamba / 23 moe); wordstat30d 2363 («nemotron», 17.10.2026). Скорость — оценка от bandwidth/размера, не бентчмарк.
Запуск (Ollama)
ollama run nemotron-3-nano:30b-a3b Влезает ли на карты каталога (Q4_K_M)
| Карта | VRAM | Статус | ~tok/s |
|---|---|---|---|
| RTX 3060 12GB | 12 GB | CPU offload | 6 |
| RTX 4060 8GB | 8 GB | CPU offload | 4 |
| RTX 4060 Ti 16GB | 16 GB | CPU offload | 8 |
| RTX 4070 12GB | 12 GB | CPU offload | 6 |
| RTX 4070 Super 12GB | 12 GB | CPU offload | 6 |
| RTX 4080 16GB | 16 GB | CPU offload | 8 |
| RTX 4090 24GB | 24 GB | CPU offload | 12 |
| RX 7900 XT 20GB | 20 GB | CPU offload | 10 |
| RX 7900 XTX 24GB | 24 GB | CPU offload | 12 |
| Intel Arc A770 16GB | 16 GB | CPU offload | 8 |
| Apple M1 16GB (unified) | 16 GB | CPU offload | 8 |
| Apple M2 24GB (unified) | 24 GB | CPU offload | 12 |
Файлы: какой файл скачать
MoE: память — по total 31.6 B, скорость — по active 3 B
| Источник | Файл | Квант | Размер | Скачать |
|---|---|---|---|---|
| Ollama (registry.ollama.ai) | nemotron-3-nano:30b-a3b | Q4_K_M | 24.27 ГБ | ollama pull nemotron-3-nano:30b-a3b |
| GGUF (ggml-org) | ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF ↗
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Q8_0.gguf | Q8_0 | 33.59 ГБ | |
| GGUF (ggml-org) | ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF ↗
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-Q4_0.gguf | Q4_0 | 18.9 ГБ |
mtp — головы спекулятивного декодирования (+1.16 ГБ), опциональный файл для ускорения.
Размеры — из манифестов/репо от 19.10.2026 (Ollama registry API, HF API); «Скачать в РФ» — через hf-mirror.com, доступность из РФ не проверялась (извне, 19.10.2026); оценка памяти — модель, не бенчмарк.
Сколько памяти под контекст
| Контекст | KV-кэш (fp16) | Итого (Q4_0 18.9 ГБ + KV + 1.5 ГБ) | 8 ГБ | 12 ГБ | 16 ГБ | 24 ГБ |
|---|---|---|---|---|---|---|
| 4K | 0 ГБ | 20.4 ГБ | — | — | — | ✓ |
| 8K | 0.1 ГБ | 20.5 ГБ | — | — | — | ✓ |
| 16K | 0.1 ГБ | 20.5 ГБ | — | — | — | ✓ |
| 32K | 0.2 ГБ | 20.6 ГБ | — | — | — | ✓ |
Макс. контекст: на 12 ГБ — не влезает и без контекста, на 24 ГБ — до ~195K токенов (бюджет 90% VRAM).
KV — оценка 16-бит (fp16-кэш); q8_0-KV-кэш режет колонку KV вдвое. Бюджет: dedicated GPU — 90% VRAM; unified (Mac) — 70–85%. Оценка — модель, не бенчмарк.
Где запустить: карты с 24+ GB VRAM
Модель встаёт на 24 ГБ и выше (по данным каталога). Страницы карт — с таблицами tok/s и ценами РФ:
- RTX 4090 24GB · 24 GB · от ~140 000 ₽
- RX 7900 XTX 24GB · 24 GB · от ~110 000 ₽
- Apple M2 24GB (unified) · 24 GB · от ~130 000 ₽
Подобрать модель под свою карту — T1 · Какая LLM запустится на моей карте.
Семейство Nemotron
- Nemotron 3 Nano 4B · 3.97B