GPT-OSS 120B: VRAM, кванты, скорость, для чего
GPT-OSS 120B — крупная открытая MoE-модель OpenAI: 116.8B параметров суммарно, ~5B активных на токен, контекст 128K. Нативный MXFP4: файл 63–65 ГБ — нужен класс 96 ГБ+ (Mac с unified-памятью или сервер), потребительских 24 GB хватит только на CPU-offload. Скорость — от активных ~5B, то есть на порядок быстрее «плотной» модели в 116B.
116.8B параметров (MoE, 5B активных на токен) · релиз 2025-08 · Apache-2.0. Хорошо поддерживает русский язык.
Размеры весов и VRAM
Q4_K_M
70.1 ГБ
Q6_K
97 ГБ
Q8_0
122.7 ГБ
Мин. VRAM (Q4)
96 ГБ
Для чего: макс. качество (self-hosted), агентные задачи, кодинг
Максимум качества в классе «самохостинг»: агентная работа, кодинг, длинные документы. Для тех, у кого уже 96–128 ГБ единой памяти.
Оценки размера: Q4_K_M ≈ 0.60, Q6_K ≈ 0.83, Q8_0 ≈ 1.05 ГБ на млрд параметров (метод modelfit, CC BY 4.0). Источник данных: HF config.json + API openai/gpt-oss-120b (19.10.2026): total 116,829,156,672 (116.8B), 128 expert × 4/tok (активных ~5B — оценка от доли expert в total), ctx 128K, 36 слоёв (18 full + 18 sliding), MXFP4 нативный (файл 65.4 ГБ); wordstat30d 2461 («gpt-oss», семейственный хвост). Скорость — оценка от bandwidth/размера, не бентчмарк.
Запуск (Ollama)
ollama run gpt-oss:120b Влезает ли на карты каталога (Q4_K_M)
| Карта | VRAM | Статус | ~tok/s |
|---|---|---|---|
| RTX 3060 12GB | 12 GB | CPU offload | 3 |
| RTX 4060 8GB | 8 GB | CPU offload | 2 |
| RTX 4060 Ti 16GB | 16 GB | CPU offload | 4 |
| RTX 4070 12GB | 12 GB | CPU offload | 3 |
| RTX 4070 Super 12GB | 12 GB | CPU offload | 3 |
| RTX 4080 16GB | 16 GB | CPU offload | 4 |
| RTX 4090 24GB | 24 GB | CPU offload | 6 |
| RX 7900 XT 20GB | 20 GB | CPU offload | 5 |
| RX 7900 XTX 24GB | 24 GB | CPU offload | 6 |
| Intel Arc A770 16GB | 16 GB | CPU offload | 4 |
| Apple M1 16GB (unified) | 16 GB | CPU offload | 4 |
| Apple M2 24GB (unified) | 24 GB | CPU offload | 6 |
Файлы: какой файл скачать
MoE: память — по total 116.8 B, скорость — по active 5 B
| Источник | Файл | Квант | Размер | Скачать |
|---|---|---|---|---|
| Ollama (registry.ollama.ai) | gpt-oss:120b | MXFP4 (нативный формат модели) | 65.37 ГБ | ollama pull gpt-oss:120b |
| GGUF (ggml-org) | ggml-org/gpt-oss-120b-GGUF ↗
gpt-oss-120b-MXFP4.gguf | MXFP4 (нативный) | 63.39 ГБ | |
| vLLM только сервер | openai/gpt-oss-120b ↗ | нативный MXFP4 (без квантования) | 65.25 ГБ · 15 части | Скачать в РФ ↗ |
Размеры — из манифестов/репо от 19.10.2026 (Ollama registry API, HF API); «Скачать в РФ» — через hf-mirror.com, доступность из РФ не проверялась (извне, 19.10.2026); оценка памяти — модель, не бенчмарк.
Сколько памяти под контекст
| Контекст | KV-кэш (fp16) | Итого (MXFP4 (нативный) 63.39 ГБ + KV + 1.5 ГБ) | 8 ГБ | 12 ГБ | 16 ГБ | 24 ГБ |
|---|---|---|---|---|---|---|
| 4K | 0.2 ГБ | 65 ГБ | — | — | — | — |
| 8K | 0.3 ГБ | 65.2 ГБ | — | — | — | — |
| 16K | 0.6 ГБ | 65.5 ГБ | — | — | — | — |
| 32K | 1.2 ГБ | 66.1 ГБ | — | — | — | — |
Макс. контекст: на 12 ГБ — не влезает и без контекста, на 24 ГБ — не влезает и без контекста (бюджет 90% VRAM).
KV — оценка 16-бит (fp16-кэш); q8_0-KV-кэш режет колонку KV вдвое. Бюджет: dedicated GPU — 90% VRAM; unified (Mac) — 70–85%. Оценка — модель, не бенчмарк.
Семейство GPT-OSS
- GPT-OSS 20B · 20.9B (MoE 3.9B)