GPT-OSS 20B: VRAM, кванты, скорость, для чего
GPT-OSS 20B — открытая MoE-модель OpenAI: 20.9B параметров суммарно, ~3.9B активных на токен, контекст 128K. Нативный формат MXFP4 (FP4) — без реквантования: файл 12.1–13.8 ГБ, минимальный VRAM ~16 ГБ — встаёт на 16 GB (RTX 4060 Ti 16GB, 4080 16GB) и больше. Скорость идёт от активных параметров (~3.9B), поэтому на 16 ГБ заметно быстрее «плотных» 16B.
20.9B параметров (MoE, 3.9B активных на токен) · релиз 2025-08 · Apache-2.0. Хорошо поддерживает русский язык.
Размеры весов и VRAM
Q4_K_M
12.5 ГБ
Q6_K
17.3 ГБ
Q8_0
22 ГБ
Мин. VRAM (Q4)
16 ГБ
Для чего: чат, агентные задачи, кодинг, мультиязычность
Агентные задачи, кодинг и мультиязычный чат (40+ языков, включая RU) — «модель OpenAI у себя дома» на потребительском VRAM.
Оценки размера: Q4_K_M ≈ 0.60, Q6_K ≈ 0.83, Q8_0 ≈ 1.05 ГБ на млрд параметров (метод modelfit, CC BY 4.0). Источник данных: HF config.json + API openai/gpt-oss-20b (19.10.2026): total 20,914,757,184 (20.9B), ~3.9B активных на токен, ctx 128K, 24 слоя (12 full-attention + 12 sliding), 32 expert × 4/tok, MXFP4 нативный (файл 12.1–13.8 ГБ); wordstat30d 2461 («gpt-oss», 17.10.2026). Скорость — оценка от bandwidth/размера, не бентчмарк.
Запуск (Ollama)
ollama run gpt-oss:20b Влезает ли на карты каталога (Q4_K_M)
| Карта | VRAM | Статус | ~tok/s |
|---|---|---|---|
| RTX 3060 12GB | 12 GB | CPU offload | 11 |
| RTX 4060 8GB | 8 GB | CPU offload | 7 |
| RTX 4060 Ti 16GB | 16 GB | CPU offload | 14 |
| RTX 4070 12GB | 12 GB | CPU offload | 11 |
| RTX 4070 Super 12GB | 12 GB | CPU offload | 11 |
| RTX 4080 16GB | 16 GB | CPU offload | 14 |
| RTX 4090 24GB | 24 GB | Влезает | 78 |
| RX 7900 XT 20GB | 20 GB | Влезает | 62 |
| RX 7900 XTX 24GB | 24 GB | Влезает | 74 |
| Intel Arc A770 16GB | 16 GB | CPU offload | 14 |
| Apple M1 16GB (unified) | 16 GB | CPU offload | 14 |
| Apple M2 24GB (unified) | 24 GB | Влезает | 8 |
Минимальная карта из каталога для Q4: RTX 4090 24GB (24 GB).
Файлы: какой файл скачать
MoE: память — по total 20.9 B, скорость — по active 3.9 B
| Источник | Файл | Квант | Размер | Скачать |
|---|---|---|---|---|
| Ollama (registry.ollama.ai) | gpt-oss:20b | MXFP4 (нативный формат модели) | 13.79 ГБ | ollama pull gpt-oss:20b |
| GGUF (ggml-org) | ggml-org/gpt-oss-20b-GGUF ↗
gpt-oss-20b-MXFP4.gguf | MXFP4 (нативный) | 12.11 ГБ | |
| GGUF (bartowski) | bartowski/openai_gpt-oss-20b-GGUF ↗
openai_gpt-oss-20b-Q4_K_M.gguf | Q4_K_M (ре-квант) | 11.67 ГБ | |
| vLLM только сервер | openai/gpt-oss-20b ↗ | нативный MXFP4 (без квантования) | 13.76 ГБ · 3 части | Скачать в РФ ↗ |
Размеры — из манифестов/репо от 19.10.2026 (Ollama registry API, HF API); «Скачать в РФ» — через hf-mirror.com, доступность из РФ не проверялась (извне, 19.10.2026); оценка памяти — модель, не бенчмарк.
Сколько памяти под контекст
| Контекст | KV-кэш (fp16) | Итого (MXFP4 (нативный) 12.11 ГБ + KV + 1.5 ГБ) | 8 ГБ | 12 ГБ | 16 ГБ | 24 ГБ |
|---|---|---|---|---|---|---|
| 4K | 0.1 ГБ | 13.7 ГБ | — | — | ✓ | ✓ |
| 8K | 0.2 ГБ | 13.8 ГБ | — | — | ✓ | ✓ |
| 16K | 0.4 ГБ | 14 ГБ | — | — | ✓ | ✓ |
| 32K | 0.8 ГБ | 14.4 ГБ | — | — | — | ✓ |
Макс. контекст: на 12 ГБ — не влезает и без контекста, на 24 ГБ — до ~325K токенов (бюджет 90% VRAM).
KV — оценка 16-бит (fp16-кэш); q8_0-KV-кэш режет колонку KV вдвое. Бюджет: dedicated GPU — 90% VRAM; unified (Mac) — 70–85%. Оценка — модель, не бенчмарк.
Где запустить: карты с 16+ GB VRAM
Модель встаёт на 16 ГБ и выше (по данным каталога). Страницы карт — с таблицами tok/s и ценами РФ:
- RTX 4060 Ti 16GB · 16 GB · от ~55 000 ₽
- RTX 4080 16GB · 16 GB · от ~104 000 ₽
- Intel Arc A770 16GB · 16 GB · от ~35 000 ₽
- Apple M1 16GB (unified) · 16 GB · от ~65 000 ₽
- RX 7900 XT 20GB · 20 GB · от ~85 000 ₽
- RTX 4090 24GB · 24 GB · от ~140 000 ₽
- RX 7900 XTX 24GB · 24 GB · от ~110 000 ₽
- Apple M2 24GB (unified) · 24 GB · от ~130 000 ₽
Подобрать модель под свою карту — T1 · Какая LLM запустится на моей карте.
Семейство GPT-OSS
- GPT-OSS 120B · 116.8B (MoE 5B)