К содержимому
myvram.ru

Qwen3 8B: VRAM, кванты, скорость, для чего

Qwen3 8B — dense-модель на 8 млрд параметров с сильным RU и кодом. На Q4_K_M занимает 4.8 ГБ (с контекстом ~7 ГБ), минимальный VRAM 12 ГБ — влезает в RTX 3060 12GB, RTX 4070 12GB и карты 16 ГБ выше. Скорость на 12–16 GB картах ≈ 38–75 tok/s (оценка от пропускной способности, не бентчмарк).

8B параметров · релиз 2025-04 · Apache-2.0. Хорошо поддерживает русский язык.

Размеры весов и VRAM

Q4_K_M

4.8 ГБ

Q6_K

6.6 ГБ

Q8_0

8.4 ГБ

Мин. VRAM (Q4)

12 ГБ

Для чего: чат, кодинг, реasoning, RU-задачи

Хороший универсал: обычный чат, лёгкий код и рассуждения, сильные RU-задачи. Для 12 GB VRAM — одна из главных моделей каталога.

Оценки размера: Q4_K_M ≈ 0.60, Q6_K ≈ 0.83, Q8_0 ≈ 1.05 ГБ на млрд параметров (метод modelfit, CC BY 4.0). Источник данных: modelfit (Q4_K_M minRam 12). Скорость — оценка от bandwidth/размера, не бентчмарк.

Запуск (Ollama)

ollama run qwen3:8b
GGUF (HuggingFace) ↗ Модель (HuggingFace) ↗

Влезает ли на карты каталога (Q4_K_M)

КартаVRAMСтатус~tok/s
RTX 3060 12GB 12 GB Влезает 38
RTX 4060 8GB 8 GB Влезает 33
RTX 4060 Ti 16GB 16 GB Влезает 38
RTX 4070 12GB 12 GB Влезает 53
RTX 4070 Super 12GB 12 GB Влезает 53
RTX 4080 16GB 16 GB Влезает 75
RTX 4090 24GB 24 GB Влезает 105
RX 7900 XT 20GB 20 GB Влезает 83
RX 7900 XTX 24GB 24 GB Влезает 100
Intel Arc A770 16GB 16 GB Влезает 53
Apple M1 16GB (unified) 16 GB Влезает 7
Apple M2 24GB (unified) 24 GB Влезает 10

Минимальная карта из каталога для Q4: RTX 3060 12GB (12 GB).

Где запустить: карты с 12+ GB VRAM

Модель встаёт на 12 ГБ и выше (по данным каталога). Страницы карт — с таблицами tok/s и ценами РФ:

Подобрать модель под свою карту — T1 · Какая LLM запустится на моей карте.

Семейство Qwen