DeepSeek-R1 Distill 14B: VRAM, кванты, скорость, для чего
DeepSeek-R1 Distill Qwen 14B — дистиллят reasoning-модели R1 (chain-of-thought) на базе Qwen 14B. На Q4_K_M занимает 8.4 ГБ (с контекстом ~11.4 ГБ), минимальный VRAM 16 ГБ — встаёт на 16 GB (4060 Ti 16GB, 4080) и быстрее на 24 GB. Скорость ≈ 21–60 tok/s (оценка, не бентчмарк).
14B параметров · релиз 2025-01 · MIT.
Размеры весов и VRAM
Q4_K_M
8.4 ГБ
Q6_K
11.6 ГБ
Q8_0
14.7 ГБ
Мин. VRAM (Q4)
16 ГБ
Для чего: reasoning (chain-of-thought), математика, кодинг
Сильна в рассуждениях, математике и коде (учит R1): где нужен «думает перед ответом», а не просто чат. RU-поддержка умеренная.
Оценки размера: Q4_K_M ≈ 0.60, Q6_K ≈ 0.83, Q8_0 ≈ 1.05 ГБ на млрд параметров (метод modelfit, CC BY 4.0). Источник данных: modelfit (Q4_K_M minRam 16). Скорость — оценка от bandwidth/размера, не бентчмарк.
Запуск (Ollama)
ollama run deepseek-r1-distill-qwen-14b Влезает ли на карты каталога (Q4_K_M)
| Карта | VRAM | Статус | ~tok/s |
|---|---|---|---|
| RTX 3060 12GB | 12 GB | CPU offload | 5 |
| RTX 4060 8GB | 8 GB | CPU offload | 3 |
| RTX 4060 Ti 16GB | 16 GB | Влезает | 21 |
| RTX 4070 12GB | 12 GB | CPU offload | 5 |
| RTX 4070 Super 12GB | 12 GB | CPU offload | 5 |
| RTX 4080 16GB | 16 GB | Влезает | 43 |
| RTX 4090 24GB | 24 GB | Влезает | 60 |
| RX 7900 XT 20GB | 20 GB | Влезает | 48 |
| RX 7900 XTX 24GB | 24 GB | Влезает | 57 |
| Intel Arc A770 16GB | 16 GB | Влезает | 30 |
| Apple M1 16GB (unified) | 16 GB | Влезает | 4 |
| Apple M2 24GB (unified) | 24 GB | Влезает | 6 |
Минимальная карта из каталога для Q4: RTX 4060 Ti 16GB (16 GB).
Где запустить: карты с 16+ GB VRAM
Модель встаёт на 16 ГБ и выше (по данным каталога). Страницы карт — с таблицами tok/s и ценами РФ:
- RTX 4060 Ti 16GB · 16 GB · от ~55 000 ₽
- RTX 4080 16GB · 16 GB · от ~104 000 ₽
- Intel Arc A770 16GB · 16 GB · от ~35 000 ₽
- Apple M1 16GB (unified) · 16 GB · от ~65 000 ₽
- RX 7900 XT 20GB · 20 GB · от ~85 000 ₽
- RTX 4090 24GB · 24 GB · от ~140 000 ₽
- RX 7900 XTX 24GB · 24 GB · от ~110 000 ₽
- Apple M2 24GB (unified) · 24 GB · от ~130 000 ₽
Подобрать модель под свою карту — T1 · Какая LLM запустится на моей карте.
Семейство DeepSeek