LLM без видеокарты (CPU-only)
Без GPU локальная LLM идёт на системной памяти: лимит — пропускная способность DDR (не число ядер). DDR4 dual-channel (~25 ГБ/с) даёт 8B на Q4 около 2–3 tok/s, DDR5 dual-channel (~77–90 ГБ/с) — 8–9 tok/s, Apple M1/M2 в unified-памяти — 4–10 tok/s на 8–14B. CPU-only оправдан для фоновых и массовых задач (саммари, логирование, батчи), а не для «быстрого чата в реальном времени».
~tok/s, Q4 (модельные оценки, не бентчмарки)
| Память | ~ГБ/с | 8B (≈ 4.8 ГБ) | 14B (≈ 8.4 ГБ) |
|---|---|---|---|
| DDR4-3200 dual (ноутбук/ПК, 2020–2023) | 25.6 | 2.7 | 1.5 |
| DDR5-4800 dual (свежий ПК/ноутбук) | 76.8 | 8 | 4.6 |
| DDR5-5600 dual (флагман DDR5) | 89.6 | 9.3 | 5.3 |
| Apple M1, unified 68 ГБ/с (из каталога) | 68 | 7.1 | 4 |
| Apple M2, unified 100 ГБ/с (из каталога) | 100 | 10.4 | 6 |
Формула: ГБ/с ÷ размер Q4 (ГБ) × 0.5 — та же модельная оценка, что в T1/T2 (методика modelfit.io, CC BY 4.0). Реальные числа будут на 20–40% ниже из-за оверхеда CPU/движка. DDR4 single-channel — вдвое медленнее, чем dual.
Когда это разумно
- Фоновые/массовые задачи (саммари, разметка логов, батчи по ночам): 1–5 tok/s — нормально.
- Mac без дискретной GPU: unified-память M1/M2 — рабочий сценарий для 7–14B; см. каталог M1 16GB / M2 24GB.
- Гибрид (частичный offload): часть весов на GPU, часть — в RAM. Т1-калькулятор показывает этот режим как «CPU-offload 1–5 tok/s» — быстрее чистого CPU, но не GPU-скорость.
- Не для интерактива: если хочется «мгновенный ответ» — берите карту с широким VRAM (16 ГБ, 24 ГБ).
Рядом