Скорость LLM на моём ПК: сколько tok/s даст моя память
Скорость локальной LLM почти целиком определяет пропускная способность памяти: tok/s ≈ ГБ/с ÷ размер модели. Выберите карту (или введите VRAM вручную) и длину контекста — покажем таблицу tok/s по размеру модели на Q4 (7B–70B, включая MoE). Оценки — модельные расчёты от bandwidth/размера, не измеренные бентчмарки.
Вручную? Типовые ориентиры bandwidth: 8 GB ≈ 320, 12 GB ≈ 360–504, 16 GB ≈ 360–512, 24 GB ≈ 960–1008, 32 GB ≈ 800, 64 GB ≈ 546 (ГБ/с).
Tok/s по размеру модели, Q4 · 16 GB / 500 ГБ/с / контекст 8K
| Модель | Q4, ГБ | Нагрузка* с контекстом | ~tok/s |
|---|---|---|---|
| 7B | 4.2 | 6.3 ГБ | 60 |
| 8B | 4.8 | 7 ГБ | 52 |
| 12B | 7.2 | 10 ГБ | 35 |
| 14B | 8.4 | 11.4 ГБ | 30 |
| 34B | 20.4 | 23.4 ГБ > бюджета 14.4 ГБ | 1 (offload) |
| 35B-A3B (MoE) | 21 | 24 ГБ > бюджета 14.4 ГБ | 7 (offload) |
| 70B | 42 | 45 ГБ > бюджета 14.4 ГБ | 1 (offload) |
* Нагрузка = веса Q4 (0.6 ГБ/млрд) + оверхед контекста. Оценки — от пропускной способности памяти, не бентчмарки. Подбор конкретных моделей под ваш VRAM: [object Object] / [object Object] / [object Object] / [object Object] / [object Object].
Как считаем
Денс-модель: tok/s ≈ ГБ/с ÷ размер Q4 (ГБ) × 0.5. MoE: ограничение активными экспертами — ГБ/с ÷ активные_ГБ × 0.18. Контекст длиннее 8K добавляет KV-кэш: ≈ 0.008 ГБ на 1K токенов на 1B параметров (FP16 KV — в 2 раза больше). Не влезает в 90% VRAM → CPU-offload 1–5 tok/s. Метод — модификация под РФ-контекст из modelfit.io (CC BY 4.0). Все числа — оценки, не бентчмарки.
Рядом