Yi-1.5 34B Chat: VRAM, кванты, скорость, для чего
Yi-1.5 34B Chat: 34B параметров. Q4_K_M ≈ 20.4 ГБ (с контекстом), мин. VRAM 24 ГБ. Оценки myvram.ru от пропускной способности памяти и размера — не бентчмарки.
34B параметров · релиз 2024-05 · Apache-2.0. Хорошо поддерживает русский язык.
Размеры весов и VRAM
Q4_K_M
20.4 ГБ
Q6_K
28.2 ГБ
Q8_0
35.7 ГБ
Мин. VRAM (Q4)
24 ГБ
Для чего: чат, RU-задачи, перевод, долгий контекст (32K)
Оценки размера: Q4_K_M ≈ 0.60, Q6_K ≈ 0.83, Q8_0 ≈ 1.05 ГБ на млрд параметров (метод modelfit, CC BY 4.0). Источник данных: HF-карточка 01-ai/Yi-1.5-34B-Chat (34B dense, Apache-2.0, контекст 32K; проверено 2026-10-18, HuggingFace API) — размер квантов по методологии каталога (0.6/0.83/1.05 ГБ/млрд). Скорость — оценка от bandwidth/размера, не бентчмарк.
Запуск (Ollama)
ollama run yi:34b Влезает ли на карты каталога (Q4_K_M)
| Карта | VRAM | Статус | ~tok/s |
|---|---|---|---|
| RTX 3060 12GB | 12 GB | CPU offload | 1 |
| RTX 4060 8GB | 8 GB | CPU offload | 1 |
| RTX 4060 Ti 16GB | 16 GB | CPU offload | 1 |
| RTX 4070 12GB | 12 GB | CPU offload | 1 |
| RTX 4070 Super 12GB | 12 GB | CPU offload | 1 |
| RTX 4080 16GB | 16 GB | CPU offload | 1 |
| RTX 4090 24GB | 24 GB | CPU offload | 4 |
| RX 7900 XT 20GB | 20 GB | CPU offload | 3 |
| RX 7900 XTX 24GB | 24 GB | CPU offload | 4 |
| Intel Arc A770 16GB | 16 GB | CPU offload | 1 |
| Apple M1 16GB (unified) | 16 GB | CPU offload | 1 |
| Apple M2 24GB (unified) | 24 GB | CPU offload | 4 |
Где запустить: карты с 24+ GB VRAM
Модель встаёт на 24 ГБ и выше (по данным каталога). Страницы карт — с таблицами tok/s и ценами РФ:
- RTX 4090 24GB · 24 GB · от ~140 000 ₽
- RX 7900 XTX 24GB · 24 GB · от ~110 000 ₽
- Apple M2 24GB (unified) · 24 GB · от ~130 000 ₽
Подобрать модель под свою карту — T1 · Какая LLM запустится на моей карте.