К содержимому
myvram.ru

Mistral Small 3.1 24B: VRAM, кванты, скорость, для чего

Mistral Small 3.1 24B: 24B параметров. Q4_K_M ≈ 14.4 ГБ (с контекстом), мин. VRAM 24 ГБ. Оценки myvram.ru от пропускной способности памяти и размера — не бентчмарки.

24B параметров · релиз 2025-07 · Apache-2.0. Хорошо поддерживает русский язык.

Размеры весов и VRAM

Q4_K_M

14.4 ГБ

Q6_K

19.9 ГБ

Q8_0

25.2 ГБ

Мин. VRAM (Q4)

24 ГБ

Для чего: чат, кодинг, мультиязычность

Оценки размера: Q4_K_M ≈ 0.60, Q6_K ≈ 0.83, Q8_0 ≈ 1.05 ГБ на млрд параметров (метод modelfit, CC BY 4.0). Источник данных: modelfit (Q4_K_M minRam 24). Скорость — оценка от bandwidth/размера, не бентчмарк.

Запуск (Ollama)

ollama run mistral-small-3.1:24b
GGUF (HuggingFace) ↗ Модель (HuggingFace) ↗

Влезает ли на карты каталога (Q4_K_M)

КартаVRAMСтатус~tok/s
RTX 3060 12GB 12 GB CPU offload 2
RTX 4060 8GB 8 GB CPU offload 1
RTX 4060 Ti 16GB 16 GB CPU offload 4
RTX 4070 12GB 12 GB CPU offload 2
RTX 4070 Super 12GB 12 GB CPU offload 2
RTX 4080 16GB 16 GB CPU offload 4
RTX 4090 24GB 24 GB Влезает 35
RX 7900 XT 20GB 20 GB Влезает 28
RX 7900 XTX 24GB 24 GB Влезает 33
Intel Arc A770 16GB 16 GB CPU offload 4
Apple M1 16GB (unified) 16 GB CPU offload 4
Apple M2 24GB (unified) 24 GB Влезает 3

Минимальная карта из каталога для Q4: RTX 4090 24GB (24 GB).

Где запустить: карты с 24+ GB VRAM

Модель встаёт на 24 ГБ и выше (по данным каталога). Страницы карт — с таблицами tok/s и ценами РФ:

Подобрать модель под свою карту — T1 · Какая LLM запустится на моей карте.

Семейство Mistral