LLM для суммаризации локально
Суммаризация = длинный вход, короткий выход. Ключевое — длина контекста: берём модель, которая влезает в VRAM с большим KV-кэшем. Qwen3 30B на 32 GB, Mistral Small 3.1 24B на 24 GB, Gemma 3 12B на 16 GB — рабочие точки.
Рекомендованные модели (оценки на RTX 4090 24GB, 24 GB)
| Модель | Q4, ГБ | ~tok/s на RTX 4090 24GB | Запуск |
|---|---|---|---|
| Mistral Small 3.1 24B | 14.4 | 35 | ollama run mistral-small-3.1:24b |
| Qwen3 30B | 18 | 28 | ollama run qwen3:30b |
| Gemma 3 12B | 7.2 | 70 | ollama run gemma3:12b |
| Qwen3.5 9B Instruct | 5.4 | 93 | ollama run qwen3.5:9b-instruct |
Рекомендуемый VRAM для этой задачи: 24 GB. Оценки — от пропускной способности памяти и размера, не бентчмарки.