LLM со зрением локально
Vision-модели (обработка изображений) тяжелее текстовых: у Qwen3.5 9B и MiniCPM-V 4.5 8B есть vision-модальности. Берём 12+ GB VRAM, чтобы видео-фреймы и KV-кэш влезли с запасом.
Рекомендованные модели (оценки на RTX 4060 Ti 16GB, 16 GB)
| Модель | Q4, ГБ | ~tok/s на RTX 4060 Ti 16GB | Запуск |
|---|---|---|---|
| MiniCPM-V 4.5 8B | 5.2 | 35 | ollama run minicpm-v4.5:8b |
| Qwen3.5 9B Instruct | 5.4 | 33 | ollama run qwen3.5:9b-instruct |
| Gemma 4 12B | 7.2 | 25 | ollama run gemma4:12b-it |
Рекомендуемый VRAM для этой задачи: 16 GB. Оценки — от пропускной способности памяти и размера, не бентчмарки.