LLM для перевода локально
Перевод требует мультиязычности. Для RU-паров (RU↔EN) лучше всего Qwen3-серия (сильный RU), Mistral Small 3.1 и Gemma 3. На 8 GB уже работает Qwen3 8B; на 16 GB — 14B с заметным приростом качества.
Рекомендованные модели (оценки на RTX 3060 12GB, 12 GB)
| Модель | Q4, ГБ | ~tok/s на RTX 3060 12GB | Запуск |
|---|---|---|---|
| Qwen3 14B | 8.4 | 5 (offload) | ollama run qwen3:14b |
| Qwen3 8B | 4.8 | 38 | ollama run qwen3:8b |
| Mistral Small 3.1 24B | 14.4 | 2 (offload) | ollama run mistral-small-3.1:24b |
| Gemma 3 12B | 7.2 | 25 | ollama run gemma3:12b |
Рекомендуемый VRAM для этой задачи: 12 GB. Оценки — от пропускной способности памяти и размера, не бентчмарки.