GGUF: файлы весов моделей — реальные размеры и ссылки

Как читать (Q4_K_M и т.п.)

• Q4_K_M — 4-битный квант, «K» — формат quant (K-quants, блоки 256/64), «M» — средний размер блока: дефолт локальных LLM (≈ 0.6 ГБ на 1B параметров; подробности — в гайде по квантам).
• Больше бит = меньше сжатие, лучше качество, больший файл: Q5_K_M ≈ +15%, Q8_0 ≈ +70% к Q4. S/M/L/XL — варианты размера блока внутри того же числа бит.
• UD-Dynamic (unsloth) — «динамический» квант: разным слоям — разное число бит; повышенное качество (заявление unsloth, не верифицировано нами).
• QAT — Quantization-Aware Training: квантизировали в процессе обучения, качество выше, чем у обычного post-hoc Q4.
• MXFP4 / MXFP4_MOE — нативный FP4-формат моделей GPT-OSS-класса (квантовать не нужно).
• multi-part (…-00001-of-00007) — один большой файл, разрезанный на N частей: размер в таблице — суммарный, скачивайте все части.
• mmproj — отдельный файл визуального проектора (понимание изображений), не веса модели; mtp — головы спекулятивного декодирования (опциональное ускорение).

Все размеры — фактические байты из API (19.10.2026), не оценка «0.6 × параметры». Как скачать файл в РФ (Ollama / hf-mirror / LM Studio) — гайд: скачать веса в России.

Все файлы Qwen3 8B: все кванты, размеры, VRAM-вердикты «влезает на N ГБ» → /files/qwen3-8b/ · Сравнение квантов: VRAM под контекст 8K/16K/32K и мин. карта → /quant-compare/qwen3-8b/

mmproj — визуальный проектор +0.85 ГБ (отдельный файл) · mmproj — визуальный проектор +0.85 ГБ (отдельный файл)

Все файлы Gemma 3 12B IT: все кванты, размеры, VRAM-вердикты «влезает на N ГБ» → /files/gemma-3-12b/ · Сравнение квантов: VRAM под контекст 8K/16K/32K и мин. карта → /quant-compare/gemma-3-12b/

Оригинальное HF-репо meta-llama/Llama-3.1-8B-Instruct — gated (401 без токена). GGUF-размеры — из публичных репо unsloth/lmstudio-community + сверка с Ollama-реестром (Q4_K_M: 4,920,739,200 / 4,920,738,944 — совпадает).

Все файлы Llama 3.1 8B Instruct: все кванты, размеры, VRAM-вердикты «влезает на N ГБ» → /files/llama-3.1-8b/ · Сравнение квантов: VRAM под контекст 8K/16K/32K и мин. карта → /quant-compare/llama-3.1-8b/

Все файлы DeepSeek-R1 Distill Qwen 14B: все кванты, размеры, VRAM-вердикты «влезает на N ГБ» → /files/deepseek-r1-distill-14b/ · Сравнение квантов: VRAM под контекст 8K/16K/32K и мин. карта → /quant-compare/deepseek-r1-distill-14b/

Нативный формат весов — MXFP4 (FP4): квантование не нужно (в отличие от 32-битных моделей).

Все файлы GPT-OSS 20B: все кванты, размеры, VRAM-вердикты «влезает на N ГБ» → /files/gpt-oss-20b/ · Сравнение квантов: VRAM под контекст 8K/16K/32K и мин. карта → /quant-compare/gpt-oss-20b/

Нативный формат весов — MXFP4 (FP4): квантование не нужно.

Все файлы GPT-OSS 120B: все кванты, размеры, VRAM-вердикты «влезает на N ГБ» → /files/gpt-oss-120b/ · Сравнение квантов: VRAM под контекст 8K/16K/32K и мин. карта → /quant-compare/gpt-oss-120b/

mmproj — визуальный проектор +0.92 ГБ (отдельный файл)

Мультимодальная модель (визн+текст): для изображений нужен отдельный mmproj-файл (+~0.9 ГБ).

Все файлы Qwen3.5 9B Instruct: все кванты, размеры, VRAM-вердикты «влезает на N ГБ» → /files/qwen3.5-9b/ · Сравнение квантов: VRAM под контекст 8K/16K/32K и мин. карта → /quant-compare/qwen3.5-9b/

mmproj — визуальный проектор +0.9 ГБ (отдельный файл)

MoE: память — по total 35B, скорость — по active ~3B. Мультимодальная (mmproj +~0.9 ГБ).

Все файлы Qwen3.5 35B-A3B Instruct: все кванты, размеры, VRAM-вердикты «влезает на N ГБ» → /files/qwen3.5-35b-a3b/ · Сравнение квантов: VRAM под контекст 8K/16K/32K и мин. карта → /quant-compare/qwen3.5-35b-a3b/

MoE: память — по total 30B, скорость — по active ~3B. MLA-внимание (оценка KV — см. kv_note). Публичного MLX нет (mlx-community/GLM-4.7-Flash-30B-A3B-4bit — 401 на 19.10.2026).

Все файлы GLM-4.7-Flash 30B-A3B: все кванты, размеры, VRAM-вердикты «влезает на N ГБ» → /files/glm-4.7-flash-30b-a3b/ · Сравнение квантов: VRAM под контекст 8K/16K/32K и мин. карта → /quant-compare/glm-4.7-flash-30b-a3b/

mmproj — визуальный проектор +1.2 ГБ (отдельный файл) · mtp — головы спекулятивного декодирования +0.28 ГБ (отдельный файл)

Все файлы Gemma 4 31B IT: все кванты, размеры, VRAM-вердикты «влезает на N ГБ» → /files/gemma-4-31b/ · Сравнение квантов: VRAM под контекст 8K/16K/32K и мин. карта → /quant-compare/gemma-4-31b/

mmproj — визуальный проектор +0.92 ГБ (отдельный файл)

Официальные GGUF от ornith-ai (4.95M загрузок — самый скачиваемый в семье); гибрид linear-attention. MLX — официальный 4bit (ornith-ai).

Все файлы Ornith 1.5 9B: все кванты, размеры, VRAM-вердикты «влезает на N ГБ» → /files/ornith-1.5-9b/ · Сравнение квантов: VRAM под контекст 8K/16K/32K и мин. карта → /quant-compare/ornith-1.5-9b/

MoE: память — по total 35.9B, скорость — по active ~3B. Официальный MLX только bf16 (69.3 ГБ, 14 частей) — 4bit-варианта у ornith-ai нет; для Apple Silicon берите GGUF-4bit.

Все файлы Ornith 1.5 35B-A3B: все кванты, размеры, VRAM-вердикты «влезает на N ГБ» → /files/ornith-1.5-35b-a3b/ · Сравнение квантов: VRAM под контекст 8K/16K/32K и мин. карта → /quant-compare/ornith-1.5-35b-a3b/

Гибрид Mamba. Ollama-семейство nemotron-3-nano покрывает и Nano-4B, и Lightning-30B-A3B.

Все файлы NVIDIA Nemotron 3 Nano 4B: все кванты, размеры, VRAM-вердикты «влезает на N ГБ» → /files/nemotron-3-nano-4b/ · Сравнение квантов: VRAM под контекст 8K/16K/32K и мин. карта → /quant-compare/nemotron-3-nano-4b/

mtp — головы спекулятивного декодирования +1.16 ГБ (отдельный файл)

MoE (128 routed × 6 + 1 shared): память — по total 30B, скорость — по active ~3B. Гибрид Mamba: растущий KV только у 6 attention-блоков.

Все файлы NVIDIA Nemotron 3.5 Lightning 30B-A3B: все кванты, размеры, VRAM-вердикты «влезает на N ГБ» → /files/nemotron-3.5-lightning-30b-a3b/ · Сравнение квантов: VRAM под контекст 8K/16K/32K и мин. карта → /quant-compare/nemotron-3.5-lightning-30b-a3b/

mtp — головы спекулятивного декодирования +1.68 ГБ (отдельный файл)

Гибрид linear-attention (16 full + 48 linear из 64 слоёв). В unsloth-репо нет Q4_K_M (есть Q4_0/Q4_1/Q8_0/UD-) — Q4_K_M взят из ggml-org.

Все файлы Qwen3.8 27B: все кванты, размеры, VRAM-вердикты «влезает на N ГБ» → /files/qwen3.8-27b/ · Сравнение квантов: VRAM под контекст 8K/16K/32K и мин. карта → /quant-compare/qwen3.8-27b/

mmproj — визуальный проектор +2.84 ГБ (отдельный файл)

Серверный класс: 1.02T total (~28B active). GGUF — только MXFP4 (7 частей ≈ 554 ГБ) и Q2_K (≈ 419 ГБ), Q4_K_M нет. Не влезает в домашнее железо.

Память, почему не на consumer, как запустить (сервер/облако) → models/mimo-v2.6-pro/

Примечания и оговорки

• Размеры — из HF API / Ollama-manifest от 19.10.2026 (методика и источники — в данных слоя files.json).
• «РФ (hf-mirror)» — ссылка на зеркало hf-mirror.com (хостинг — Япония): API и range-загрузки проверены извне 19.10.2026, доступность из РФ не проверялась — проверьте со своего IP.
• Gated-репо (Meta, оригинал Gemma) — без токена 401; размеры — из публичных GGUF-репо и Ollama-реестра.
• Серверный класс (DeepSeek-V4-Flash, GLM-5.3-Flash, MiMo-V2.6-Pro): без публичных GGUF-квантов для consumer или только тяжёлые multi-part сборки — запуск на сервере/в облаке, не на домашней карте.

Ссылки на HuggingFace и hf-mirror — rel="nofollow" (не e-com). Оценки и размеры — не бентчмарки.

Рядом

• Гид · Как скачать файл модели в России
• Гид · Кванты Q4/Q6/Q8 простыми словами
• Каталог моделей (VRAM, скорость, файлы)
• T1 · Какая LLM запустится на моей карте (с подбором файла)

Не знаете, какой файл взять?

Хотите, чтобы мы проверили/подобрали файл под вашу карту? — напишите: укажите видеокарту (VRAM), модель и нужный контекст — вернём конкретный файл, его размер и путь загрузки (Ollama / hf-mirror / LM Studio).

Написать письмо Форма откроется в почтовом клиенте; контактная почта сайта пока не опубликована.