Захотелось мне тут проверить качество ИИ моделей в переводе. Я уже перевел немало книг и текстов с облачными моделями - Qwen, Claude, OpenAI, Gemini и результат в последнее время мне нравится все больше и больше. Я не думаю что переводчикам пора искать другую работу, но на сегодняшний день реальность такова что вы можете перевести любую книгу на любом языке на русский и как минимум понять про что она. Конечно же, остаются тонкости стилистики, нюансы языка и местных реалий жизни, которые очень важны при переводе сложной художественной литературы, тут нужен как раз тот “контекст жизни”, которого не хватает моделям. Однако последние версии Claude и OpenAI неплохо натаскались в переводе авторской стилистики. Если же вам надо читать не очень специфичный текст для посвященных, то скорее всего ИИ перевод вас удовлетворит. Конечно же тут тоже есть тонкости - проверки и промпты, но это уже дело техники, все это решаемо скиллами и бюджетом на токены. Однако облачные переводы не всегда доступны из-за бюджета и policy (и непонятно сколько еще будут доступны), поэтому я задался вопросом насколько я могу положиться на локальные модели, гоняющие на довольно скромной по нынешним меркам карте и машине: NVIDIA GeForce RTX 5060 Ti 16 GB, Core Ultra 7 265, 96 GB DDR5
Переводы проверялись для разных языков, все переводили на русский. Чтобы сделать бенчмарк более репрезентативным, я выбрал несколько языков для тестирования - английский, испанский, китайский и иврит. Большинство из них я знаю, так что могу оценить перевод глазами, хотя этого и не было нужно. Эталонный перевод сделал с Claude моделями, потом “модели-судьи” (Claude и OpenAI) судили каждый перевод, давая ему оценку. Измерялось как качество перевода, так и его скорость. Цели переводов:
Переводить интернет сайты по мере браузинга, что-то типа Google Translate для сайтов, но качественнее.
Локальный перевод книг. Хоть фронтирные модели объективно переводят книги лучше и быстрее, но некоторые уже начали капризничать из-за копирайта, боюсь что скоро эту лавочку прикроют. Хотелось бы иметь что-то постоянное и не зависящее от трендов. Хотя если цель - прогонять тексты через ИИ перевод и продавать на Амазон, то наверное лучше использовать облачные модели.
В итоге два главных критерия оценки — качество перевода и скорость, так как в браузере нужно переводить быстро, а качественный перевод книги можно и на ночь оставить.
Ну что же, давайте посмотрим что за тексты участвовали в соревновании. Я решил проверять перевод не только с разных языков, но и различного типа текстов.
На английском - колонка новостей с WSJ, медицинская статья с PubMed, техническая документация к ядру, технический тред на Reddit вместе с комментариями и даосское руководство по дыханию с вкраплениями на китайском. И как вишенку на торте - главу из “Поминки по Финнегану” Джеймса Джойса.
На испанском взял статью по экономике с интернет журнала, главу из книги современного автора, главу из детектива про наркокартели с северо-мексиканским и нарко-сленгом, и стихи Лорки.
Для китайского взял статью из китайского блога про то, какая великая и инклюзивная(!) китайская культура (кошко-жена одобряет), твиты из Weibo (или надо их называть “вейбиты”?), главу из современной книги (Ли Цзюань), техническое руководство. Для экстрима также добавил античный и средневековый трактат по китайской медицине и два текста по даосизму - тоже античный и средневековый.
На иврите - стандартный договор аренды квартиры, колонку из новостного сайта, техническое руководство по ядру, два срача из фейсбука с комментариями, тред на реддите, главу из современной книги Амоса Оза. Для экстрима - древний текст (Бен Сира, 200 г. до н.э.), отрывок из религиозной литературы (3 век н.э.) и отрывок из Каббалы (16 век, забегая наперед могу сказать что именно он оказался самым сложным для перевода и все локальные модели на нем повалились).
Так как набрался текст на разные уровни, поэтому и бенчмарк разделился на два - первый для современных текстов, новости, интернет, литература, и второй - всякие древние и просто странные тексты - для стресс тестирования.
Содержание
Теперь про модели. После того как посоветовались с OpenAI и Gemini, решили взять следующие модели для теста на моей карте.
Модель | Тип | Параметры | ток/с | Роль в лаборатории | Статус |
|---|---|---|---|---|---|
Qwen3.8 Flash-Next | Общего назначения | 125.7B + 51.2B таблица эмбеддингов / 7.3B активных | 21 / 15 | Лучшее качество в целом (пресеты regular, classical-he, черновик в literary-max) | финалист |
Gemma 4 31B | Общего назначения | 30.7B | 6 | Художественный перевод и редактор (пресет literary, а также проход редактуры в literary-max, classical, max) | финалист (и редактор) |
Gemma 4 26B-A4B | Общего назначения | 25.2B / 3.8B активных | 113 / 26 | Быстрый повседневный перевод (пресет regular-fast) | финалист |
Index 35B-A3B | Перевод | 35.5B / 3.5B активных | 68 / 31 | Черновик для классического китайского (пресеты classical, max) | финалист |
Index 9B | Перевод | 9.2B | 64 / 46 | Веб-страницы (пресет web) | финалист |
Index 2B | Перевод | 1.9B | 163 | Только для понимания сути, удалена | только для понимания сути (этап 0), удалена |
Hy-MT2 30B-A3B | Перевод | 30.1B / 3.5B активных | 68 / 22 | Отсеяна на отборе, удалена | отсеяна (этап 1, удалена) |
Hy-MT2 7B | Перевод | 7B | 49 | Отсеяна на отборе, удалена | отсеяна (этап 1, удалена) |
Hy-MT2 1.8B | Перевод | 1.8B | 169 | Только для понимания сути, удалена | только для понимания сути (этап 0), удалена |
TranslateGemma 27B | Перевод | 27.0B | 4 | Отсеяна на отборе, удалена | отсеяна (этап 1, удалена) |
TranslateGemma 12B | Перевод | 11.8B | 31 | Отсеяна на отборе, удалена | отсеяна (этап 1, удалена) |
Command A Translate | Перевод | 111B | 1 | Отсеяна на отборе, удалена | отсеяна (этап 1, удалена) |
Qwen3.8 27B | Общего назначения | 27.3B | 47 / 5 | Отсеяна на отборе; Q6_K удалён, IQ3_M оставлен | отсеяна (этап 1, Q6_K удалён) |
Qwen3.6 35B-A3B | Общего назначения | 34.7B / 3.5B активных | 57 / 31 | Отсеяна на настройке, удалена | отсеяна (этап 2, удалена) |
Qwen3.5 9B | Общего назначения | 9.0B | 71 | Прежняя контрольная модель | прежняя контрольная модель |
T-pro 2.1 | Общего назначения | 32.8B | 3 | Отсеяна на отборе, удалена | отсеяна (этап 1, удалена) |
Размер взят из файлов GGUF. Скорость — измеренная скорость генерации при переводе, в токенах в секунду, для каждого кванта (сначала самый быстрый). Для каждой модели - ее сильные и слабые стороны, происхождение, результаты и как запускалось с llama.cpp.
Qwen3.8-Flash-Next — финалистРоль в лаборатории: Лучшее качество в целом (пресеты regular, classical-he, черновик в literary-max)
Ссылки: Qwen/Qwen3.8-Flash-Next · unsloth/Qwen3.8-Flash-Next-GGUF (GGUF)
Сильные стороны. Лидер или в числе лидеров почти во всех категориях: английский 87.6, испанский 92, китайский 88, иврит 90, классический иврит 81 (на 8 баллов впереди следующей модели). На токен активны лишь 6B параметров, поэтому даже IQ4_XS на 94 ГБ выдаёт 14–16 ток/с из системной RAM.
Слабые стороны. Нужно около 80–95 ГБ RAM плюс GPU. Художественный текст без прохода редактуры — лишь средний. В режиме рассуждения на отложенных текстах на классическом китайском оставляла в выводе непереведённый китайский и английский текст.
Что сработало. IQ4_XS ради качества, IQ3_XXS (21 ток/с), когда важна скорость; оценки различаются в пределах шума. Инструкция на русском помогла на классических текстах (+5). Рассуждение помогло на классическом китайском при настройке (+7.8), но провалилось на отложенных текстах; на классическом иврите сработало (72.7). MTP-черновик от unsloth не загружается в этой сборке llama.cpp.
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Набор / квант | Финал, лучшая настройка | ||
|---|---|---|---|
ГБ | 82.0 | 93.7 | – |
Размещение на 16 ГБ | 38 слоёв экспертов на CPU | 41 слой экспертов на CPU | – |
ток/с | 21 | 15 | – |
EN | 85 | 88 | 89 |
ES | 89 | 92 | 91 |
ZH | 88 | 88 | 85 |
HE | 89 | 90 | 89 |
ES худ. | 83 | 80 | 86 |
EN худ. | 76 | 72 | 68 |
文言文 | 78 | 79 | 66 |
HE худ. | 79 | 85 | 86 |
Класс. HE | 81 | 81 | 73 |
Веб | 85 | 88 | 84 |
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль iq4 — UD_IQ4_XS, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/unsloth/Qwen3.8-Flash-Next-GGUF/UD-IQ4_XS/Qwen3.8-Flash-Next-UD-IQ4_XS-00001-of-00003.gguf --host 127.0.0.1 --port 8091 --alias fnx-UD_IQ4_XS -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 41 -t 12 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль balanced — UD_IQ3_XXS, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/unsloth/Qwen3.8-Flash-Next-GGUF/UD-IQ3_XXS/Qwen3.8-Flash-Next-UD-IQ3_XXS-00001-of-00003.gguf --host 127.0.0.1 --port 8091 --alias fnx-UD_IQ3_XXS -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 38 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль quality — UD_IQ4_XS, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/unsloth/Qwen3.8-Flash-Next-GGUF/UD-IQ4_XS/Qwen3.8-Flash-Next-UD-IQ4_XS-00001-of-00003.gguf --host 127.0.0.1 --port 8091 --alias fnx-UD_IQ4_XS -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 41 -t 12 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Карточка модели и архитектура
GGUF: qwen4exp, 48 слоёв, 512 экспертов / 10 на токен, 176.9B весов, около 7.3B активных на токен (плюс послойная таблица эмбеддингов на 51.2B)
Разработчик: Qwen (Alibaba)
Дата выхода: Репозиторий на HF создан 2026-08-24; GGUF от unsloth — 2026-08-26.
Лицензия: Qwen Community License 1.0: разрешительная, но продукты с аудиторией более 100 млн MAU или выручкой более $20 млн в месяц обязаны указывать название модели, а бизнесу формата Model-as-a-Service или ИИ-ассистентов для работы нужна отдельная лицензия.
Параметры: 125B плюс 51B n-граммных эмбеддингов и 4B MTP (всего хранится около 180B). · активных 6B
Архитектура: MoE, 48 слоёв: 12 x (3 Gated DeltaNet + 1 Qwen Sparse Attention), 512 экспертов, активны 10 маршрутизируемых + 1 общий, гейтированные остаточные связи (4 ветви), n-граммный эмбеддинг на 20 млн записей.
Контекст: 262 144 нативно, расширяется до 1 000 000 токенов.
Базовая модель: Не указана.
Языки: В карточке не указаны.
Режим рассуждения: Включён по умолчанию; enable_thinking, preserve_thinking (по умолчанию включён), reasoning_effort xhigh/medium/low.
Изображения: Да (каузальная LM с визуальным энкодером; изображения/видео).
Промпт и сэмплинг из карточки: С рассуждением: temperature 1.0, top_p 0.95, top_k 20, presence_penalty 0; без рассуждения: temperature 0.7, top_p 0.8, top_k 20, presence_penalty 1.5.
Заявления о переводе в карточке: В карточке нет (только SWE-bench Multilingual 81.0).
Также стоит отметить: Экспериментальное превью архитектуры (разреженное внимание QSA, гейтированные остаточные связи, n-граммный эмбеддинг, Muon/AdamW); MTP из 1 слоя.
Роль в лаборатории: Переводчик художественных текстов и редактор (пресет literary, а также проход редактуры в literary-max, classical, max)
Ссылки: google/gemma-4-31B-it · unsloth/gemma-4-31B-it-GGUF (GGUF)
Сильные стороны. Пишет по-русски лучше всех моделей. Лучшая одиночная модель на художественном испанском и английском (85), в числе лидеров во всём остальном; как редактор поднимает слабые черновики на 5–14 баллов.
Слабые стороны. Здесь медленная: Q6_K требует держать половину слоёв в системной RAM, поэтому около 6–7 ток/с даже с MTP. С рассуждением на классических текстах тратит 12–21 мин на текст и однажды оставила в выводе транслитерированный иврит (Тосефта 30).
Что сработало. Официальный английский системный промпт со стилевой инструкцией для художественного текста, жадное декодирование. Все варианты (инструкция на русском −4, сэмплер для художественного текста −4, без стилевой инструкции −7, рассуждение −2) на художественном тексте оказались хуже. Рассуждение помогает на классическом китайском (+11 при настройке). MTP-черновик примерно вдвое ускоряет модель.
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Набор / квант | Финал, лучшая настройка | |
|---|---|---|
ГБ | 25.2 | – |
Размещение на 16 ГБ | 33 из 60 слоёв на GPU | – |
ток/с | 6 | – |
EN | 85 | 87 |
ES | 87 | 84 |
ZH | 86 | 84 |
HE | 89 | 90 |
ES худ. | 85 | 84 |
EN худ. | 85 | 70 |
文言文 | 79 | 72 |
HE худ. | 82 | 74 |
Класс. HE | 74 | 60 |
Веб | 88 | 85 |
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль balanced — Q6_K, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/unsloth/gemma-4-31B-it-GGUF/gemma-4-31B-it-Q6_K.gguf --host 127.0.0.1 --port 8091 --alias g31-Q6_K -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 33 -t 8 --spec-type draft-mtp -md /models/unsloth/gemma-4-31B-it-GGUF/MTP/mtp-gemma-4-31B-it-Q8_0.gguf -ngld 99 --temp 0 --top-k 1Профиль quality — Q6_K, контекст 32 768
llama.cpp/build/bin/llama-server -m /models/unsloth/gemma-4-31B-it-GGUF/gemma-4-31B-it-Q6_K.gguf --host 127.0.0.1 --port 8091 --alias g31-Q6_K -c 32768 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 32 -t 8 --spec-type draft-mtp -md /models/unsloth/gemma-4-31B-it-GGUF/MTP/mtp-gemma-4-31B-it-Q8_0.gguf -ngld 99 --temp 0 --top-k 1Карточка модели и архитектура
GGUF: gemma4, 60 слоёв, 30.7B весов
Разработчик: Google DeepMind
Дата выхода: В карточке дата не указана; репозиторий на HF создан 2026-03-11.
Лицензия: Apache-2.0
Параметры: 30.7B (плюс визуальный энкодер ~550M).
Архитектура: Плотная, 60 слоёв, гибридное внимание: скользящее окно (1024) / глобальное, 32 головы Q, 16 голов KV в локальных / 4 в глобальных.
Контекст: 256K токенов.
Базовая модель: google/gemma-4-31B (предобученная).
Языки: Предобучена на 140+ языках, 35+ поддерживаются из коробки; русский, иврит и классический китайский не упомянуты.
Режим рассуждения: Да, включается через <|think|> в системном промпте.
Изображения: Да: текст и изображения (видео — покадрово); аудио нет.
Промпт и сэмплинг из карточки: temperature=1.0, top_p=0.95, top_k=64.
Заявления о переводе в карточке: Бенчмарков перевода в карточке нет; MMMLU 88.4%.
Также стоит отметить: Сильнейшая Gemma 4 в карточке (MMLU Pro 85.2%); в GGUF от unsloth поддержка MTP добавлена 2026-06-09, исправления шаблона чата — 2026-04-11.
Роль в лаборатории: Быстрый повседневный перевод (пресет regular-fast)
Ссылки: google/gemma-4-26B-A4B-it · unsloth/gemma-4-26B-A4B-it-GGUF (GGUF) · google/gemma-4-26B-A4B-it-qat-q4_0-gguf (GGUF)
Сильные стороны. QAT Q4_0 от Google целиком помещается на GPU с 16 ГБ, работает примерно на 115 ток/с и набирает 80–88 на обычном тексте и веб-страницах на всех языках. Лучшее соотношение скорости и качества в тесте. Q8 — хорошая черновая модель для прохода редактуры 31B на художественном тексте.
Слабые стороны. Разваливается на классических текстах (классический иврит 49, классический китайский 54 в версии QAT). Q8 (с выгрузкой на CPU, 27 ток/с) на отложенных обычных текстах оказалась не лучше QAT.
Что сработало. Официальный промпт, жадное декодирование. Рассуждение добавляет около 1.5 балла на обычном тексте, но занимает в 4–5× больше времени. Инструкция на русском помогла на художественном тексте (+3.5). Спекулятивное декодирование с MTP замедлило сборку QAT (0.85×).
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль fast — QAT_Q4_0, контекст 8 192
llama.cpp/build/bin/llama-server -m /models/google/gemma-4-26B-A4B-it-qat-q4_0-gguf/gemma-4-26B_q4_0-it.gguf --host 127.0.0.1 --port 8091 --alias g26-QAT_Q4_0 -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1Профиль balanced — QAT_Q4_0, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/google/gemma-4-26B-A4B-it-qat-q4_0-gguf/gemma-4-26B_q4_0-it.gguf --host 127.0.0.1 --port 8091 --alias g26-QAT_Q4_0 -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1Профиль quality — Q8_0, контекст 32 768
llama.cpp/build/bin/llama-server -m /models/unsloth/gemma-4-26B-A4B-it-GGUF/gemma-4-26B-A4B-it-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias g26-Q8_0 -c 32768 -np 1 -ctk f16 -ctv f16 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 16 -t 8 -ub 1024 --temp 0 --top-k 1Карточка модели и архитектура
GGUF: gemma4, 30 слоёв, 128 экспертов / 8 на токен, 25.2B весов, около 3.8B активных на токен
Разработчик: Google DeepMind
Дата выхода: В карточке дата не указана; репозиторий на HF создан 2026-03-11, GGUF от unsloth — 2026-04-01, официальный QAT GGUF — 2026-05-01.
Лицензия: Apache-2.0
Параметры: 25.2B (плюс визуальный энкодер ~550M). · активных 3.8B
Архитектура: MoE, 30 слоёв, 128 экспертов, активны 8 + 1 общий; гибридное внимание: локальное со скользящим окном (1024) и глобальное, последний слой глобальный, в глобальных слоях общие K=V и p-RoPE.
Контекст: 256K токенов.
Базовая модель: google/gemma-4-26B-A4B (предобученная).
Языки: Предобучена на 140+ языках, 35+ поддерживаются из коробки; русский, иврит и классический китайский не упомянуты.
Режим рассуждения: Да: включается токеном <|think|> в начале системного промпта (enable_thinking в transformers); когда выключен, модель всё равно выдаёт пустой блок рассуждения.
Изображения: Да: текст и изображения на входе (а также кадры видео); аудио у этого размера нет.
Промпт и сэмплинг из карточки: temperature=1.0, top_p=0.95, top_k=64 для всех сценариев; нативная системная роль.
Заявления о переводе в карточке: Бенчмарков перевода для этой модели в карточке нет; MMMLU 86.3%.
Также стоит отметить: Официальный QAT Q4_0 GGUF сохраняет качество почти на уровне bf16; Google также выпускает MTP-модели для черновиков (assistant), точность которых должна совпадать с QAT; в unsloth поддержку MTP добавили 2026-06-09.
Роль в лаборатории: Черновик для классического китайского (пресеты classical, max)
Ссылки: IndexTeam/Index-Translate-35B-A3B-preview · IndexTeam/Index-Translate-35B-A3B-preview-GGUF (GGUF) · mradermacher/Index-Translate-35B-A3B-preview-i1-GGUF (GGUF)
Сильные стороны. Самая сильная из специализированных моделей. Лучшая одиночная модель на классическом китайском (Q8 80.5), сильна на английском и испанском (87–90 в финале) и на прозе на иврите (90 на художественном тексте). Хорошая и быстрая черновая модель для прохода редактуры на 31B.
Слабые стороны. Слабое место — современный китайский (76–79). Классический иврит — 66. На фрагментах по 1000 токенов в одной ветке форума на иврите перевела только последний пост; фрагменты по 300 и 600 токенов это исправляют.
Что сработало. Официальный китайский промпт, жадное декодирование, рассуждение выключено. Q4 для скорости (70 ток/с при 11 слоях экспертов на CPU), Q8 для классических текстов. Инструкция на английском стоила 5 баллов на классическом китайском, а короткие фрагменты с контекстом заставляли модель повторяться (−13).
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль fast — i1_Q4_K_M, контекст 8 192
llama.cpp/build/bin/llama-server -m /models/mradermacher/Index-Translate-35B-A3B-preview-i1-GGUF/Index-Translate-35B-A3B-preview.i1-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias idx35-i1_Q4_K_M -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 13 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль balanced — i1_Q4_K_M, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/mradermacher/Index-Translate-35B-A3B-preview-i1-GGUF/Index-Translate-35B-A3B-preview.i1-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias idx35-i1_Q4_K_M -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 11 -t 8 -ub 512 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль quality — Q8_0, контекст 32 768
llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-35B-A3B-preview-GGUF/Index-Translate-35B-A3B-preview.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias idx35-Q8_0 -c 32768 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 25 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль web — i1_Q4_K_M, контекст 32 768, 4 параллельных слота
llama.cpp/build/bin/llama-server -m /models/mradermacher/Index-Translate-35B-A3B-preview-i1-GGUF/Index-Translate-35B-A3B-preview.i1-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias idx35-i1_Q4_K_M -c 32768 -np 4 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 12 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Карточка модели и архитектура
GGUF: qwen35moe, 41 слой, 256 экспертов / 8 на токен, 35.5B весов, около 3.5B активных на токен
Разработчик: IndexTeam (Index LLM Team, bilibili)
Дата выхода: Репозиторий на HF создан 2026-10-02; официальный GGUF опубликован 2026-10-03; кванты i1 от mradermacher — 2026-10-04.
Лицензия: Apache-2.0
Параметры: 35B (всего в safetensors 35.95B с учётом визуальной части). · активных 3B
Архитектура: Гибрид MoE на базе Qwen3.5: 40 слоёв, скрытый размер 2048, 256 экспертов (8 маршрутизируемых + общий эксперт), Gated DeltaNet с полным вниманием в каждом 4-м слое, головы 16 Q / 2 KV, 1 MTP-слой, визуальный энкодер.
Контекст: В конфиге max_position_embeddings 262 144; в примере для GGUF — -c 32768.
Базовая модель: Qwen3.5 (карточка сравнивает с Qwen3.5-35B-A3B как с похожей MoE).
Языки: 150 языков; русский, иврит и классический китайский в карточке не упомянуты.
Режим рассуждения: Отключён согласно официальным инструкциям; как функция не описан.
Изображения: Да, официальный mmproj (рекомендуется Q8_0, есть f16) для перевода изображений без OCR; mradermacher кладёт mmproj в свой статический репозиторий.
Промпт и сэмплинг из карточки: Китайский промпт для перевода или формат instTrans; жадное декодирование temperature=0, шаблон чата с enable_thinking=false (llama.cpp: --jinja --chat-template-kwargs '{"enable_thinking":false}' --temp 0).
Заявления о переводе в карточке: Наивысшие FLORES COMET-22 (0.8794) и instTrans IFscore (0.8336) среди всех систем, сравниваемых в отчёте; WMT26 Judge 76.76.
Также стоит отметить: Предварительный (preview) чекпойнт; веса интерполяции экспертов из отчёта для него не указаны; официальный Q4_K_M рекомендован и сверен с BF16 на A100.
Роль в лаборатории: Веб-страницы (пресет web)
Ссылки: IndexTeam/Index-Translate-9B · IndexTeam/Index-Translate-9B-GGUF (GGUF)
Сильные стороны. Быстрая и точная на повседневных текстах: 92 на испанских новостях, 81.5 на китайском, 85 на обычном тексте на этапе 2. Q5_K_M с 4 параллельными слотами помещается целиком на GPU — подходит для браузерного расширения.
Слабые стороны. Слаба на сленге и текстах с форумов (веб 65–70) и в передаче авторского голоса. Один раз зациклилась на ветке Weibo при фрагментах по 300 токенов.
Что сработало. Лучше всего — официальный промпт и жадное декодирование; инструкция на английском, сэмплер для художественного текста и фрагменты меньшего размера дали столько же или меньше. Для веб-страниц — фрагменты по 600 токенов.
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль fast — Q5_K_M, контекст 8 192
llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-9B-GGUF/Index-Translate-9B.Q5_K_M.gguf --host 127.0.0.1 --port 8091 --alias idx9-Q5_K_M -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль balanced — Q8_0, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-9B-GGUF/Index-Translate-9B.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias idx9-Q8_0 -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль quality — Q8_0, контекст 32 768
llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-9B-GGUF/Index-Translate-9B.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias idx9-Q8_0 -c 32768 -np 1 -ctk f16 -ctv f16 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль web — Q5_K_M, контекст 32 768, 4 параллельных слота
llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-9B-GGUF/Index-Translate-9B.Q5_K_M.gguf --host 127.0.0.1 --port 8091 --alias idx9-Q5_K_M -c 32768 -np 4 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Карточка модели и архитектура
GGUF: qwen35, 33 слоя, 9.2B весов
Разработчик: IndexTeam (Index LLM Team, bilibili)
Дата выхода: Репозиторий на HF создан 2026-09-28; технический отчёт датирован сентябрём 2026.
Лицензия: Apache-2.0
Параметры: 9B по карточке (всего в safetensors 9.65B с учётом визуального энкодера).
Архитектура: Плотный гибрид на базе Qwen3.5: 32 слоя, скрытый размер 4096, линейное внимание Gated DeltaNet с полным вниманием в каждом 4-м слое, головы 16 Q / 4 KV, 1 MTP-слой, визуальный энкодер.
Контекст: В конфиге max_position_embeddings 262 144; официальный пресет для запуска — 32 768.
Базовая модель: Qwen3.5 (карточка сравнивает с базовой Qwen3.5-9B).
Языки: 150 языков; русский, иврит и классический китайский в карточке не упомянуты.
Режим рассуждения: Отключён в официальном клиенте (enable_thinking=False); как функция не описан.
Изображения: Да, перевод изображений в текст через mmproj.
Промпт и сэмплинг из карточки: Как у 2B: китайский промпт для перевода или ограниченный формат instTrans, одно сообщение пользователя, жадное декодирование temperature=0, enable_thinking=False.
Заявления о переводе в карточке: FLORES COMET-22 0.8789, WMT24++ 0.8601, WMT26 Judge 75.35; лучший instTrans IFscore на малоресурсных языках 0.7725 и наименьшая доля ответов не на целевом языке 3.47% среди сравниваемых систем.
Также стоит отметить: Лидирует среди сравниваемых моделей на субтитрах MuST-Cinema по COMET-22 (0.8979); для запуска в BF16, по руководству на GitHub, нужно около 24 ГБ памяти GPU.
Роль в лаборатории: Только для понимания сути, удалена
Ссылки: IndexTeam/Index-Translate-2B · IndexTeam/Index-Translate-2B-GGUF (GGUF)
Сильные стороны. Мгновенный черновой перевод: 170 токенов/с и около 2.3 ГБ видеопамяти, плюс перевод изображений через визуальный проектор.
Слабые стороны. Иврит — 49, классический иврит — 21. Оставляет буквы иврита в русском тексте и искажает смысл. Не годится для текстов, которые нужно читать внимательно.
Что сработало. Официальный китайский промпт, жадное декодирование, рассуждение выключено.
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Набор / квант | |
|---|---|
ГБ | 2.1 |
Размещение на 16 ГБ | целиком на GPU |
ток/с | 163 |
EN | – |
ES | – |
ZH | – |
HE | 49 |
ES худ. | – |
EN худ. | – |
文言文 | – |
HE худ. | 38 |
Класс. HE | 21 |
Веб | – |
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль fast — Q8_0, контекст 8 192
llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-2B-GGUF/Index-Translate-2B.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias idx2-Q8_0 -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль balanced — Q8_0, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-2B-GGUF/Index-Translate-2B.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias idx2-Q8_0 -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль quality — Q8_0, контекст 32 768
llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-2B-GGUF/Index-Translate-2B.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias idx2-Q8_0 -c 32768 -np 1 -ctk f16 -ctv f16 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль web — Q8_0, контекст 32 768, 4 параллельных слота
llama.cpp/build/bin/llama-server -m /models/IndexTeam/Index-Translate-2B-GGUF/Index-Translate-2B.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias idx2-Q8_0 -c 32768 -np 4 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Карточка модели и архитектура
GGUF: qwen35, 25 слоёв, 1.9B весов
Разработчик: IndexTeam (Index LLM Team, bilibili)
Дата выхода: Репозиторий на HF создан 2026-09-28; технический отчёт датирован сентябрём 2026 (официальный GGUF опубликован 2026-10).
Лицензия: Apache-2.0
Параметры: 2B по карточке (всего в safetensors 2.27B с учётом визуального энкодера).
Архитектура: Плотный гибрид на базе Qwen3.5 (Qwen3_5ForConditionalGeneration): 24 слоя, 3 слоя линейного внимания Gated-DeltaNet на 1 слой полного внимания, головы 8 Q / 2 KV, 1 MTP-слой, 24-слойный визуальный энкодер.
Контекст: В конфиге max_position_embeddings 262 144; официальный пресет для запуска — 32 768; в оценках использовалось 16 384.
Базовая модель: Qwen3.5 (карточка сравнивает с Qwen3.5-2B как с базовой моделью того же размера).
Языки: 150 языков (список только в техническом отчёте); русский, иврит и классический китайский в карточке не упомянуты.
Режим рассуждения: Официальный клиент его отключает (chat_template_kwargs enable_thinking=False) и вырезает любой выведенный блок think; использование рассуждения не описано.
Изображения: Да: сквозной перевод изображений в текст без OCR через mmproj (проектор Q8_0/f16 в репозитории GGUF).
Промпт и сэмплинг из карточки: Китайский промпт '请将以下{src}文本翻译为{tgt},直接输出翻译结果,不要进行任何解释。\n\n{text}' или формат instTrans 【源文】/【约束要求】; одно сообщение пользователя, без системного; жадное декодирование temperature=0, max_tokens по умолчанию 1024.
Заявления о переводе в карточке: FLORES COMET-22 0.8655, WMT24++ 0.8489, WMT26 Judge 60.26; по карточке обходит Hy-MT2-1.8B по всем основным метрикам.
Также стоит отметить: Обучение: многоязычное промежуточное дообучение (mid-training) на 167.77B токенов, специализированные SFT/RL, интерполяция экспертов 0.8/0.1/0.1 плюс on-policy дистилляция от нескольких учителей; GGUF проверен против F16 по KL-дивергенции.
Роль в лаборатории: Отсеяна на отборе, удалена
Ссылки: tencent/Hy-MT2-30B-A3B · tencent/Hy-MT2-30B-A3B-GGUF (GGUF)
Сильные стороны. Неожиданно хороша на художественном тексте на иврите (88–89) и быстра в Q4 (75 токенов/с).
Слабые стороны. Во всём остальном уступает лидерам: английский 71, обычный иврит 67–71, классические тексты 52–56. Q8 оказался не лучше Q4.
Что сработало. Сэмплер из карточки: T 0.7, top_p 1.0. Q4_K_M помещается при 9 слоях экспертов на CPU.
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль fast — Q4_K_M, контекст 8 192
llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-30B-A3B-GGUF/Hy-MT2-30B-A3B-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias hy30-Q4_K_M -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 8 -t 8 --temp 0 --top-k 1Профиль balanced — Q4_K_M, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-30B-A3B-GGUF/Hy-MT2-30B-A3B-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias hy30-Q4_K_M -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 9 -t 8 --temp 0 --top-k 1Профиль quality — Q8_0, контекст 32 768
llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-30B-A3B-GGUF/Hy-MT2-30B-A3B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy30-Q8_0 -c 32768 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 29 -t 8 -ub 1024 --temp 0 --top-k 1Профиль web — Q4_K_M, контекст 32 768, 4 параллельных слота
llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-30B-A3B-GGUF/Hy-MT2-30B-A3B-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias hy30-Q4_K_M -c 32768 -np 4 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 12 -t 8 -ub 1024 --temp 0 --top-k 1Карточка модели и архитектура
GGUF: hy_v3, 48 слоёв, 128 экспертов / 8 на токен, 30.1B весов, около 3.5B активных на токен
Разработчик: Tencent Hunyuan (Tencent Hy)
Дата выхода: Новости в карточке: открыта 2026-05-21; репозиторий GGUF создан позже, 2026-07-23.
Лицензия: Apache-2.0
Параметры: 30B (всего в safetensors 30.06B). · активных 3B
Архитектура: MoE hy_v3 (HYV3ForCausalLM): 48 слоёв, скрытый размер 2048, 128 экспертов, 8 активных + 1 общий, первый слой плотный, сигмоидный роутер, головы 32 Q / 4 KV.
Контекст: В конфиге max_position_embeddings 262 144; рекомендуемый max_tokens 4096.
Базовая модель: Не указана.
Языки: В карточке заявлено 33 языка; в таблице 38 позиций, включая русский и иврит; классического китайского в списке нет.
Режим рассуждения: Карточка называет модель 'fast-thinking' и переключателя не описывает; шаблон чата принимает reasoning_effort high/low/no_think, по умолчанию no_think.
Изображения: Нет (только текст).
Промпт и сэмплинг из карточки: Системного промпта по умолчанию нет; те же шаблоны; temperature 0.7, top_p 1.0, top_k -1, repetition_penalty 1.0, max_tokens 4096.
Заявления о переводе в карточке: По карточке обходит DeepSeek-V4-Pro и Kimi K2.6 в режиме fast-thinking (результаты только картинкой).
Также стоит отметить: Архитектура отличается от плотных 1.8B/7B; есть вариант FP8.
Роль в лаборатории: Отсеяна на отборе, удалена
Ссылки: tencent/Hy-MT2-7B · tencent/Hy-MT2-7B-GGUF (GGUF)
Сильные стороны. Маленькая и быстрая (50 токенов/с целиком на GPU).
Слабые стороны. Везде в середине таблицы или ниже: английский 63, китайский 59, классический китайский 36. Index 9B того же размера лучше.
Что сработало. По карточке её GGUF рассчитан на собственное ядро llama.cpp от Tencent; мы запускали её на стандартном llama.cpp.
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Набор / квант | |
|---|---|
ГБ | 8.0 |
Размещение на 16 ГБ | целиком на GPU |
ток/с | 49 |
EN | 63 |
ES | 76 |
ZH | 59 |
HE | – |
ES худ. | 69 |
EN худ. | 48 |
文言文 | 36 |
HE худ. | – |
Класс. HE | – |
Веб | – |
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль fast — Q8_0, контекст 8 192
llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-7B-GGUF/HY-MT2-7B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy7-Q8_0 -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1Профиль balanced — Q8_0, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-7B-GGUF/HY-MT2-7B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy7-Q8_0 -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1Профиль quality — Q8_0, контекст 32 768
llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-7B-GGUF/HY-MT2-7B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy7-Q8_0 -c 32768 -np 1 -ctk f16 -ctv f16 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1Профиль web — Q8_0, контекст 32 768, 4 параллельных слота
llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-7B-GGUF/HY-MT2-7B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy7-Q8_0 -c 32768 -np 4 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1Карточка модели и архитектура
Файла на диске больше нет, поэтому заголовок GGUF не прочитан.
Разработчик: Tencent Hunyuan (Tencent Hy)
Дата выхода: Новости в карточке: открыта 2026-05-21 (репозиторий на HF создан 2026-05-11).
Лицензия: Apache-2.0
Параметры: 7B (всего в safetensors 8.03B).
Архитектура: Плотная HunYuanDenseV1: 32 слоя, скрытый размер 4096, головы 32 Q / 8 KV (GQA), QK-norm.
Контекст: В конфиге max_position_embeddings 262 144; рекомендуемый max_tokens 4096.
Базовая модель: Не указана.
Языки: В карточке заявлено 33 языка; в таблице 38 позиций, включая русский и иврит; классического китайского в списке нет.
Режим рассуждения: Модель 'fast-thinking'; переключатель рассуждения не описан.
Изображения: Нет (только текст).
Промпт и сэмплинг из карточки: Системного промпта по умолчанию нет; те же шаблоны промптов, что у 1.8B; temperature 0.7, top_p 0.6, top_k 20, repetition_penalty 1.05, max_tokens 4096.
Заявления о переводе в карточке: По карточке 7B и 30B-A3B превосходят DeepSeek-V4-Pro и Kimi K2.6 в режиме fast-thinking (результаты картинкой плюс arXiv 2605.22064).
Также стоит отметить: По карточке этот GGUF зависит от ядра STQ от Tencent (llama.cpp PR #22836); есть вариант FP8.
Роль в лаборатории: Только для понимания сути, удалена
Ссылки: tencent/Hy-MT2-1.8B · tencent/Hy-MT2-1.8B-GGUF (GGUF)
Сильные стороны. Самая быстрая из протестированных моделей (179 токенов/с), иврит и русский есть в её списке языков.
Слабые стороны. Самые низкие баллы по ивриту в тесте (36, классический — 25). Смысловые ошибки почти в каждом предложении.
Что сработало. Без системного промпта; сэмплер из карточки (T 0.7, top_p 0.6, top_k 20, repetition 1.05).
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Набор / квант | |
|---|---|
ГБ | 1.9 |
Размещение на 16 ГБ | целиком на GPU |
ток/с | 169 |
EN | – |
ES | – |
ZH | – |
HE | 36 |
ES худ. | – |
EN худ. | – |
文言文 | – |
HE худ. | 36 |
Класс. HE | 25 |
Веб | – |
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль fast — Q8_0, контекст 8 192
llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-1.8B-GGUF/Hy-MT2-1.8B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy18-Q8_0 -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1Профиль balanced — Q8_0, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-1.8B-GGUF/Hy-MT2-1.8B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy18-Q8_0 -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1Профиль quality — Q8_0, контекст 32 768
llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-1.8B-GGUF/Hy-MT2-1.8B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy18-Q8_0 -c 32768 -np 1 -ctk f16 -ctv f16 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1Профиль web — Q8_0, контекст 32 768, 4 параллельных слота
llama.cpp/build/bin/llama-server -m /models/tencent/Hy-MT2-1.8B-GGUF/Hy-MT2-1.8B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias hy18-Q8_0 -c 32768 -np 4 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1Карточка модели и архитектура
GGUF: hunyuan-dense, 32 слоя, 1.8B весов
Разработчик: Tencent Hunyuan (Tencent Hy)
Дата выхода: Новости в карточке: открыта 2026-05-21 (репозиторий на HF создан 2026-05-11, GGUF — 2026-05-20).
Лицензия: Apache-2.0
Параметры: 1.8B (всего в safetensors 2.04B).
Архитектура: Плотная HunYuanDenseV1: 32 слоя, скрытый размер 2048, головы 16 Q / 4 KV (GQA), QK-norm, динамическое масштабирование RoPE.
Контекст: В конфиге max_position_embeddings 262 144; рекомендуемый max_tokens на вывод 4096.
Базовая модель: Не указана.
Языки: В карточке заявлено 33 языка, но в её таблице 38 позиций, включая русский, иврит, украинский, традиционный китайский, кантонский, тибетский, уйгурский; классического китайского в списке нет.
Режим рассуждения: Описаны как модели перевода 'fast-thinking'; переключатель рассуждения не описан.
Изображения: Нет (только текст).
Промпт и сэмплинг из карточки: Системного промпта по умолчанию нет; 'Translate the following text into {target_lang}. Note that you should only output the translated result without any additional explanation:\n\n{text}' (есть и китайский вариант); temperature 0.7, top_p 0.6, top_k 20, repetition_penalty 1.05, max_tokens 4096.
Заявления о переводе в карточке: По карточке 1.8B в целом превосходит популярные коммерческие API, например Microsoft и Doubao; результаты только картинкой плюс arXiv 2605.22064.
Также стоит отметить: Квант AngelSlim 1.25 бита сжимает её до 440 МБ (отдельные репозитории GGUF 2bit/1.25bit); шаблоны для терминологии, стиля, персонализации, разделителей, структурированных данных; выпущен IFMTBench.
Роль в лаборатории: Отсеяна на отборе, удалена
Ссылки: google/translategemma-27b-it · mradermacher/translategemma-27b-it-GGUF (GGUF)
Сильные стороны. Лучше 12B на иврите (77) и художественном испанском (75).
Слабые стороны. Классический китайский 42.5, Finnegans Wake 52. При 4 токенах/с и половине слоёв на CPU слишком медленная для такого результата.
Что сработало. Тот же структурированный шаблон, что у 12B; жадное декодирование.
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Набор / квант | |
|---|---|
ГБ | 22.2 |
Размещение на 16 ГБ | 42 из 62 слоёв на GPU |
ток/с | 4 |
EN | – |
ES | – |
ZH | – |
HE | 77 |
ES худ. | 75 |
EN худ. | 52 |
文言文 | 42 |
HE худ. | 78 |
Класс. HE | 58 |
Веб | – |
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль balanced — Q6_K, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/mradermacher/translategemma-27b-it-GGUF/translategemma-27b-it.Q6_K.gguf --host 127.0.0.1 --port 8091 --alias tg27-Q6_K -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 42 -t 8 --temp 0 --top-k 1Профиль quality — Q6_K, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/mradermacher/translategemma-27b-it-GGUF/translategemma-27b-it.Q6_K.gguf --host 127.0.0.1 --port 8091 --alias tg27-Q6_K -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 42 -t 8 --temp 0 --top-k 1Карточка модели и архитектура
GGUF: gemma3, 62 слоя, 27.0B весов
Разработчик: Google (исследовательская команда Google Translate / Google DeepMind)
Дата выхода: Репозиторий на HF создан 2026-01-12; технический отчёт arXiv 2601.09012 (январь 2026).
Лицензия: Лицензия Gemma, доступ по запросу.
Параметры: 27B (всего в safetensors 28.84B с учётом визуальной части).
Архитектура: Плотная Gemma 3 со входом для изображений; число слоёв не прочитать (конфиг закрыт).
Контекст: Общий входной контекст 2K токенов.
Базовая модель: Дообучена из чекпойнтов Gemma 3.
Языки: 55 языков; в карте языков шаблона есть русский и иврит; классический китайский не упомянут.
Режим рассуждения: Не указан.
Изображения: Да (изображения 896x896, по 256 токенов каждое).
Промпт и сэмплинг из карточки: Тот же структурированный шаблон чата, что у 12B (source_lang_code/target_lang_code); в примерах жадное декодирование.
Заявления о переводе в карточке: WMT24++ (55 языков) MetricX 3.09 / COMET 84.4; WMT25 MQM 5.86; Vistra MetricX 1.57 (лучший результат в семействе).
Также стоит отметить: Карточка совпадает с карточкой 12B, кроме id модели.
Роль в лаборатории: Отсеяна на отборе, удалена
Ссылки: google/translategemma-12b-it · mradermacher/translategemma-12b-it-GGUF (GGUF)
Сильные стороны. Хороша на испанских новостях (88) и служит независимым эталоном машинного перевода от Google.
Слабые стороны. Проваливается на классических текстах (классический китайский 37, классический иврит 48) и слаба на китайском (68). Карточка ограничивает вход 2K токенов.
Что сработало. Нужен собственный структурированный шаблон чата с кодами исходного и целевого языков; лаборатория собирает его в prompts.py.
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Набор / квант | |
|---|---|
ГБ | 12.5 |
Размещение на 16 ГБ | целиком на GPU |
ток/с | 31 |
EN | 74 |
ES | 88 |
ZH | 68 |
HE | 80 |
ES худ. | 63 |
EN худ. | 51 |
文言文 | 37 |
HE худ. | 70 |
Класс. HE | 48 |
Веб | 68 |
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль fast — Q8_0, контекст 8 192
llama.cpp/build/bin/llama-server -m /models/mradermacher/translategemma-12b-it-GGUF/translategemma-12b-it.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias tg12-Q8_0 -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1Профиль balanced — Q8_0, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/mradermacher/translategemma-12b-it-GGUF/translategemma-12b-it.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias tg12-Q8_0 -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1Профиль quality — Q8_0, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/mradermacher/translategemma-12b-it-GGUF/translategemma-12b-it.Q8_0.gguf --host 127.0.0.1 --port 8091 --alias tg12-Q8_0 -c 16384 -np 1 -ctk f16 -ctv f16 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1Карточка модели и архитектура
GGUF: gemma3, 48 слоёв, 11.8B весов
Разработчик: Google (исследовательская команда Google Translate / Google DeepMind)
Дата выхода: Репозиторий на HF создан 2026-01-12; технический отчёт arXiv 2601.09012 (январь 2026).
Лицензия: Лицензия Gemma, доступ по запросу (нужно принять условия Google).
Параметры: 12B (всего в safetensors 13.19B с учётом визуальной части).
Архитектура: Плотная Gemma 3 (архитектура в GGUF — gemma3) со входом для изображений; число слоёв не прочитать (конфиг закрыт).
Контекст: Общий входной контекст 2K токенов.
Базовая модель: Дообучена из чекпойнтов Gemma 3 (SFT на 4.3B токенов, RL на 10.2M токенов).
Языки: 55 языков (в карточке не перечислены); в карте языков шаблона чата есть русский и иврит; классический китайский не упомянут.
Режим рассуждения: Не указан.
Изображения: Да: изображения 896x896, по 256 токенов каждое, для перевода текста на изображениях (mmproj в репозитории GGUF).
Промпт и сэмплинг из карточки: Использовать шаблон чата: один элемент содержимого пользователя с типом text/image плюс source_lang_code и target_lang_code (ISO 639-1, регион по желанию); только роли User/Assistant; в примерах жадное декодирование (do_sample=False).
Заявления о переводе в карточке: WMT24++ (55 языков) MetricX 3.60 / COMET 83.5; WMT25 MQM 7.94; Vistra (изображения) MetricX 2.08.
Также стоит отметить: В обучающих данных есть переводы, сгенерированные Gemini; по карточке обходит открытые модели сопоставимого размера.
Роль в лаборатории: Отсеяна на отборе, удалена
Ссылки: CohereLabs/command-a-translate-08-2025 · DevQuasar/CohereLabs.command-a-translate-08-2025-GGUF (GGUF)
Сильные стороны. Модель перевода Cohere на 111B; русский и иврит входят в её 23 языка.
Слабые стороны. Здесь 0.7 токена/с (67 ГБ, в основном в системной RAM), и лучше она не оказалась: художественный испанский 68, классический китайский 50. Выводила свой токен конца хода как текст. Некоммерческая лицензия.
Что сработало. Промпт 'Translate everything that follows into Russian:'; temperature 0.3 по карточке.
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Набор / квант | |
|---|---|
ГБ | 67.1 |
Размещение на 16 ГБ | 13 из ? слоёв на GPU |
ток/с | 1 |
EN | – |
ES | – |
ZH | – |
HE | – |
ES худ. | 68 |
EN худ. | 60 |
文言文 | 50 |
HE худ. | – |
Класс. HE | – |
Веб | – |
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль quality — Q4_K_M, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/DevQuasar/CohereLabs.command-a-translate-08-2025-GGUF/CohereLabs.command-a-translate-08-2025.Q4_K_M-00001-of-00005.gguf --host 127.0.0.1 --port 8091 --alias cat-Q4_K_M -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 13 -t 8 -ub 512 --temp 0 --top-k 1Карточка модели и архитектура
Файла на диске больше нет, поэтому заголовок GGUF не прочитан.
Разработчик: Cohere и Cohere Labs
Дата выхода: Репозиторий на HF создан 2025-08-27 (08-2025); статья на WMT 2025 (ноябрь 2025).
Лицензия: CC-BY-NC-4.0 плюс Cohere Labs Acceptable Use Policy (некоммерческая); доступ по запросу.
Параметры: 111B
Архитектура: Плотный трансформер; 3 слоя со скользящим окном (окно 4096, RoPE), затем 1 слой глобального внимания без позиционных эмбеддингов; SFT плюс обучение на предпочтениях.
Контекст: 8K на вход плюс 8K на выход.
Базовая модель: CohereLabs/c4ai-command-a-03-2025 (дерево моделей на HF).
Языки: 23 языка, включая русский и иврит (английский, французский, испанский, итальянский, немецкий, португальский, японский, корейский, арабский, китайский, русский, польский, турецкий, вьетнамский, нидерландский, чешский, индонезийский, украинский, румынский, греческий, хинди, иврит, персидский); классический китайский не упомянут.
Режим рассуждения: Не указан.
Изображения: Нет (только текст).
Промпт и сэмплинг из карточки: Сообщение пользователя 'Translate everything that follows into {Language}:\n\n {text}'; в примере do_sample=True, temperature 0.3, max_new_tokens 4096.
Заявления о переводе в карточке: Карточка заявляет передовое (state-of-the-art) качество перевода; цифры только в блоге и в статье WMT25.
Также стоит отметить: Некоммерческая лицензия; GGUF от DevQuasar — неофициальный квант (проверен на wikitext-2).
Роль в лаборатории: Отсеяна на отборе; Q6_K удалена, IQ3_M оставлена
Ссылки: Qwen/Qwen3.8-27B · unsloth/Qwen3.8-27B-GGUF (GGUF) · bartowski/Qwen3.8-27B-GGUF (GGUF)
Сильные стороны. Сильна на испанском (89–91) и уверенно держится на обычном тексте; IQ3_M помещается на GPU, а с MTP разгоняется примерно до 40–45 ток/с.
Слабые стороны. Q6 проигрывает Gemma 4 31B при близкой скорости, IQ3 проигрывает Gemma 4 26B. Сборка IQ3 в режиме рассуждения на классическом китайском бесконечно зацикливалась, пока в лабораторию не добавили защиту от зацикливания.
Что сработало. Оставлена как возможный редактор; Gemma 4 31B справилась с этим лучше.
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль fast — IQ3_M, контекст 8 192
llama.cpp/build/bin/llama-server -m /models/Qwen3.8-27B-IQ3_M.gguf --host 127.0.0.1 --port 8091 --alias q38-IQ3_M -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --spec-type draft-mtp -md /models/unsloth/Qwen3.8-27B-GGUF/MTP/mtp-Qwen3.8-27B-Q4_0.gguf -ngld 99 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль balanced — IQ3_M, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/Qwen3.8-27B-IQ3_M.gguf --host 127.0.0.1 --port 8091 --alias q38-IQ3_M -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --spec-type draft-mtp -md /models/unsloth/Qwen3.8-27B-GGUF/MTP/mtp-Qwen3.8-27B-Q4_0.gguf -ngld 99 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль quality — UD_Q6_K, контекст 32 768
llama.cpp/build/bin/llama-server -m /models/unsloth/Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-Q6_K.gguf --host 127.0.0.1 --port 8091 --alias q38-UD_Q6_K -c 32768 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 46 -t 8 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Карточка модели и архитектура
GGUF: qwen35, 65 слоёв, 27.3B весов
Разработчик: Qwen (Alibaba)
Дата выхода: Репозиторий на HF создан 2026-08-05.
Лицензия: Apache-2.0
Параметры: 27B (в safetensors 27.78B).
Архитектура: Плотная гибридная, 64 слоя: 16 x (3 Gated DeltaNet + 1 Gated Attention), 24 головы Q / 4 KV, FFN 17 408; обучена с MTP.
Контекст: 262 144 нативно, расширяется до 1 000 000 токенов.
Базовая модель: Не указана (сказано, что построена на архитектуре Qwen3.5).
Языки: В карточке не указаны.
Режим рассуждения: Включён по умолчанию, можно отключить для отдельного запроса; reasoning_effort xhigh (по умолчанию)/medium/low; preserve_thinking по умолчанию включён.
Изображения: Да, нативное понимание изображений и видео.
Промпт и сэмплинг из карточки: С рассуждением: temperature 1.0, top_p 0.95, top_k 20, presence_penalty 0; без рассуждения: temperature 0.7, top_p 0.8, top_k 20, presence_penalty 1.5.
Заявления о переводе в карточке: В карточке нет.
Также стоит отметить: Кванты от bartowski включают слои MTP для спекулятивного декодирования в llama.cpp (--spec-type draft-mtp).
Роль в лаборатории: Отсеяна на настройке, удалена
Ссылки: Qwen/Qwen3.6-35B-A3B · unsloth/Qwen3.6-35B-A3B-GGUF (GGUF)
Сильные стороны. Неплохо справляется с обычным текстом (75–86) и быстра в Q4 (56 ток/с).
Слабые стороны. На классическом китайском застряла на 55–71, что бы ни пробовали, а на художественном испанском однажды повторила исходник вместо перевода (50).
Что сработало. Рассуждение дало лишь +1 на классическом китайском. Отсеяна после этапа 2.
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Набор / квант | ||
|---|---|---|
ГБ | 22.4 | 36.9 |
Размещение на 16 ГБ | 13 слоёв экспертов на CPU | 25 слоёв экспертов на CPU |
ток/с | 57 | 31 |
EN | 75 | 76 |
ES | 86 | 83 |
ZH | 79 | 76 |
HE | 84 | 80 |
ES худ. | 50 | 73 |
EN худ. | 55 | 57 |
文言文 | 70 | 71 |
HE худ. | 69 | 71 |
Класс. HE | 72 | 68 |
Веб | 75 | 72 |
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль fast — UD_Q4_K_XL, контекст 8 192
llama.cpp/build/bin/llama-server -m /models/unsloth/Qwen3.6-35B-A3B-GGUF/Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf --host 127.0.0.1 --port 8091 --alias q36-UD_Q4_K_XL -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 13 -t 8 -ub 512 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль balanced — UD_Q4_K_XL, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/unsloth/Qwen3.6-35B-A3B-GGUF/Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf --host 127.0.0.1 --port 8091 --alias q36-UD_Q4_K_XL -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 13 -t 8 -ub 512 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль quality — Q8_0, контекст 32 768
llama.cpp/build/bin/llama-server -m /models/unsloth/Qwen3.6-35B-A3B-GGUF/Qwen3.6-35B-A3B-Q8_0.gguf --host 127.0.0.1 --port 8091 --alias q36-Q8_0 -c 32768 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 --n-cpu-moe 25 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Карточка модели и архитектура
GGUF: qwen35moe, 40 слоёв, 256 экспертов / 8 на токен, 34.7B весов, около 3.5B активных на токен
Разработчик: Qwen (Alibaba)
Дата выхода: Репозиторий на HF создан 2026-04-15; первая модель Qwen3.6 с открытыми весами.
Лицензия: Apache-2.0
Параметры: 35B (в safetensors 35.95B вместе с визуальной частью). · активных 3B
Архитектура: Гибридная MoE, 40 слоёв: 10 x (3 Gated DeltaNet + 1 Gated Attention), 256 экспертов, активны 8 маршрутизируемых + 1 общий; 16 голов Q / 2 KV; обучена с MTP.
Контекст: 262 144 нативно, расширяется до 1 010 000 токенов.
Базовая модель: Не указана.
Языки: В карточке не указаны.
Режим рассуждения: Рассуждение по умолчанию; переключатель enable_thinking; новый preserve_thinking сохраняет рассуждения из предыдущих ходов.
Изображения: Да (изображения/видео).
Промпт и сэмплинг из карточки: Без рассуждения: temperature 0.7, top_p 0.8, top_k 20, presence_penalty 1.5; с рассуждением: temperature 1.0, top_p 0.95, top_k 20, presence_penalty 1.5.
Заявления о переводе в карточке: В карточке нет (только SWE-bench Multilingual 67.2).
Также стоит отметить: MTP для спекулятивного декодирования.
Роль в лаборатории: Прежняя контрольная модель
Ссылки: Qwen/Qwen3.5-9B · lmstudio-community/Qwen3.5-9B-GGUF (GGUF)
Сильные стороны. Уже была на диске (LM Studio), поэтому служит дешёвой точкой отсчёта для старых моделей общего назначения.
Слабые стороны. Иврит 67, классический иврит 51. Уступает Index 9B — модели той же архитектуры, дообученной для перевода.
Что сработало. Без рассуждения, жадное декодирование.
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Набор / квант | |
|---|---|
ГБ | 5.6 |
Размещение на 16 ГБ | целиком на GPU |
ток/с | 71 |
EN | – |
ES | – |
ZH | – |
HE | 67 |
ES худ. | – |
EN худ. | – |
文言文 | – |
HE худ. | 62 |
Класс. HE | 51 |
Веб | – |
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль fast — Q4_K_M, контекст 8 192
llama.cpp/build/bin/llama-server -m /models/lmstudio-community/Qwen3.5-9B-GGUF/Qwen3.5-9B-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias q35-Q4_K_M -c 8192 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Профиль balanced — Q4_K_M, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/lmstudio-community/Qwen3.5-9B-GGUF/Qwen3.5-9B-Q4_K_M.gguf --host 127.0.0.1 --port 8091 --alias q35-Q4_K_M -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 999 -t 8 -ub 1024 --temp 0 --top-k 1 --chat-template-kwargs '{"enable_thinking":false}'Карточка модели и архитектура
GGUF: qwen35, 32 слоя, 9.0B весов
Разработчик: Qwen (Alibaba)
Дата выхода: Репозиторий на HF создан 2026-02-27 (карточка Qwen3.6 ссылается на «февральский релиз серии Qwen3.5»).
Лицензия: Apache-2.0
Параметры: Языковая модель на 9B (всего в safetensors 9.65B вместе с визуальной частью).
Архитектура: Плотная гибридная, 32 слоя: 8 x (3 Gated DeltaNet + 1 Gated Attention), за каждым следует FFN; 16 голов Q / 4 KV; обучена с MTP.
Контекст: 262 144 нативно, расширяется до 1 010 000 токенов.
Базовая модель: Qwen/Qwen3.5-9B-Base
Языки: 201 язык и диалект; русский, иврит и классический китайский не названы.
Режим рассуждения: Рассуждение по умолчанию; отключается через enable_thinking=False.
Изображения: Да, изображения и видео (визуально-языковая модель с ранним слиянием).
Промпт и сэмплинг из карточки: Без рассуждения: temperature 0.7, top_p 0.8, top_k 20, presence_penalty 1.5; с рассуждением: temperature 1.0, top_p 0.95, top_k 20, presence_penalty 1.5.
Заявления о переводе в карточке: WMT24++ 72.6 (XCOMET-XXL, среднее по 55 языкам); MMLU-ProX 76.3.
Также стоит отметить: MTP можно использовать для спекулятивного декодирования (vLLM qwen3_next_mtp); для сохранения рассуждения карточка советует контекст не менее 128K.
Роль в лаборатории: Отсеяна на отборе, удалена
Ссылки: t-tech/T-pro-it-2.1 · t-tech/T-pro-it-2.1-GGUF (GGUF)
Сильные стороны. Дообученная под русский Qwen3-32B с токенизатором, оптимизированным для русского; тестировалась как источник естественного русского языка.
Слабые стороны. Классический китайский 42.5, художественный английский 56, иврит 69, при 2.6 ток/с. Естественный русский не компенсировал смысловых ошибок.
Что сработало. Карточка требует задавать temperature и presence_penalty в каждом вызове; для сопоставимости мы использовали жадное декодирование.
Оценки качества по наборам текстов (0–100) и скорость по квантам:
Набор / квант | |
|---|---|
ГБ | 26.9 |
Размещение на 16 ГБ | 36 из 64 слоёв на GPU |
ток/с | 3 |
EN | – |
ES | – |
ZH | – |
HE | 69 |
ES худ. | 69 |
EN худ. | 56 |
文言文 | 42 |
HE худ. | 56 |
Класс. HE | 52 |
Веб | – |
Команды запуска (llama-server)
Жадное декодирование и выключенное рассуждение заданы прямо на сервере; размещение слоёв (-ngl, --n-cpu-moe, -t, -ub) подобрано под RTX 5060 Ti 16 ГБ.
Профиль balanced — Q6_K, контекст 16 384
llama.cpp/build/bin/llama-server -m /models/t-tech/T-pro-it-2.1-GGUF/T-pro-it-2.1-Q6_K.gguf --host 127.0.0.1 --port 8091 --alias tpro-Q6_K -c 16384 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 36 -t 8 --temp 0 --top-k 1Профиль quality — Q6_K, контекст 32 768
llama.cpp/build/bin/llama-server -m /models/t-tech/T-pro-it-2.1-GGUF/T-pro-it-2.1-Q6_K.gguf --host 127.0.0.1 --port 8091 --alias tpro-Q6_K -c 32768 -np 1 -ctk q8_0 -ctv q8_0 -fa on --jinja --reasoning-format deepseek -ngl 33 -t 8 -ub 1024 --temp 0 --top-k 1Карточка модели и архитектура
GGUF: qwen3, 64 слоя, 32.8B весов
Разработчик: T-Tech (Т-Банк)
Дата выхода: Репозиторий на HF создан 2025-12-16; GGUF — 2025-12-18.
Лицензия: Apache-2.0
Параметры: 32.8B (safetensors).
Архитектура: Плотная Qwen3 (Qwen3ForCausalLM): 64 слоя, hidden 5120, 64 головы Q / 8 KV, полное внимание.
Контекст: 32 768 нативно (в конфиге 40 960); до 131 072 с YaRN factor 4.
Базовая модель: Qwen/Qwen3-32B
Языки: Ориентирована на русский (метаданные: ru); многоязычное покрытие не указано; иврит и классический китайский не упомянуты.
Режим рассуждения: Только без рассуждения; блоки <think> не выдаёт.
Изображения: Нет.
Промпт и сэмплинг из карточки: temperature 0.7, top_p 0.8, top_k 20, presence_penalty 1.0 (temperature и presence_penalty обязательны в каждом вызове); пример системного промпта: «Ты T-pro, виртуальный ассистент в Т-Технологиях...».
Заявления о переводе в карточке: Нет (Ru Arena Hard 93.8, ruIFeval 80.7, ruBFCL 66.0).
Также стоит отметить: Токенизатор, оптимизированный для русского, ускоряет генерацию на русском; три GRPO-эксперта объединены методом SLERP; по данным карточки GGUF, Q4_K_M отстаёт от BF16 не более чем примерно на 1 балл.
Все модели запускались через сервер llama.cpp с настройками, подобранными под эту машину (сколько слоёв или экспертов уходит в системную RAM, число потоков, тип KV-кеша).
Этап 0 · smoke test
По одному абзацу на категорию. Загружается ли модель, отвечает ли по-русски, не оставляет ли непереведённых кусков?
Этап 1 · отбор
Все модели и кванты на отрывках по 2000 знаков: промпт из карточки модели, жадное декодирование, фрагменты по 1000 токенов. По одному слепому судье на лист. Дальше проходили три лучшие модели в каждой категории плюс все, кто отставал от них не больше чем на 5 баллов.
Этап 2 · настройка
Для каждой прошедшей модели параметры менялись по одному и сравнивались с базовым результатом отбора: язык инструкции, сэмплер, размер фрагмента вместе с контекстом, стилевая инструкция, рассуждение и второй проход редактуры моделью Gemma 4 31B.
Этап 3 · финал
Лучшая настройка каждого финалиста на отложенных отрывках вдвое длиннее, не использовавшихся на настройке. По два слепых судьи на лист, оценки усреднялись.
В двухпроходной схеме быстрая модель пишет черновик, а затем каждый фрагмент вместе с исходником передаётся Gemma 4 31B. Редактор работает с жадным декодированием, без рассуждения, под таким системным промптом (для художественных текстов к нему добавляется стилевая инструкция):
Ты — старший литературный редактор русскоязычных текстов и рецензент переводов. Ты получаешь ИСХОДНЫЙ ТЕКСТ (SOURCE) и ЧЕРНОВИК (DRAFT) русского перевода. Исправь: пропуски, добавления, ошибки перевода, неверные имена и термины, кальки и неестественный русский, потерянные тон, иронию или регистр. Сохрани всё, что уже хорошо, — не переписывай ради переписывания, не сокращай. Выведи ТОЛЬКО итоговый русский текст, без комментариев.
Проход редактуры улучшил каждый черновик, к которому применялся, и на настройке выиграл на всех листах, кроме одного. Чем слабее черновик, тем больше прирост.
Он подтягивает черновик примерно до уровня самой 31B или чуть выше. На испанских и английских художественных текстах цепочки «черновик + редактура» и одна 31B финишировали в пределах шума. На художественных текстах на иврите цепочки явно обошли одну 31B (82.5–85.5 против 74.5). На классическом китайском цепочка уверенно опередила 31B на настройке (84.2 против 71.2), а в финале немного обошла 31B с рассуждением (74.0 против 71.9), потратив примерно втрое меньше времени.
Редактор не может исправить то, чего не понимает. На классическом иврите отредактированный черновик Index (66.0) всё равно остался ниже Flash-Next без редактуры (70.7–72.7).
Это стоит времени: 31B редактирует здесь со скоростью около 6–7 ток/с, что добавляет 3–6 мин на текст длиной 2–5000 знаков.
Рассуждение (thinking) позволяет модели общего назначения подумать, прежде чем ответить. Лаборатория ограничивает рассуждение 3000 токенов, после чего принудительно требует ответ, а если вывод начинает повторяться, перезапускает фрагмент без рассуждения (до появления этой защиты Qwen3.8 27B IQ3 однажды зациклилась на классическом китайском навсегда).
Рассуждение явно окупилось только на классическом китайском при настройке: там модели нужно разобрать предложение, прежде чем его переводить. В финале на отложенных текстах оно вело себя ненадёжно: 31B с рассуждением выиграла 2 листа из 4, но получила 59.5 на «Цзо чжуань», а Flash-Next оставляла китайские и английские слова без перевода.
На художественном и обычном тексте оно почти ничего не меняло или ухудшало результат, при этом занимая в 4–6 раз больше времени.
Указания модели, как анализировать текст (пунктуация, частицы, аллюзии, ключевые термины), поверх рассуждения дали меньше, чем просто рассуждение: Gemma 4 31B 79.0 против 82.5, Flash-Next 72.8 против 76.8.
Для сложных текстов проход редактуры 31B оказался более надёжным способом потратить дополнительное время.
Базовый промпт у каждой модели свой: китайская инструкция из карточки Index, шаблон Hy-MT2, структурированный шаблон TranslateGemma с кодами языков, однострочная инструкция Command A, а для LLM общего назначения — английский системный промпт с просьбой о полном и точном переводе, сохраняющем абзацы, разметку, числа и имена. Для художественных текстов добавляется стилевая инструкция: сохранять авторский голос, иронию, ритм и регистр, а сленг передавать естественными русскими эквивалентами.
Оценка шла по шкале 0–100: точность 40, беглость 25, стиль 20, терминология 10, формат 5, — причём судья должен был процитировать найденные ошибки. Два судьи на одном листе оценивали очень согласованно (корреляция 0.84–0.99), но при повторной оценке листа отдельные оценки сдвигались до 5 баллов. Любой разрыв меньше примерно 4 баллов следует считать ничьей.
Скорость. Измерялась во время перевода, на этой машине. Модели, которые не помещаются в GPU на 16 ГБ, держат часть весов в системной RAM, а она здесь работает в одноканальном режиме (проблема с материнкой). В двухканальной системе такие модели работали бы примерно в 1.8 раза быстрее.
Разочарование недели - модели TranslateGemma, от модели которая заточена на перевод ожидалось гораздо больше, а в итоге она среди худших. Модели Tencent (Hy-MT2) - распиаренный китаец себя не оправдал, даже для китайского языка большинство моделей справились лучше.
Находка недели - модели Index-Translate, здесь распиаренный китаец себя полностью оправдал, впрочем неудивительно - ведь они на основе Qwen моделей. И конечо же наше всё - Qwen Flash-Next. Хорошо зарекомендовали модели Gemma 4 (не знаю как умудрились их испортить в TranslateGemma)
Самим быстрым и качественным оказался способ с двумя моделями, где она делает простой, но быстрый перевод, другая же побольше и поумнее проходит и исправляет его. Так как вывод токенов это самое тяжелое для моделей, то переводить с самого начала тяжелой моделью берет очень много времени, а фронтирной - очень много денег. А вот исправить - это гораздо меньше, процентов 10-20 максимум от всего текста. Вывод такой, что большинство текста - обычные слова, которые можно перевести быстро и просто, а вот сложные пассажи составляют абсолютное меньшинство текста (если это не "Поминки по Финнегану") и только их можно обработать моделью получше. Итоговое качество иногда даже лучше чем если сразу переводить тяжелой моделью.
Так же и с фронтирными моделями - оказалось что они могут поправить перевод, сделанный простой локальной моделью, потратив на это 1-5% токенов от того, что бы они потратили если бы переводили весь текст целиком. Так что самый выигрышный вариант, наверное, это перевести сначала легкой локальной моделью, а потом если надо только локально - отредактировать тяжелой локальной, или же дать на исправление облачной модели. Результат будет такой же по качеству и в раз десять дешевле.