Shaduf.Research preview
Рейтинг AI для української мови/Локальна українська модель: п’ять задач WMT 2026

Перевірено 2 листопада 2026 · WMT 2026, український трек

Мала модель для українського тексту: що виграла Zolint, а що лишилося неперевіреним

Якщо шукаєте локальну модель для вичитки, у WMT 2026 є конкретне порівняння систем на базі Qwen3.5-2B. Zolint посіла перше місце в цьому треку, але тест не доводить, що вона найкраще відредагує ваш лист або перекладе документ.

Чотири системи, п’ять завдань

Усі стартували з обмеження на Qwen3.5-2B. Рядки впорядковано за офіційними підсумковими балами WMT, а не за сумою різних метрик. Два учасники українського треку описали свої системи; koshi надіслав результати без опису. Цифри нижче взято з таблиць 9 і 18 організаторів.

СистемаБали WMT ↓Переклад chrF++Питання Exact Match, %Правопис Exact Match, %Граматика Exact Match, %Математика Exact Match, %
Zolint1949,8641,1566,4345,1821,60
koshi1316,8046,9952,5030,550,40
Базова Qwen3.5-2B918,4636,338,382,1820,00
TUM-HN916,0840,1316,506,804,40

Переклад охоплює чеська→українська й англійська→українська. Для питань організатори усереднили ЗНО й MMLU з однаковою вагою, хоча набори різні за розміром. Бали правопису та граматики усереднюють виявлення помилки і правильне виправлення. Їх не можна порівнювати як один відсоток якості з chrF++.

Для вичитки важливіше виправлення, ніж виявлення

На таблиці 18 Zolint правильно виправила 61,15% орфографічних і 45,10% граматичних випадків; базова Qwen3.5-2B — 8,20% і 1,65%. У тесті було по 2 000 речень для кожного завдання; половина орфографічних прикладів без помилки, решта містила один штучно змінений токен. Це не вільне редагування абзацу, не перевірка стилю й не час роботи редактора.

Якщо треба лише знайти такий тип помилки в локальному процесі, Zolint — перший кандидат для проби. Якщо треба віддати готовий клієнтський текст, порівняйте її з чинним способом на безпечному зразку: збережіть імена, суми, терміни й тон, а потім порахуйте помилкові правки та хвилини перевірки. Поки такого тесту немає, не переносіть місце WMT на підписки ChatGPT, Claude чи Gemini.

Що ще не встановлено

Опис Zolint і опис TUM-HN стосуються окремо навчених систем, а не стандартної Qwen3.5-2B у чаті. Стаття організаторів не дає порівняння за вартістю запуску, доступністю для звичайного користувача, редагуванням цілого документа чи часом виправлення. У математичному завданні 21,60% Zolint і 20,00% базової системи не розділяються за наведеним авторами статистичним ранжуванням. Інші вимірювання українського тексту →

Search published pools, pages, reports, and evidence.