Мінцифри спільно з Українським католицьким університетом та ініціативою lang-uk презентували Ukrainian LLM Leaderboard. Це перша відкрита національна платформа, яка об'єктивно вимірює, наскільки якісно великі мовні моделі володіють українською мовою.
Про це йдеться у повідомленні Мінцифри.
Об'єктивність даних
До сьогодні розробникам та бізнесу доводилося обирати нейромережі практично наосліп, покладаючись виключно на презентації світових корпорацій. Проблема полягала в тому, що глобальні рейтинги тестували штучний інтелект переважно англійською, а українську мову перевіряли через машинний переклад. Це приховувало реальні граматичні помилки, російські кальки чи навіть генерування фейків про Україну. Але тепер завдяки використанню Ukrainian LLM Leaderboard користувачі можуть спиратися на чіткі дані, а не на неперевірені припущення.
Як саме тестують нейромережі?
Експерти платформи перевіряють алгоритми на завданнях, які максимально відтворюють реальні умови використання. Штучному інтелекту дають завдання із перекладу текстів, стислого переказу великих обсягів друкованого матеріалу, пошуку відповідей в документах, а також розв'язування складних логічних й математичних задач.
Крім того, нейромережі мають складати тести зі шкільної програми на рівні ЗНО. Аби забезпечити максимальну прозорість, усі результати, вихідний код і дані відкрили для вільного доступу на платформі HuggingFace.
Плани на майбутнє
На досягнутому команда проєкту зупинятися не планує. У перспективі функціонал лідерборду суттєво розширять: туди додадуть перевірку роботи із зображеннями, оцінку етичності відповідей та аналіз вартості використання ШІ українською мовою. Окрему увагу розробники планують приділити потребам державного сектору, ретельно тестуючи, наскільки безпечно мовні моделі працюють із персональними даними та наскільки якісно вони опрацьовують офіційні нормативні тексти.
Нагадаємо, раніше Abiznes писало про те, що Дія.Освіта інтегрувала штучний інтелект у процес пошуку роботи.