Поделиться
Языковую модель ruRoberta-large finetune, разработанную в SberDevices, признали наилучшей по осознанию текста в рамках головного бенчмарка по оценке текстовых моделей Russian SuperGLUE.
В рейтинге модель «Сбера» уступила лишь человеку. В 10-ку фаворитов также вошли ещё 4 модели компании.
Модель ruRoBERTa повторяет архитектуру BERT и употребляет токенизацию от нейросети ruGPT-3 — русского аналога GPT-3, который тоже разработала SberDevices. Она 3 недельки училась на суперкомпьютере «Кристофари».
Источник: Код Дурова
Источник: