Yandex сделал собственный аналог языковой модели GPT-3 от OpenAI — анонсы на Tproger

Поделиться

Компания Yandex представила новейший сервис — Зелибоба. Опробовать его может хоть какой желающий, а главной его задачей является демонстрация способностей языковой модели на базе Transformer, разработанной снутри компании.

Пример сделанной обслуживанием истории

На страничке проекта говорится, что главной задачей модели является генерирование «всякого следующего слова в предложении».

Для того, чтоб получившийся текст не представлял из себя набор несвязанных слов, она без помощи других, в процессе обучения, оценивает возможность использования тех либо других конструкций.

Представители Yandex’а заявили, что запоминать правила языка, а потом подбирать пригодные слова Зелибобе помогают характеристики, заложенные снутри языковой модели YaLM. Они по собственной сущности похожи на рычаги, которые помогают верно составляют итоговый текст.

Интенсив «3 денька машинного обучения: Python, нейросети и биткоин»

10–12 июня, Онлайн, Беcплатно

tproger.ru

Действия и курсы на tproger.ru

Сообщается, что в самой YaLM таковых «рычагов» от 1 до 13 миллиардов. В Зелибобе употребляется вариант с 3 миллиардов.

Для обучения языковой модели русской IT-корпорации использовались терабайты разных данных: от страничек на Википеди и новостных статей до открытых записей юзеров соц сетей и форумов.

UPD: Спустя около часа опосля выхода материала, Зелибоба закончил быть доступен. Может быть, Yandex допустил ранний анонс собственного сервиса.

Источник: tproger.ru

Поделиться с друзьями:
Андройд IT
Добавить комментарий