«Яндекс» научился «на лету» переводить онлайн-трансляции на YouTube. Видео
В браузере «Яндекса» появилась функция синхронного перевода прямых эфиров. Пока что функция работает только на YouTube и лишь на нескольких каналов, но разработчики трудятся над ее развитием. В планы входит реализация поддержки различных стриминговых платформ. Сервис доступен исключительно в «Яндекс браузере» для настольных ПК.
Иностранные языки можно не учить
Представители «Яндекса» сообщили CNews о запуске нового сервиса синхронного перевода прямых онлайн-трансляций. Он позволяет смотреть прямые эфиры на иностранных каналах и понимать, о чем в них говорится, не зная ни единого слова на оригинальном языке трансляции.
На момент публикации материала новый сервис «Яндекса» работал в режиме бета-тестирования, но, при этом открытого. Это означает, что любой пользователь может испытать его возможности. В этом плане есть лишь одно ограничение – функция работает исключительно в «Яндекс браузере» версии 22.7.2 или новее для Windows и macOS. Сторонние обозреватели, как и мобильная версия браузера «Яндекс», пока не поддерживаются.
Перевод видео в Яндекс.Браузере полное Честный обзор.
На вопрос CNews о сроках завершения бета-тестирования представители «Яндекса» ответили: «Как долго продлится открытое бета-тестирование на этом этапе сложно сказать, это достаточно непредсказуемый процесс. Сейчас наша задача – понять, как технология работает “в бою”».
Нововведение, к слову, может пригодиться уже в начале осени 2022 г. На этот период у Apple запланирована презентация новинок, которая, с высокой долей вероятности, не получит российских субтитров – компания в спешке бежала из России еще в марте 2022 г.
Как все устроено
В основе нового сервиса «Яндекса» лежит та же нейросеть, которая используется для перевода заранее записанных онлайн-роликов. Как сообщал CNews, эта возможность появилась в браузере «Яндекса» летом 2021 г.
Для перевода именно прямых трансляций разработчикам пришлось существенно модернизировать свою нейросеть. «В случае с записанными роликами нейросеть получает всю аудиодорожку целиком, а значит, обладает полным контекстом, что облегчает задачу, – сообщили CNews представители «Яндекса». – Работа с переводом прямой трансляции строится совершенно иначе: одна нейросеть распознает аудио и превращает его в текст буквально на лету, другая – определяет пол спикера по биометрии. Но самое сложное – это следующий этап. Третья нейросеть расставляет знаки препинания и выделяет из текста смысловые фрагменты – части, которые содержат законченную мысль. Именно их забирает еще одна нейросеть, отвечающая за перевод, который сразу синтезируется на русском языке.
Все впереди
На момент запуска сервиса «Яндекса» по синхронному переводу веб-трансляций он поддерживал исключительно прямые эфиры на YouTube. Представители «Яндекса» сообщили CNews, что в их планы входит обучение сервиса работе с другими стриминговыми площадками, включая очень популярную среди геймеров Twitch, но не уточнили, когда именно следует ожидать этих нововведений. «Мы планируем запустить перевод стримов и платформе Twitch, но это требует много времени на разработку. Это произойдет не раньше следующего года», – сказали CNews в «Яндексе».
В настоящее время нейросеть «Яндекса» наряду с английским поддерживает еще несколько основных языков мира. Это итальянский, испанский, немецкий и французский. В обозримом будущем появится поддержка еще нескольких европейский языков, плюс разработчики смотрят еще и в сторону Азии – нейросеть будет обучена переводу как минимум с китайского и японского языков. Сроки реализации этих планов представители «Яндекса» CNews раскрыли. «Скоро мы начнем тестировать новые пары языков (азиатские), но пока не можем точно сказать, когда они будут доступны для всех пользователей», – сказали они.
Также следует отметить наличие ограничений на количество поддерживаемых каналов. В настоящее время нельзя подключиться к прямому эфиру начинающего и пока никому неизвестного иностранного стримера и тут же получить синхронный перевод его речи.
Пока что новый сервис «Яндекса» работает с 17 каналами, в основном американскими или английскими. Они разделены на категории «Интервью со звездами», «Технологии», «Бизнес», «Обучение», «Космос, и Gaming News.
Симбиоз сервисов «Яндекса»
Сам по себе новый сервис можно считать новым поколением знакомого многим «Яндекс переводчика». Этот проект существует с 2011 г. 11 лет назад он понимал только русский, украинский и английский языки, теперь же в его «портфолио» свыше 90 языков мира.
В возрасте пяти лет «Переводчик» освоил навык по распознаванию текста на картинках при помощи компьютерного зрения. В апреле 2021 г. «Яндекс» интегрировал эту функцию в собственный браузер.
Сам браузер «Яндекса» совсем скоро отметит свое десятилетие. Его премьера состоялась 1 октября 2012 г. За эти годы он стал вторым по популярности в России – в июле 2022 г. его доля российского рынка составляла 16,28% против 55,9% у Google Chrome (данные StatCounter). Позади него находились Apple Safari (10,43%), Opera (6,99%) и Firefox (4,62%).
ИсточникВ Яндекс.Браузер внедрили машинный перевод видеороликов
Яндекс объявил о работе над сервисом машинного перевода видео с одного языка на другой. Это позволит пользователям смотреть ролики в браузере с закадровым переводом. Прототип сервиса уже представлен, пока он переводит видео только с английского языка.
Как объяснили в компании, ее технология объединяет разработки «Яндекс.Переводчика», биометрии, распознавания и синтеза речи. Сервис машинного перевода сначала определяет пол говорящего, а затем подбирает соответствующий голос. Алгоритм отслеживает темп речи говорящего, за счет чего переводчик делает паузы, замедляет или ускоряет речь, чтобы закадровый голос совпадал с картинкой.
Перевод доступен в Яндекс.Браузере для Windows и macOS. Разработчики обещают, что скоро пользователи смогут выбирать, какие ролики переводить с помощью нового сервиса.
«В интернете очень много полезного контента, который недоступен людям из-за языкового барьера. И мы близки к тому, чтобы окончательно стереть все границы. Мы тоже в начале пути, но у нас уже есть прототип и понимание, куда двигаться дальше», — говорит руководитель направления обработки естественного языка в «Яндексе» Дэвид Талбот.
В 2017 году Яндекс начал задействовать технологии на искусственном интеллекте при переводе текстов. Тогда к статистической модели, которая была в «Переводчике» с момента запуска, добавили технологию перевода с помощью нейросети. Компания объясняла, что ее технология не разбивает текст на отдельные слова, а рассматривает его целиком, чтобы лучше передать смысл.
В июне Яндекс открыл доступ к нейросети «Балабоба» для всех пользователей. Она работает на языковой модели из семейства YaLM (Yet another Language Model). Эта модель помогает нейросети запоминать правила языка, выбирать подходящие слова и связывать их по смыслу. У «Балабобы» нет своего мнения, она выдает случайные продолжения и может закончить историю, придумать подпись или написать небольшой рассказ.
Источник