Яндекс браузер переводит видео

В сентябре мы рассказывали Хабру о том, как наша команда помогает преодолевать языковой барьер с помощью перевода видео. Эта функция позволяет автоматически переводить видео так, чтобы зритель сразу

В Яндекс.Браузере появился переводчик видео с английского на русский. Работает в реальном времени

Яндекс представил технологию автоматической переозвучки видео с помощью машинного перевода, технологии биометрии, распознавания и синтеза речи.

Нововведение уже ввели в Яндекс.Браузер. Функция переводит озвучку на иностранном языке на русский. Пока в прототипе доступен только перевод с английского, но в будущем добавят и другие языки.

Разработчики опробовали технологию с роликами на разные темы: изменение климата, машинное обучение, история Плутона. Посмотреть видео с закадровым переводом можно через Яндекс.Браузер по этой ссылке. Позднее пользователи сами смогут выбирать видео.

Перевод видео в Яндекс.Браузере полное Честный обзор.

С помощью биометрии система определяет пол говорящего и подбирает ему соответствующий голос. Специальный алгоритм следит за темпом речи и старается ему соответствовать.

Перевод видео в « Яндекс. Браузере » в реальном времени: как это работает. « Яндекс. Браузер » в 2021 году получил крупное обновление, после которого в программе появилась функция автоматического перевода и озвучки прямо в видео. Расскажем, как это работает и как пользоваться новой фичей вашего браузера. Артур Климентьев. Теги Российская компания « Яндекс » в июне 2021 года серьезно обновила свой « Яндекс. Браузер », который получил уникальную функцию перевода видео в режиме реального времени и озвучки его нейросетями. Пока перевод доступен только с английского языка, но в дальнейшем их количество должно увеличиться. 0. Реклама – продолжение ниже.

Эволюция перевода видео в Яндекс Браузере: от новых языков до интерактивных субтитров

В сентябре мы рассказывали Хабру о том, как наша команда помогает преодолевать языковой барьер с помощью перевода видео. Эта функция позволяет автоматически переводить видео так, чтобы зритель сразу слышал русскую речь. Пользователи встретили новую возможность тепло: ролики с переводом смотрят больше 200 тысяч раз в день.

С тех пор мы развиваем перевод видео. Не писали здесь про каждое изменение, потому что скромные по отдельности они не тянут на рассказ. Но сегодня воспользуюсь поводом и расскажу не только про свежую версию, в которую добавили перевод субтитров, но и про предыдущие обновления.

Осень: запуск перевода видео

Несколько слов о том, как вообще работает перевод видео. Если вы читали и запомнили наш предыдущий пост, то можно смело переходить к следующему разделу. Для всех остальных коротко напомним главное.

Для человека всё выглядит просто. Кликаешь по кнопке — слышишь перевод. Под капотом оно, конечно же, сильно сложнее. Перевод создаётся в несколько этапов, причём на каждом этапе за работу берётся своя нейросеть. Сначала Яндекс распознаёт речь в текст с указанием таймингов и спикеров (за это отвечает голосовая биометрия). Переводить такой текст сразу нельзя: он может быть нарезан не по границам предложений и абзацев. Только после предобработки в дело вступает наша технология машинного перевода. Ну а затем готовый перевод синтезируется в речь, причём с использованием разных голосов.

Схематично это выглядит так:

Каждый этап — достаточно прожорливый с точки зрения вычислительных ресурсов. К счастью, у нас есть суперкомпьютеры (и пост про них на Хабре), поэтому перевод свежих роликов занимает не часы, а минуты или того меньше.

Зима: новые языки и качество

Первые результаты — это хорошо, но нужно двигаться дальше. Когда вы запускаете что-то новое, у вас бесконечное множество возможных путей развития. И выбрать дальнейший путь — уже непростая задачка. Кто-то просит новые языки, для других важно качество перевода текущих. Мы не стали выбирать: всю осень и зиму двигались в обоих направлениях.

Добавили поддержку немецкого, французского и испанского языков. Теперь ролики и на этих языках можно смотреть в закадровом переводе на русский. При этом мы не гонимся за количеством: при выборе новых языков для поддержки ориентировались не только на запросы пользователей, но и на итоговое качество результата.

Кроме того, продолжаем совершенствовать технологию. Наиболее значимые изменения:

• Качество выросло: теперь наш переводчик допускает меньше ошибок, лучше удерживает контекст на протяжении ролика.
• Синхронизация голоса стала точнее: перевод лучше подстраивается под длительность оригинальной озвучки, поэтому его проще воспринимать.
• Скорость создания перевода увеличилась: при первом запуске перевод создаётся пока ещё не мгновенно, но уже быстрее.

Весна: субтитры и регулировка громкости

Другим популярным запросом со стороны пользователей оставались субтитры. Оно и понятно: не всегда получается смотреть видео со звуком, текстовые субтитры спасают в таких случаях. Технологически мы изначально переводим именно текст, а значит, оставалось научиться выводить перевод в субтитрах вместо звука. Но мы решили не идти простым путём и замахнулись на большее.

Наша цель — помочь людям преодолеть языковой барьер и узнать что-то новое. Перевод текста, картинок, видео в нашем Браузере — это лишь инструменты. Но лучший инструмент — это знание языка. Поэтому всё время существования как Яндекс Браузера, так и Яндекс Переводчика мы стараемся не просто переводить, но и помогать учить язык. Например, в Браузере можно переводить не только веб-страницы целиком, но и отдельные слова и фразы. По этой же причине в Переводчике вы видите не только перевод, но и примеры контекстного употребления тех или иных слов. В общем, мы решили сделать перевод субтитров полезным и для тех, кто уже знает язык, но хотел бы пополнить свой словарный запас и потренироваться в восприятии речи на слух.

Теперь, если вы включите субтитры на оригинальном языке, то сможете кликнуть на любое слово и увидеть его перевод.

Более того, мы дали возможность включить подсветку слов, которая синхронизируется с речью спикера в ролике. Эта опция поможет не терять смысл сказанного, что особенно важно для тех, кто изучает язык и пока ещё не владеет им достаточно уверенно.

Для тех, кому нужен только перевод, можно сразу выбрать сгенерированные нами субтитры на русском языке. Все настройки прячутся за кнопкой с тремя точками.

(Кстати, на скриншоте выше вы можете заметить возможность регулировать громкость оригинальной дорожки. По умолчанию мы и так приглушаем громкость оригинала, если включить голосовой перевод, но ряд пользователей просили нас о более персональной настройке.)

Сейчас опция доступна в Яндекс Браузере для Windows и macOS (версии для Linux, Android и iOS уже в работе). Поддерживается перевод субтитров на четырёх языках — английском, французском, немецком и испанском. Опция доступна для роликов на YouTube. В будущем поддержим и другие популярные сайты.

На этом наша работа, конечно же, не останавливается. Продолжим смотреть как в сторону качества перевода, так и в сторону новых возможностей (к примеру, работаем над переводом прямых эфиров, но это пока секрет). Присылайте идеи!

« Яндекс » показал прототип закадрового перевода видео в июле, но тогда он работал на ограниченном списке роликов и только в десктопном « Яндекс. Браузере ». Теперь пользователи могут перевести почти любое записанное видео на английском языке на YouTube, Vimeo, TikTok, Twitter, Facebook и «ВКонтакте». Ограничения действуют на лицензионный контент — например, сериал Netflix сервис не переведёт. Перевод доступен в « Браузере » для Windows, macOS, Linux и Android и в приложении « Яндекс » для Android и iOS. Чтобы посмотреть видео в русской озвучке, нужно нажать на кнопку в плеере — процесс перевода занимает несколько минут, после чего пользователь получит уведомление.

Перевод видео в «Яндекс.Браузере» в реальном времени: как это работает

«Яндекс.Браузер» в 2021 году получил крупное обновление, после которого в программе появилась функция автоматического перевода и озвучки прямо в видео. Расскажем, как это работает и как пользоваться новой фичей вашего браузера.

Вам не нужно ждать озвучки новой серии любимого сериала, ведь теперь ее может озвучить браузер

Российская компания «Яндекс» в июне 2021 года серьезно обновила свой «Яндекс.Браузер», который получил уникальную функцию перевода видео в режиме реального времени и озвучки его нейросетями. Пока перевод доступен только с английского языка, но в дальнейшем их количество должно увеличиться.

Как работает перевод в реальном времени в «Яндекс.Браузере»?

Для реализации функции «Яндекс» использовал технологию «Переводчика», речевые технологии и биометрию. Биометрия помогает специально созданной для новой функции нейросети определить пол говорящего, что позволяет подобрать более точный перевод и голос для озвучки.

С каждым днём в интернете становится всё больше интересного и полезного видео: от развлекательных шоу до образовательных курсов. При этом большая часть материалов выходит на иностранных языках и недоступна пользователям из России из-за языкового барьера. Мы близки к тому, чтобы снять этот барьер, и представляем вам первую версию машинного перевода видео, – заявляют в «Яндексе».

Важно отметить, что нейросети научились создавать полноценный закадровый дубляж видео. Искусственный интеллект умеет ускоряться и замедляться в произношении фраз, а также делать паузы, чтобы перевод был максимально синхронным. Сегодня уже даже существуют нейросети, способные изменить движения губ человека на видео — такую технологию планируют использовать при озвучке фильмов.

Как включить функцию перевода в реальном времени в «Яндекс.Браузере»?

Перевод сегодня доступен в «Яндекс.Браузере» для Windows и macOS. Чтобы его включить, надо запустить любое видео, навести на него курсор и найти в верхней части панели значок «Яндекс.Переводчика» в одном ряду со значком, позволяющим открыть видео в отдельном окне.

После нажатия автоматический голосовой перевод включится сам и вы сможете наслаждаться (мы надеемся) сгенерированной нейросетью многоголосой озвучкой.

Яндекс перевод видео в реальном времени с английского на русский онлайн нейросеть Yandex = Как отвязать Айфон от Apple id. Как удалить iCloud на iPhone. Автор: "Возможно Всё" Лаборатория Знаний. Как включить перевод видео Яндекс браузере. Яндекс перевод видео в реальном времени с английского на русский онлайн нейросеть Yandex =. = Как отвязать Айфон от Apple id.