Переводчик видео в яндекс браузере

Эволюция перевода видео в Яндекс Браузере: от новых языков до интерактивных субтитров

В сентябре мы рассказывали Хабру о том, как наша команда помогает преодолевать языковой барьер с помощью перевода видео. Эта функция позволяет автоматически переводить видео так, чтобы зритель сразу слышал русскую речь. Пользователи встретили новую возможность тепло: ролики с переводом смотрят больше 200 тысяч раз в день.

С тех пор мы развиваем перевод видео. Не писали здесь про каждое изменение, потому что скромные по отдельности они не тянут на рассказ. Но сегодня воспользуюсь поводом и расскажу не только про свежую версию, в которую добавили перевод субтитров, но и про предыдущие обновления.

Осень: запуск перевода видео

Несколько слов о том, как вообще работает перевод видео. Если вы читали и запомнили наш предыдущий пост, то можно смело переходить к следующему разделу. Для всех остальных коротко напомним главное.

Для человека всё выглядит просто. Кликаешь по кнопке — слышишь перевод. Под капотом оно, конечно же, сильно сложнее. Перевод создаётся в несколько этапов, причём на каждом этапе за работу берётся своя нейросеть. Сначала Яндекс распознаёт речь в текст с указанием таймингов и спикеров (за это отвечает голосовая биометрия). Переводить такой текст сразу нельзя: он может быть нарезан не по границам предложений и абзацев. Только после предобработки в дело вступает наша технология машинного перевода. Ну а затем готовый перевод синтезируется в речь, причём с использованием разных голосов.

Обновить браузер интернет эксплорер

Онлайн переводчик видео Яндекс. Как смотреть любые английские видео на русском бесплатно.

Схематично это выглядит так:

Каждый этап — достаточно прожорливый с точки зрения вычислительных ресурсов. К счастью, у нас есть суперкомпьютеры (и пост про них на Хабре), поэтому перевод свежих роликов занимает не часы, а минуты или того меньше.

Зима: новые языки и качество

Первые результаты — это хорошо, но нужно двигаться дальше. Когда вы запускаете что-то новое, у вас бесконечное множество возможных путей развития. И выбрать дальнейший путь — уже непростая задачка. Кто-то просит новые языки, для других важно качество перевода текущих. Мы не стали выбирать: всю осень и зиму двигались в обоих направлениях.

Добавили поддержку немецкого, французского и испанского языков. Теперь ролики и на этих языках можно смотреть в закадровом переводе на русский. При этом мы не гонимся за количеством: при выборе новых языков для поддержки ориентировались не только на запросы пользователей, но и на итоговое качество результата.

Кроме того, продолжаем совершенствовать технологию. Наиболее значимые изменения:

  • Качество выросло: теперь наш переводчик допускает меньше ошибок, лучше удерживает контекст на протяжении ролика.
  • Синхронизация голоса стала точнее: перевод лучше подстраивается под длительность оригинальной озвучки, поэтому его проще воспринимать.
  • Скорость создания перевода увеличилась: при первом запуске перевод создаётся пока ещё не мгновенно, но уже быстрее.

Весна: субтитры и регулировка громкости

Другим популярным запросом со стороны пользователей оставались субтитры. Оно и понятно: не всегда получается смотреть видео со звуком, текстовые субтитры спасают в таких случаях. Технологически мы изначально переводим именно текст, а значит, оставалось научиться выводить перевод в субтитрах вместо звука. Но мы решили не идти простым путём и замахнулись на большее.

Как очистить кэш файрфокса

Наша цель — помочь людям преодолеть языковой барьер и узнать что-то новое. Перевод текста, картинок, видео в нашем Браузере — это лишь инструменты. Но лучший инструмент — это знание языка. Поэтому всё время существования как Яндекс Браузера, так и Яндекс Переводчика мы стараемся не просто переводить, но и помогать учить язык. Например, в Браузере можно переводить не только веб-страницы целиком, но и отдельные слова и фразы. По этой же причине в Переводчике вы видите не только перевод, но и примеры контекстного употребления тех или иных слов. В общем, мы решили сделать перевод субтитров полезным и для тех, кто уже знает язык, но хотел бы пополнить свой словарный запас и потренироваться в восприятии речи на слух.

Теперь, если вы включите субтитры на оригинальном языке, то сможете кликнуть на любое слово и увидеть его перевод.

Более того, мы дали возможность включить подсветку слов, которая синхронизируется с речью спикера в ролике. Эта опция поможет не терять смысл сказанного, что особенно важно для тех, кто изучает язык и пока ещё не владеет им достаточно уверенно.

Для тех, кому нужен только перевод, можно сразу выбрать сгенерированные нами субтитры на русском языке. Все настройки прячутся за кнопкой с тремя точками.

(Кстати, на скриншоте выше вы можете заметить возможность регулировать громкость оригинальной дорожки. По умолчанию мы и так приглушаем громкость оригинала, если включить голосовой перевод, но ряд пользователей просили нас о более персональной настройке.)

Сейчас опция доступна в Яндекс Браузере для Windows и macOS (версии для Linux, Android и iOS уже в работе). Поддерживается перевод субтитров на четырёх языках — английском, французском, немецком и испанском. Опция доступна для роликов на YouTube. В будущем поддержим и другие популярные сайты.

Как сменить почту на другую почту

На этом наша работа, конечно же, не останавливается. Продолжим смотреть как в сторону качества перевода, так и в сторону новых возможностей (к примеру, работаем над переводом прямых эфиров, но это пока секрет). Присылайте идеи!

Источник

Как перенести в Chrome, Firefox и Safari переводчик видео из «Яндекс.Браузера»?

Недавно в «Яндекс.Браузер» встроили интересную фишку — потоковый двухголосый перевод видео. Эта функция вызвала фурор, однако не все знают, что её можно установить на другие браузеры. Рассказываем, как это сделать.

Как перенести в Chrome, Firefox и Safari переводчик видео

Как работает перевод в «Яндекс.Браузере»

Внутреннее устройство переводчика подробно описывал сам «Яндекс». Мы же просто расскажем, как пользоваться системой. Реализовано всё так: браузер определяет видео на иностранном языке и предлагает автоматически его перевести. Популярные ролики ИИ озвучивает практически на лету, обычные клипы — из расчёта минута ожидания на 10 минут контента. Перевод двухголосый: мужских персонажей озвучивает мужской голос, женских — соответственно.

В настройках можно параллельно включить субтитры (есть как русский, так и язык оригинала), поменять громкость дорожки или включить подсветку слов. Помимо английского переводятся также французский, немецкий и испанский.

Качество перевода нетрудно оценить по этому видео:

Как перенести переводчик на другие браузеры?

Система работает практически везде — от Chrome до Edge и Firefox. Чтобы её поставить на другие браузеры, проделайте два шага:

  1. Установите расширение Tampermonkey. Для Safari оно платное, но можно поставить UserScripts.
  2. Затем откройте специальный скрипт. Нажмите на кнопку «Установить».

После этого в верхней части ролика должна появиться такая кнопка:

Как перенести в Chrome, Firefox и Safari переводчик видео

На других браузерах переводчик работает так же?

Не совсем, есть ряд ограничений:

Скрипт работает только с YouTube.

Нужно ждать создания перевода даже для популярных материалов.

Как закрепить вкладку в интернет эксплорер

Переводчик автоматически не заглушает речь оригинала — придётся делать это вручную.

Иногда встречаются баги.

Но в остальном — всё то же самое.

А вы уже опробовали переводчик видео в «Яндекс.Браузере»?

Источник
Рейтинг
Загрузка ...