Google chimera что это

Разработчики Google представили новый инструмент — Chimera Painter. Он использует машинное обучение для создания изображений на основе эскизов пользователей. По словам команды разработчиков, это всего лишь прототип, но если подобное ПО усовершенствуют, оно может сократить время, необходимое для создания высококачественного контента.

Читайте «Хайтек» в

Создание искусства для цифровых видеоигр требует высокой степени художественного творчества и технических знаний. А кроме того, художникам-геймерам требуется быстрая интеграция идей и создание большого объема данных, часто в сжатые сроки. В Google AI подумали, а что, если бы у художников была кисть, которая действовала не как инструмент, а как помощник? Модель машинного обучения, выступающая в роли такой кисти, сократит количество времени, необходимое для создания высококачественного искусства.

И сегодня инженеры Google представили инструмент Chimera Painter, обученную модель машинного обучения. Она автоматически создает полностью развернутый рендеринг из предоставленного пользователем контура нарисованного существа.

Chimera Painter; Google’s own AI to convert drawings into 3D art

Изначально исследователи поставили перед собой задачу создать иллюстрацию к вымышленной карточной игре в жанре фэнтези, в которой игроки объединяют черты разных монстров и сражаются с ними. Они обучили модель машинного обучения на базе данных из более чем 10 000 образцов монстров, которые сами частично сгенерированы с использованием 3D-моделей, отрисованных в Unreal Engine.

К каждому изображению прилагается «карта сегментации» — наложение, которое разделяет монстров на анатомические части, такие как когти, морды, ноги и так далее. Ниже приведен пример использования демонстрации с одним из предустановленных контуров существ.

После обучения модели на этих данных пользователи могут нарисовать свою собственную карту сегментации, которая затем будет визуализирована с использованием фотореалистичных текстур. Если вы загрузите Chimera Painter, увидите некоторых предустановленных монстров. Однако рисование одного из них требует больше времени и усилий, чем вы думаете.

Как перенести кампанию из Яндекса в Гугл

Читать также

Источник: hightech.fm

Chimera Painter от Google превращает ваши наброски в фантастических тварей. Но от мечты до кошмара один шаг

Chimera Painter от Google превращает ваши наброски в фантастических тварей. Но от мечты до кошмара один шаг

Исследователи Google создали инструмент для рисования, который позволяет людям нарисовать несуществующих животных из своих фантазий. Теперь пользователи соцсетей вовсю балуются с Chimera Painter — вот только иногда у них получается что-то странное.

Нейронные сети — это не только любимая игрушка многих программистов, но и инструмент, который может разорить художников и свести с ума политиков. Так, нейросеть Artbreeder создаёт портреты людей в разных стилях и техниках — и это отличный способ получить арты вымышленных персонажей бесплатно.

Could You Be a Chimera?

А технология DeepFake уже сейчас позволяет делать видео, которые запутывают и пугают людей. Один блогер снялся в ролике и продемонстрировал: его очки ненастоящие, его лицо ненастоящее, и даже его новое лицо — тоже.

На волне популярности нейросетей исследователи Google разработали инструмент Chimera Painter, который превращает наброски картин в трёхмерных животных с помощью машинного обучения. Разработчики обучили модель машинного обучения на базе данных из более чем 10 тысяч образцов монстров.

Во вторник, 17 ноября, разработчики анонсировали свой эксперимент в блоге Google AI и предложили пользователям интернета самим проверить инструмент в деле. Любой человек может воспользоваться демоверсией — для этого нужно перейти по ссылке.

На экране появятся два окна: в первом пользователь рисует свой набросок, во втором после нажатия оранжевой кнопки Transform («Превратить») появится 3D-версия задуманного монстра.

Chimera Painter от Google превращает ваши наброски в фантастических тварей. Но от мечты до кошмара один шаг

Для того чтобы нейросеть правильно преобразовала рисунок в модель с нужными текстурами, для создания каждой части тела животного нужно использовать соответствующую кисть со своим цветом. Например, рога обозначаются коричневым цветом, хвост — бежевым, а крылья — розовым. Кроме того, на сайт можно загрузить макет из Adobe Photoshop и раскрасить его соответствующими цветами.

Все функции Google data studio

Авторы Chimera Painter считают, что их инструмент пригодится для создания иллюстраций и при разработке видеоигр. Так, они сами уже использовали его для создания карточек для вымышленной фэнтези-игры.

Chimera Painter от Google превращает ваши наброски в фантастических тварей. Но от мечты до кошмара один шаг

Пользователи социальных сетей уже обратили внимание на сервис и протестировали его на своих выдуманных животных. Так, один художник из твиттера создал себе насекомое, похожее на смесь муравья со скорпионом и многоножкой. И остался доволен.

Yamino

С Chimera Painter можно весело поиграть!

А другой пользователь нарисовал себе динозавра, известного своими забавными гребнями на голове — дилофозавра.

Sagasol

Итак, я попытался сделать дилофозавра при помощи Chimera Painter.

Впрочем, надо отметить, что далеко не всегда желаемое становится действительным. Часто рисунки пользователей запутывают нейросеть и превращаются в довольно пугающих существ. Про это в Сети уже успели пошутить, вспомнив про флешмоб How it started VS How it’s going («Как это началось и как это продолжается»).

Petteri Johansson

Как это начиналось vs. как это продолжается #chimerapainter

В рамках этого флешмоба люди показывают, как поменялись они сами, их дома, хобби или, например, их отношения. Так, одна парочка показала свою историю, которая оказалась похожа на фильм «Виноваты звёзды». Правда, финал там вышел даже лучше, чем в кино.

А недавно своё преображение показала российская программистка. За четыре года девушка сменила не только должность, но и внешность. Ведь при рождении она была мужчиной.

Источник: medialeaks.ru

Google представила ИИ-редактор для создания фантастических химер

image

В Google AI продемонстрировали Chimera Painter, модель машинного обучения (ML), которая может рендерить изображения химер и других игровых существ по исходному контуру. Chimera Painter добавляет элементы и текстуры к контуру, разделенному метками частей тела, такими как «крылья» или «когти», когда пользователь нажимает кнопку «преобразовать».

Как удалить аккаунт Гугл из браузера Edge

При разработке модели машинного обучения в Google создали прототип цифровой карточной игры, основанный на концепции слияния существ в гибриды, которые затем могут сражаться друг с другом. Игрок начинает бы с карт реальных животных (например, аксолотля или кита) и может сделать их более могущественными путем комбинации (создавая химеру аксолотль-кит).

Поскольку целью было создание высококачественных изображений карт существ, разработчики экспериментировали с генеративными состязательными сетями (GAN). GAN объединяют две сверточные нейронные сети друг против друга: сеть генератора для создания новых изображений и сеть дискриминатора, чтобы определить, являются ли эти изображения образцами из обучающего набора данных (в данном случае изображениями, созданными художником). В варианте условного GAN, который был применен, генератор принимает отдельные входные данные для управления процессом создания изображения.

Чтобы обучить GAN, был создан набор данных из полноцветных изображений с однотипными очертаниями существ, взятыми из трехмерных моделей. Очертания характеризовали форму и размер, а также сегментацию, которая показывала отдельные части тела. После обучения модели ей поручили создать разные виды химер на основе схем, предоставленных художниками. Затем в Chimera Painter была включена самая эффективная модель.

image

Выше показаны некоторые образцы, сгенерированные с помощью модели.

image

Проблема с использованием GAN для создания химер заключалась в возможности потери обоснованности и логичности анатомической и пространственной структур при рендеринге тонких или малоконтрастных частей изображений, несмотря на то, что они имеют большое значение для восприятия (глаз, пальцев, перекрывающих друг друга частей тела с похожей текстурой). Создание химер потребовало нового нефотографического набора данных в стиле фэнтези с уникальными характеристиками, такими как драматическая перспектива, композиция и освещение.

Существующие репозитории иллюстраций не подходили для использования в качестве наборов данных для обучения модели.

Как посмотреть заметки на телефоне через Гугл аккаунт

Чтобы решить эту проблему, был разработан новый полуавтоматический подход под руководством художников для создания набора данных из трехмерных моделей существ.

Художники создавали или получали набор трехмерных моделей существ, по одной для каждого необходимого типа (например, гиен или львов). Затем они создали два набора текстур, которые были наложены на 3D-модель с помощью Unreal Engine: один с полноцветной текстурой (левое изображение, ниже), а другой с плоскими цветами для каждой части тела (например, головы, ушей, шеи, и т. д.), называемую «картой сегментации» (правое изображение ниже).

Этот второй набор сегментов частей тела был предоставлен модели во время обучения, чтобы гарантировать, что GAN узнает о структуре, формах, текстурах и пропорциях отдельных частей тела для различных существ.

3D-модели существ были помещены в простую 3D-модель с использованием Unreal Engine. Затем набор автоматических скриптов берет эту трехмерную сцену и интерполирует между различными позами, точками обзора и уровнями масштабирования для каждой из трехмерных моделей, создавая полноцветные изображения и карты сегментации, которые сформировали набор обучающих данных для GAN.

Используя этот подход, удалось сгенерировать более 10 тысяч пар изображение+карта сегментации для каждой трехмерной модели существа, сэкономив художникам миллионы часов времени по сравнению с созданием таких данных вручную (примерно по 20 минут на изображение).

У GAN было много различных крупных параметров, которые можно было настраивать, что приводило к разному качеству выходных изображений. Чтобы лучше понять, какие версии модели были лучше других, художникам были предоставлены образцы различных типов существ, созданных с помощью этих моделей, и их попросили выделить несколько лучших примеров. Отзывы об ощущении глубины, стиле в отношении текстур и реализме лиц и глаз использовали как для обучения новых версий модели уже после того, как она сгенерировала сотни тысяч изображений. Это позволило выбрать лучшее изображения из каждой категории существ.

Как сделать Гугл тетрадь

GAN настроили для этой задачи, сосредоточив внимание на компоненте функции потери восприятия. Он вычисляет разницу между двумя изображениями с использованием функций, извлеченных из отдельной сверточной нейронной сети (CNN), которая ранее была обучена на миллионах фотографий из набора данных ImageNet. Свойства извлекаются из разных слоев CNN, и к каждому из них применяется вес, который влияет на их вклад в окончательное значение потерь. Ниже приведены несколько примеров из GAN, обученных с разными весами воспринимаемых потерь.

image

Google считает, что демоверсия Chimera Painter избавит художников от необходимости рисовать десятки похожих существ с нуля. Вместо этого модель монстра будут прорабатывать последовательно, от версии к версии. Рисовать прямо в браузере необязательно: Chimera Painter принимает контур существа, созданный в Photoshop или любом другом редакторе изображений. Для этого рекомендуется использовать образец цветов на сайте.

  • google ai
  • ml
  • машинное обучение
  • искусственный интеллект в играх
  • рендеринг графики

Источник: habr.com

Рейтинг
Загрузка ...