Компания Google представила сопроцессор Edge TPU, предназначенный для аппаратного ускорения работы натренированных нейросетевых моделей. Инженеры компании также разработали два готовых устройства на базе процессора — одноплатный компьютер, а также USB-модуль для подключения к другим компьютерам.
Поскольку обучение нейросетевых алгоритмов требует больших вычислительных ресурсов, часто этот этап проводят на облачных или локальных серверах, которые позволяют быстро тренировать алгоритм на большом объеме данных. Но даже применение уже обученной нейросетевой модели на устройствах пользователей может представлять собой проблему. С одной стороны, устройства не всегда подключены к интернету и могут передавать обработку данных на облачные сервера, а с другой, многие распространенные компьютеры не обладают достаточной мощностью для того, чтобы проводить обработку данных нейросетевыми алгоритмами в реальном времени. Из-за этого многие технологические компании стали разрабатывать специализированные вычислительные устройства для аппаратного ускорения работы нейросетевых алгоритмов.
Google® Edge TPU Dev Board Kit demo built with i.MX 8M Applications Processo
Google также занимается разработкой подобных устройств. На конференции I/O в 2016 году компания представила первое поколение своего тензорного процессора (TPU), а на двух последующих конференциях представляла его новые версии. Google использует их только в своем облачном сервисе, предназначенном для обучения и выполнения нейросетевых алгоритмов. Теперь компания представила отдельный сопроцессор Edge TPU для аппаратного ускорения уже обученных алгоритмов в конечных устройствах. Он представляет собой интегральную схему специального назначения (ASIC), оптимизированную для эффективного выполнения нейросетевых алгоритмов.
Компания не раскрывает технических подробностей сопроцессора, но в качестве примера рассказала, что он сможет в реальном времени проводить обработку видео высокого разрешения с частотой 30 кадров в секунду, используя для этого несколько часто применяемых нейросетевых моделей. В качестве основного предназначения сопроцессора Google видит умные датчики, которые смогут не только собирать данные для передачи их более мощному устройству, но и самостоятельно проводить первичную обработку и принимать решения.
Google представила не только сам чип, но и два готовых устройства на его основе. Одно из них представляет собой одноплатный компьютер с расширением, в котором установлены процессор NXP i.MX 8M, сопроцессор Edge TPU и другие компоненты. Он оснащен множеством портов для подключения дополнительных устройств и предназначен для применения в качестве полноценного компьютера для работы различных аппаратов и прототипов. Кроме того, Google представила устройство, которое также содержит в себе Edge TPU, но выступает в качестве модуля для аппаратного ускорения, подключаемого к другим к компьютерам через USB. Например, на его корпусе есть отверстия, совместимые с монтажными отверстиями одноплатного компьютера Raspberry Pi Zero.
Оба устройства предназначены для работы с фреймворком машинного обучения TensorFlow Lite, разработанным Google для выполнения нейросетевых алгоритмов на мобильных устройствах. Также они поддерживают операционные системы Linux и Android Things. Устройства разработаны в рамках проекта AIY, ориентированного на любительские проекты с использованием машинного обучения. Ранее компания представила два первых устройства в этом проекте — картонные наборы для распознавания голосовых команд и распознавания образов с помощью камеры.
Google and NXP advance artificial intelligence with the Edge TPU
Источник: nplus1.ru
Русские Блоги
Google Edge TPU Специальный чип рождается! Возьмите IOT, хотите иметь реальные связанные реки и озера
Результат до сих пор до сих пор до сих пор до сих пор опубликован. разработка.
Возможно, что будущее Google Edge TPU в интернете вещей и огромное использование интеллектуальных терминальных устройств, а также влияние на интернет вещей чип.
Принесите машину к краю, сэкономьте деньги! Сэкономьте время!
Сегодня Google объявляет о двух новых продуктах, которые были разумно разработаны и развернуты, чтобы помочь клиентам: Edge TPU Новый аппаратный чип и Cloud IoT Edge Стек программного обеспечения, который расширяет мощную функцию AI Google Cloud на шлюз и устройство подключения. Пользователи могут построить и обучать моделей ML на облаке, а затем запускают эти модели на устройстве Cloud IoT Edge через Edge TPU аппаратный ускоритель.
Edge TPU — Google Специальный асический чип Предназначен для запуска модели Tensorflow Lite ML на краю. При разработке Edge TPU мы очень ориентированы на оптимизацию в небольшом размещении. Представление «с участием» Представление ”。
Edge TPU предназначен для дополнения Google Cloud TPU, чтобы вы могли ускорить ML тренировок в облаках, а затем выполнять быстрое рассуждение на краю. Ваш датчик — это не только сбор данных — они могут совершать местные, в режиме реального времени, интеллектуальные решения.
Edge TPU чип размер, по сравнению с монетой доллара
Согласно блогу Google, The Edge TPU имеет следующие действия:
Край ай
Сегодня от потребителей до корпоративных приложений AI везде. С взрывоопасным ростом соединительной техники плюс необходимость конфиденциальности / конфиденциальности, ограничений низкой задержки и пропускной способности, модель AI, обученная облаками, необходимо запускать на краю. Edge TPU — это выделенный ASIC, предназначенный для Google для бега AI на краю. Он обеспечивает высокую производительность под небольшим физическим занятостью и низким энергопотреблением, так что можно развернуть высокоточную Ai на краю.
Случайная инфраструктура AI
Edge TPU — это дополнение к облачному TPU и облачным службам Google, предоставляя коннентную, облачную, аппаратно-программную инфраструктуру для облегчения развертывания решения на основе AI.
Небольшая физическая профессия и низкое энергопотребление
Из-за его высокой производительности физическая занятость мала, энергопотребление низкое, а край ТПУ может развернуть высокое качество Ai в край.
Совместное проектирование оборудования AI, программного обеспечения и алгоритма
Edge TPU — это больше, чем просто аппаратное решение, которое сочетает в себе пользовательское оборудование, открытое программное обеспечение и самые современные алгоритмы AI для обеспечения высокого качества и простого развертывания решений AI для краев.
Обширное применение
Edge TPU имеет много промышленного использования, такое как прогнозное обслуживание, ненормальное обнаружение, машинное зрение, робот, распознавание речи и многое другое. Там широко используется в производстве, внутреннем развертывании, медицинской, розничной торговле, смарт-пространстве, транспортировке и других областях.
Сравнение пограничного TPU и облачного TPU: в настоящее время край используется только для рассуждения
Edge TPU поддерживает предельное развертывание высокого качества ML рассуждений. Он расширяет облачный TPU Google и Cloud IoT, чтобы обеспечить конец-конец (облачный, аппаратный + программное обеспечение) инфраструктуру для облегчения развертывания наших клиентов на основе AI. В дополнение к откровенным источникам Tensorflow Lite Scarments, Edge TPU первоначально развертывает несколько моделей Google AI и сочетает в себе опыт Google в AI и оборудоте.
Edge TPU дополняет CPU, GPU и другие асики для работы AI на краю, который будет поддерживаться краем облачного IoT.
Сравнение краевого TPU и облачного TPU
- Edge TPU можно использовать для ML рассуждение Не применимо к обучению; облачный TPU можно использовать для ML Обучение и рассуждение
- Программное обеспечение и обслуживание ASPECT, EDGE TPU подходит для Cloud IoT Edge и Android-вещей; Облачное TPU доступному программному обеспечению включает в себя двигатель ML ML, двигатель Kubernetes, Google Compute Engine и COUND IOT CORE, CORE IOT IOT
- ML рама : Edge TPU Вы можете использовать Tensorflow Lite, NN API; облако ТПУ может использовать Tensorflow, Scikit-Survey, Xgboost, Keras
- Аппаратный ускоритель : Edge TPU включает в себя Edge TPU, GPU, CPU; Cloud TPU включает облако TPU, GPU и CPU
Edge TPU особенности
Edge TPU позволяет пользователям выполнять несколько современных моделей AI на каждом кадре в видео с высоким разрешением с эффективным способом.
Запустите опорное программное обеспечение Cloud IoT Edge
Cloud IoT Edge — это программное обеспечение, которое расширяет мощные возможности обработки данных и машинного обучения Google Cloud на Gateways, Cameras и терминальные устройства, позволяющие Интернет применить более умные, безопасные и надежные. Это позволяет вам выполнять ML модели, обученные в Google Cloud на Edge TPU или GPU и CPU на основе CPU Colectery.
Край облачного IOT может работать на устройствах Android или на основе Android или устройств на основе Linux, ключевые компоненты которых включают в себя:
- Шлюз устройстваruntime (По крайней мере, один CPU), локальное хранилище, преобразование и обработка для краевых данных, а также приобретение от данных, в то время как бесшовная совместимость с остальной частью платформы облачного IOT.
- Edge IoT Core runtime Сделайте более безопасные краевые устройства для облака, поддержки программного обеспечения и обновлений прошивки и обменяются через данные управления Cloud IoT.
- Edge ML Runtime на основе Tensorflow Lite Используя предварительно обученную модель для выполнения локальных рассуждений ML, значительно снижают универсальность задержки и увеличьте краевое устройство. Поскольку Edge ML проходит с интерфейсом Tensorflow Lite, он может выполнять рассуждение ML на CPU, GPU или Edge TPU в устройстве класса шлюза или выполнить ML рассуждению в терминальном устройстве (например, камеру).
Запустил Keb Edge TPU Kit для дальнейшего блокировки разработчиков в экосистеме Google
Чтобы быстро начать разработку и тестирование, используя Edge TPU, мы создаем комплект для разработки (Edge TPU набор для разработки TPU). Этот комплект включает в себя модульную систему (SOM), коллекцию Google Edge TPU, NXP CPU, Wi-Fi и компонентов безопасности Microchip. Комплект разработки будет открыт для разработчиков в октябре этого года, или вы можете заранее зарегистрировать приложение.
Edge TPU Комплект развития: SOM (ON) и нижние пластины (ниже)
AIY EDGE EDGE TPU Развитие Спецификации:
◇ Edge TPU модуль (SOM) Спецификация
• ЦП: NXP I.MX 8M SOC (Quad-Core Cortex-A53, Cortex-M4F)
• GPU: GC7000 Lite Графический процессор
• ML ускоритель: Google Edge TPU
• Беспроводной: Wi-Fi 2×2 MIMO (802.11B / G / N / AC 2.4 / 5 ГГц); Bluetooth 4.1
• Размеры: 40 мм * 48 мм
◇ Спецификации нижней пластины
• USB: Type-C OTG, POWER типа C, тип A 3.0 • Хост, последовательный порт Microsb
• LAN: Gigabit Ethernet Port
• Аудио: 3,5 мм аудиоразъем, цифровой микрофон PDM (X2); 2,54 мм 4 игольчатый клемма для стереодинамики
• Видео: HDMI 2.0A (полный размер), разъем FFC MIPI-DSI-39 (4-лейн), MIPI-CSI2-24 PIN-код FFC Connector (4-летие)
• GPIO: интерфейс расширения 40PIN
• Мощность: 5 В постоянного тока (USB Type-C)
• Размеры: 85 мм * 56 мм
◇ Поддержка операционной системы: Debian Linux, Android-вещи
◇ Рамка обучения глубины поддержки: Tensorflow Lite
Осторожно подметите хорошо ~
Если вы чувствуете себя хорошо, пожалуйста
Вперед
Вперед
Вперед
Источник: russianblogs.com
Что внутри у Google Coral Edge TPU: тесты на скорость и разбор устройства
В 2019 году Google, наконец, выпустила оборудование с TPU под брендом Coral, которое можно купить. Однако не такие мощные облачные сети для обучения типа BigGAN со своими 100 петафлопс/с, и даже не такие, как самые дешёвые 180 TFlop/s v2 TPU, которые можно арендовать за $4,5 в час. Эти TPU-устройства должны работать «на краю», то есть, обеспечивать возможность внедрения решений с глубинным обучением для малых устройств без доступа к интернету. Насколько же хороши будут те TPU, которые мы сможем купить?
В спецификации текущих продуктов их скорость указана, как 4 TOPs (тераопераций в секунду). Это не стандартные устройства с поддержкой операций с 32-битными числами с плавающей запятой, поскольку tensorflow-lite, работающий на этих устройствах, использует 8-битную арифметику с фиксированной запятой.
Также вы не найдёте у них такой полосы пропускания для памяти, как на облачных TPU или GPU. «Краевые» TPU подсоединяются к устройствам через USB 3.0 или по шине mPCIe 2-го поколения, поэтому скорость ограничится 500-640 МБ/с. Конечно, поскольку на таком устройстве есть всего 8 МБ SRAM, на передачу данных на или с устройства уйдёт не более 16 мс, а у модели, которую мы тестировали для написания этой статьи, на это ушло всего 10 мс. Вы не будете страдать от нехватки памяти, поскольку эти устройства не предназначены для обучения с нуля. Однако на этом устройстве можно обучить последний слой модели. Основной смысл использования краевых TPU – построение логических заключений, и именно так я буду проверять скорость данного устройства.
Самое закрытое из устройств типа Coral Edge TPU вышло в марте 2019, и именно с ним мне удалось поиграться. Это один из прототипов Coral, хотя по документам у него абсолютно такая же производительность, как у выпущенных плат с mPCIe. С USB 3.0 проблем не возникает, но если вам не хочется возиться с внешним донглом, можно поставить в разъём платы M.2 Accelerator A+E вместо WiFi-карты:
Слева: моя WiFi-карта в ноутбуке. Справа: ускоритель M.2 A+E, вставляющийся в такой же слот.
И что же находится внутри краевого TPU-ускорителя размером 30 мм х 65 мм и стоимостью в $75? Может ли там быть mPCIe-ускоритель размером 30 мм х 22 мм за $35 с USB-адаптером и радиатором? Можем ли мы аккуратно вскрыть коробку из пластика и металла?
Передняя и задняя часть Edge TPU
Пластиковый корпус можно открыть без особых проблем, благодаря очень жёсткому радиатору. Сам радиатор можно снять, открутив 4 винта.
Задняя часть устройства со снятым пластиковым кожухом, с радиатором и без, и сам радиатор
Ответ на поставленный выше вопрос: нет, не буквально, но платы весьма схожи:
Рабочая сторона Coral Edge TPU. Справа – ускоритель M2 A+E и отдельный TPU-чип на одноцентовой монете
Чипы, касающиеся радиатора – это, вероятно, TPU (покрупнее) и память. Собрав Edge TPU обратно, я провёл собственные тесты на скорость, хотя тесты от Google говорят о 10- и даже 20-кратном ускорении работы по сравнению с CPU.
Пример с сайта Coral для распознавания объектов можно запускать и на CPU, и на TPU. Я подсоединяю это устройство к своему Acer Chromebook 11 с Galium OS 2.1, которая достаточно похожа на Debian для того, чтобы можно было без проблем установить tf-lite и программу для работы с TPU. Модели MobileNetV2 SSDLite для распознавания объектов занимают менее 7 МБ и работают с изображениями размером 300х300.
На TPU одно изображение обрабатывается за 20 мс (+10 мс на однократное копирование изображения). На моём ноутбуке с процессором Intel Celeron 2.16GHz CPU 2014 года изображение обрабатывается за 1500 мс. На другом ПК, с процессором Intel Xeon 2.5 GHz CPU (который в 15 раз быстрее моего по данным cpubenchmark.net), изображение обрабатывается за 130 мс (при потреблении в 210 Вт!). По данным cpubenchmark.net, самый быстрый CPU из доступных будет в 3 раза быстрее этого: и это всё равно будет медленнее краевого TPU, который, к тому же, гораздо дешевле и потребляет гораздо меньше!
Более интересный проект – распознавание объектов в видеопотоке с камеры моего ноутбука. На процессоре Celeron выбранный пример успевает обработать меньше одного кадра в секунду. На TPU он обрабатывает 20 кадров в секунду – то есть, работает в реальном времени. И лишь четверть времени уходит на общение с TPU, остальное – это изменение размера картинок и вывод итоговых данных, которыми занимается CPU. Хотя я установил программу для работы TPU на максимальной частоте, я и близко не подошёл к пределам его возможностей, поэтому радиатор TPU не нагрелся до какой-либо некомфортной температуры.
Приведённые примеры было достаточно легко изменить и подстроить. Для начала работы с устройством нужно всего лишь установить рабочее окружение TPU через apt-get, потом установить tf-lite через pip – и всё готово для работы с примерами. Модели в этих примерах уже предварительно откомпилированы. Для более правдоподобного теста скорости нужно было бы обучить модель с нуля, запустить её на GPU и CPU, преобразовать в tf-lite, и выполнить его на CPU и TPU.
В целом, меня обрадовало это устройство. Мне кажется удивительным, что сеть, распознающая объекты на изображениях размера 300х300, работает на нетбуке 2014 года в реальном времени, с апгрейдом стоимостью всего в $75 (или даже $35, если взять плату M.2). Конечно, краевой TPU не заменит GPU для обучения и даже для оценки моделей.
Однако я вижу большой потенциал у платы, в которой один TOPs обходится в $10 и потребляет 0,5 Вт. Это, по меньшей мере, в 10 раз дешевле, чем работать с GPU! И гораздо менее затратно по энергии. Это прекрасный вариант для демонстрации работы где-то в полях. Если интересующая вас задача указана в приведённой на сайте продукта табличке, то этот чип окажется полезным в случае, если приоритетом для вас будут низкое энергопотребление и небольшой размер системы.
- Машинное обучение
- Компьютерное железо
- Периферия
- Процессоры
Источник: habr.com