English
version
Задать вопрос

Новости

Все теги
Подписаться на новости

Подпишитесь на рассылку, чтобы всегда быть в курсе последних новостей в мире технологий

Вы успешно подписались!

Мы отправили вам на указанный адрес письмо со ссылкой-подтверждением.

Закрыть
22 июня 2020

Ускорители нейронных сетей компании Imagination Technologies: обзор

22 июня 2020 года — Нейронные сети получили широкое распространение благодаря огромному росту доступной вычислительной мощности, обычно основанной на центральных процессорах или графических процессорах. Однако, поскольку операции искусственного интеллекта (ИИ) очень требовательны к вычислениям, довольно сложно достичь удовлетворительной производительности, когда речь идет о периферийных устройствах. Здесь более предпочтительным вариантом является специализированное аппаратное решение. Например, если мы оценим типичный мобильный процессор на уровне «1x» по его производительности при работе нейронных сетей, то графический процессор ускорит его примерно в 12 раз. Однако на специализированном ускорителе нейронной сети (УНС) эти операции могут выполняться в 100 раз быстрее для поддерживаемых слоев, а если их выполнять на базе низко-битовых операций, таких как 4-битные, то они могут выполняться примерно в 200 раз быстрее.

Нейронные сети, такие, как свёрточные нейронные сети (СНС), рекуррентные нейронные сети (РНС) и сети долгой краткосрочной памяти (LTSM-сети), стали основной взрывного развития технологий в самых разных отраслях. Ускорители нейронных сетей (УНС) — это фундаментальный класс процессоров, который по важности, вероятно, сравнится с ЦПУ и ГПУ. Потенциальные приложения УНС неисчислимы: к ним относятся, в частности, улучшение фотографий и предиктивная обработка текста на мобильных устройствах, выявление черт лица и отслеживание движений глаз в шлемах дополненной/виртуальной реальности, обнаружение пешеходов и контроль внимания водителя в системах автомобильной безопасности, распознавание лиц и анализ поведения толпы в системах интеллектуального видеонаблюдения, выявление случаев онлайн-мошенничества в интернете, классификация содержания информационных ресурсов и предиктивное взаимодействие с пользователем, распознавание речи и голосовое управление в виртуальных помощниках, предотвращение столкновений и отслеживание объектов в беспилотных аппаратах.

Знания об искусственном интеллекте, накопленные Imagination Technologies, родились в процессе многолетней работы в области компьютерного зрения и мобильных устройств. В течение некоторого времени компания Imagination Technologies запускала сети на графических процессорах для задач распознавания лиц и классификации объектов, и эти знания позволили ей создать специализированное оборудование, которое способно экспоненциально ускорять решение этих революционизирующих рынки задач при значительно меньшем энергопотреблении.

Исследования и разработки Imagination Technologies сосредоточены на максимизации производительности на единицу площади кристалла и на использовании новейших фреймворков и нейронных сетей, чтобы клиенты могли извлечь максимальную производительность из своих СнК. Это позволяет разработчикам создавать новые приложения в области автомобильной промышленности, видеонаблюдения и AIoT для умных городов. УНС компании Imagination были разработаны на основе принципов ускорения сверточных нейронных сетей, так, чтобы любые устройства смогли использовать преимущества сверхбыстрых процессов совершения выводов.

Подход Imagination Technologies заключается в использовании типов данных с фиксированной запятой и квантованием с целью минимизировать требуемые размер модели и производительность. Сжатие без потерь для весовых коэффициентов дополнительно повышает эффективность. Кроме того, аппаратные IP-ядра УНС Imagination Technologies поддерживают переменную битовую глубину, так что весовые коэффициенты можно регулировать послойно для достижения максимальной точности реализованной модели при минимизации размера модели для уменьшения требуемой пропускной способности памяти и энергопотребления. Это дает эффектное соотношение высокой производительности при низких требованиях к мощности.

С привлечением популярных фреймворков, таких как TensorFlow, TensorFlow Lite, Caffe и ONNX (слой обмена/перевода форматов для множества фреймворков — PyTorch, MXNet, Caffe2, Paddle Paddle и других), IP-ядра УНС Imagination Technologies могут ускорять те слои нейронной сети, которые необходимы для наиболее оптимизированных приложений.

Компания Imagination Technologies разработала полноценные аппаратные СФ-блоки УНС с высокоэффективным использованием площади кристалла, что обеспечивается специализированной архитектурой PowerVR для нейронных сетей. На данный момент для лицензирования доступны СФ-блоки УНС серий PowerVR Series2NX и PowerVR Series3NX.

УНС серии PowerVR Series2NX

Архитектура PowerVR Series2NX была разработана с нуля для аппаратного ускорения на мобильных и встраиваемых платформах в целях эффективного формирования выводов в нейронных сетях. Она обеспечивает поддержку гибкой битовой глубины на поуровневой основе для веса и данных. Это означает, что УНС PowerVR Series2NX способны поддерживать высокую точность алгоритма логического вывода при снижении требований к пропускной способности/энергопотреблению. Это единственное решение с поддержкой гибкой битовой глубины от 16 до 4 бит, обеспечивающее более высокую производительность при меньшей пропускной способности и энергопотреблении.

PowerVR 2NX — совершенно новая архитектура, разработанная, чтобы добиться следующих показателей:

— СФ-блоки с наивысшим в отрасли количеством логических выводов на мВт обеспечивают минимальное энергопотребление.

— СФ-блоки с наивысшим в отрасли количеством логических выводов на мм² позволяют создавать наиболее экономически эффективные решения.

— Решение с наименьшими в отрасли требованиями к пропускной способности — с поддержкой переменной разрядности для весов и данных, включая режимы для низкой пропускной способности, вплоть до 4-битных.

— 2048 операций умножение-сложение за такт на одном ядре — рекорд в отрасли, с возможностью наращивания производительности в режиме многоядерности.

УНС PowerVR Series2NX обеспечивают высокопроизводительные вычисления для нейронных сетей при очень низком энергопотреблении и минимальной площади кристалла. На момент выхода на рынок в 2018 году УНС PowerVR Series2NX восьмикратно превышали по плотности производительности решения, основанные исключительно на ЦОС, и в два раза превосходили ближайшего конкурента по производительности при в два раза меньшей загрузке каналов связи. Нейронные сети традиционно чувствительны к пропускной способности каналов связи, требования к которой растут с увеличением размеров моделей нейронных сетей. Это порождает существенные сложности для разработчиков и производителей СнК, так как проектируемые ими системы должны обладать необходимой для УНС пропускной способностью. PowerVR 2NX способны минимизировать требования к пропускной способности внешней памяти DDR, чтобы пропускная способность не становилась лимитирующим фактором для производительности системы.

Серия 2NX включает в себя аппаратные СФ-блоки, ПО и инструменты, что является полноценным нейросетевым решением для СнК. На их основе эффективно реализуются вычислительные слои всех типов распространённых нейронных сетей. В зависимости от вычислительных потребностей, сопряжённых с решаемыми задачами логического вывода, УНС можно использовать сами по себе — без какого-либо дополнительного оборудования — либо в сочетании с другими процессорами, такими как ЦПУ и ГПУ.

В серию 2NX входят два УНС-блока — AX2185 и AX2145. СФ-блок AX2185 семейства 2NX позиционируется для смартфонов высокого класса, умных систем видеонаблюдения и автомобильной промышленности, где NN-ускорение играет решаюшую роль для классификации изображений и систем помощи водителям. Для модели AX2185 представлены восемь полноценных вычислительных движков, при этом она обеспечивает 2,048 MAC на такт (4,1 триллиона операций в секунду), что является самой высокой на рынке производительностью на мм2.

СФ-блок AX2145 — это более дешевая версия, ориентированная на устройства начального уровня, например, смартфоны среднего класса, цифровые ТВ-приставки, смарт камеры и системы обеспечения безопасности пользователей, в которых все больше применяется ускорение нейросетей для выполнения различных задач, таких как обработка изображений, а также на приложения на основе компьютерного зрения. Архитектура PowerVR AX2145 оптимизирована под низкую пропускную способность и эффективное формирование выводов в нейросетях, что является выгодным решением для OEM и ODM-производителей, работающих в условиях ограниченной площади кристалла.

Обе модели полностью поддерживают нейросети API (NNAPI) на базе Android, используемые разработчиками для интеграции функционала нейросетей на мобильных устройствах с экосистемой Android.

УНС серии PowerVR Series3NX

Ускорители PowerVR семейства 3NX обеспечивают повышение производительности на 40% по сравнению с предыдущим поколением — 2NX — и выполняют до 10 тера операций в секунду (TOPS) на одном ядре. В настоящее время эти ускорители предлагают один из самых высоких на рынке показателей производительности относительно площади кристалла. Для дальнейшего повышения производительности ускоритель также имеет многоядерные реализации на 2, 4, 8 и 16 ядер. 16 ядер — это 16 x 10 TOPS, то есть примерно 160 TOPS, и это именно те операции, которые наиболее востребованы в СнК чипсетах для ИИ.

УНС PowerVR Series3NX обеспечивают многоядерную масштабируемость для встраиваемого ИИ. Решения с одноядерной производительностью от 0,6 до 10 TOPS и с многоядерной масштабируемостью свыше 160 TOPS позволяют достичь беспрецедентных уровней вычислительной мощности и масштабируемости вычислений. УНС PowerVR Series3NX позволяют производителям СнК подбирать оптимально необходимую вычислительную мощность для целого ряда встроенных приложений, таких как автомобильные системы, мобильные устройства, интеллектуальные системы наблюдения и периферийные устройства IoT.

Одноядерные ​​УНС Series3NX можно масштабировать от 0,6 до 10 тера операций в секунду (TOPS), в то время как многоядерные реализации можно расширить до производительности выше 160 TOPS. Благодаря усовершенствованиям архитектуры, в том числе сжатию без потерь весовых коэффициентов, архитектура Series3NX выигрывает в производительности при той же площади кремния на 40% по сравнению с предыдущим поколением, предоставляя производителям СнК рост по эффективности почти на 60% и по пропускной способности на 35%.

УНС PowerVR Series3NX отличаются следующими ключевыми преимуществами:

• Широкий ассортимент ядер различной производительности (на данный момент в серии 3NX представлены пять ядер) позволяет разработчикам выбрать подходящее ядро для любых запросов рынка. Варианты PowerVR Series3NX применимы как для дизайнов с малым размером кристалла с низким энергопотреблением с питанием от аккумуляторов или от энергии солнца или ветра, так и для высокопроизводительных, требовательным к ресурсам нейросетевых приложений, например, ADAS.

• Лучшие в отрасли PPA (соотношение площадь-производительность-потребление). Меньший размер кристалла очень важен с точки зрения снижения стоимости кремния. Реализованные в серии 3NX достижения в улучшении PPA позволяют разработчикам СнК максимально эффективно использовать свой бюджет.

• Архитектура, проверенная в кремнии. Архитектура УНС компании Imagination Technologies доказала свою эффективность в кремнии, она превосходит тесты мобильных ИИ и получила множество наград за дизайн.

• Улучшенная поддержка слоя нейросети, основанная на обратной связи от рынка.

• Сжатие без потерь весовых коэффициентов, что значительно снижает требования к пропускной способности и размеру модели нейросети.

• Улучшенная совместимость с графическими процессорами PowerVR для обеспечения действительно гибких вычислений через специализированный API.

• Поддержка API нейронных сетей Android (NNAPI).

• Полный набор автономных инструментов и рабочих процессов для упрощения профилирования и развертывания сетей на периферийных устройствах.

Удобство для разработчиков

Imagination Technologies предоставляет все, что нужно разработчикам для простого и быстрого создания нейронных сетей, и обеспечивает оптимальный баланс вычислительной мощности, пропускной способности и точности.

Ресурсы для разработки под PowerVR 2NX включают инструменты для мапирования и настройки, примеры сетей, инструменты для тестирования и документирования. Многофункциональный инструмент мапирования PowerVR NX Mapping Tools позволяет легко портировать данные из стандартных для отрасли платформ машинного обучения, таких как Caffe и Tensorflow. Разработчики сложных сетей могут проектировать и реализовывать на УНС 2NX такие сети, которые используют все аппаратные возможности этого ускорителя. Imagination Technologies предлагает большой набор инструментов для оптимизации разработки и внедрения ИИ-приложений, а также средств отладки и анализа. Платформы машинного обучения имеют поддержку комплекта разработки платформенно-ориентированного ПО (NDK).

Кроме того, Imagination Technologies предоставляет общий API для глубоких нейронных сетей (ГНС), благодаря чему переход между ЦПУ, ГПУ и УНС будет упрощён. Этот единый API работает на множестве конфигураций СнК, облегчая прототипирование на имеющихся устройствах.

Разработчики, работающие с системой машинного обучения TensorFlow, могут напрямую обращаться к графическим процессорам и УНС PowerVR за счет оптимизированных библиотек нейросетей SYCL с открытым исходным кодом. SYCL — это основанная на открытых стандартах, не требующая лицензионных отчислений альтернатива платформе CUDA, которая устраняет экосистемные барьеры и предоставляет разработчикам больше свободы для создания библиотек на базе стандартного C++, открывая преимущества высокой производительности графических ускорителей и обеспечивая переносимость кода. SYCL впитал в себя концепции и принципы эффективности фреймворка Khronos OpenCL™. Оптимизированные под PowerVR библиотеки SYCL — SYCL-DNN, SYCL-BLAS и Eigen — доступны на GitHub. Форк TensorFlow, содержащий расширенную поддержку SYCL, доступен на GitHub-странице компании Codeplay. Кроме того, библиотеки SYCL компании Codeplay позволяют приложениям эффективно использовать оптимизированный под PowerVR интерфейс прикладного программирования (API) IMGDNN. IMGDNN — это проприетарная библиотека компании Imagination Technologies для компиляции графов нейронных сетей, которая помогает разработчикам добиться максимальной производительности с помощью графических процессоров и УНС PowerVR.

Реализация TensorFlow на SYCL поддерживает большое количество операций ИИ и легко настраивается под потребности конкретного пользователя. Это означает, что разработчики, использующие новейшие нейронные сети или создающие свои собственные технологии ИИ, могут запускать подобные сети без дополнительного конфигурирования (“из коробки”) и извлекать максимальную производительность из PowerVR. Поскольку поддержка TensorFlow в SYCL основана как на открытом коде, так и на открытых стандартах, подобное решение идеально подходит разработчикам, которые хотят по-максимуму использовать новейшие технологии ИИ на устройствах с низким энергопотреблением.

Используя УНС Series3NX-F, клиенты могут выделить отличительные особенности и повысить качество своих решений за счет работы с платформой OpenCL. Новые инструментальные расширения PowerVR способны оптимально воспринимать нарождающиеся новые модели для нейросетей, предлагая идеальное решения для оптимизации гибкости и производительности. С помощью специализированного DNN (Deep Neural Network) API от Imagination Technologies разработчики могут легко писать свои ИИ-приложения как под архитектуру Series3NX, так и под уже используемые графические процессоры PowerVR. API работает с множеством конфигураций СнК для упрощения создания прототипов на ранее уже созданных устройствах.

В 2019 году Imagination Technologies объявила о присоединении к экосистеме SiFive DesignShare, предоставляя разработчикам систем удобный доступ к IP-блоками PowerVR — ведущим в отрасли графическим процессорам и ускорителям нейронных сетей. ГПУ PowerVR стал первым полнофункциональным ГПУ, поддерживающим интерфейс прикладного программирования (API) Vulkan®, доступным через экосистему обмена проектами DesignShare.

Работа в среде DesignShare снижает первоначальные затраты на приобретение IP-блоков для прототипирования СнК. Выпускаемые Imagination Technologies IP-блоки графических процессоров PowerVR Series8XE и ускорителей нейронных сетей PowerVR Series3NX доступны клиентам для их СнК, разрабатываемых в рамках DesignShare. При этом ожидается, что в будущем эта среда пополнится дополнительными IP-блоками для удовлетворения рыночного спроса. IP-блоки графических процессоров и ускорителей нейронных сетей PowerVR поставляются вместе с программным обеспечением, которое позволяет заказчикам добиться максимальной производительности и гибкости. Программное обеспечение PowerVR было разработано для работы со всеми процессорными архитектурами, включая RISC-V — быстрорастущую архитектуру с открытым исходным кодом, которая лежит в основе экосистемы SiFive DesignShare.

Обзор составлен по материалам сайтов nautech.ru и imgtec.com