Пресс-центр
Тенденции рынка

В поиске баланса между периферийным и облачным искусственным интеллектом

Централизованные облачные ресурсы позволяют ИИ постоянно совершенствоваться, в то время как периферийный ИИ позволяет принимать решения в режиме реального времени и создавать более мощные модели. Наилучший подход – баланс между ними.

Искусственный интеллект на периферии позволяет использовать машинное обучение в режиме реального времени за счет локализованной обработки, обеспечивая немедленную обработку данных, детальную безопасность и качественный уровень обслуживания клиентов. В то же время многие предприятия стремятся внедрить ИИ в облако, чтобы снизить количество барьеров на пути внедрения, улучшить обмен знаниями. Дальнейший путь предусматривает поиск баланса, который основан на облачных и периферийных преимуществах.

Централизованные облачные ресурсы обычно используются для глубокого обучения моделей вывода, поскольку для разработки точных моделей требуются большие объемы данных и вычислений. Полученные модели могут быть развернуты либо в центральном облачном хранилище, либо распределены на периферийные устройства.

"Периферийный и облачный ИИ дополняют друг друга, и облачные ресурсы почти всегда задействованы в случаях использования ИИ на краю", - отметил Джейсон Шепард, вице-президент по экосистеме в Zededa, поставщике инструментов периферийного ИИ.

"В идеале мы бы централизовали все рабочие нагрузки в облаке для простоты и масштабирования, однако такие факторы, как задержка, пропускная способность, автономность, безопасность и конфиденциальность, требуют развертывания большего количества моделей ИИ на границе, ближе к источнику данных", - отметил Шепард. Некоторое обучение происходит на периферии, и все больше внимания уделяется концепции федеративного обучения, которая фокусирует обработку в зонах данных при централизации результатов для устранения локальных смещений.

Развитие ИИ на периферии


Развитие более совершенной сетевой инфраструктуры и новых архитектур периферийных вычислений разрушает барьеры между централизованным облачным ИИ и распределенными рабочими нагрузками ИИ на периферии.

"Периферийные вычисления — это значительное изменение в инфраструктуре, которое дополняет облако, добавляя уровень информационных технологий, и распространяется по всем уголкам мира", - отметил Чарльз Небольский, руководитель отдела интеллектуальных облачных и инфраструктурных услуг Accenture. Небольски считает, что периферийный ИИ ведет к революции, такой же мощной, как облако, когда оно стало набирать обороты.

Хорошо разработанный периферийный ИИ открывает новые возможности для автоматического масштабирования, поскольку каждый новый пользователь привносит в коллективную рабочую нагрузку совершенно новый механизм. Периферийные вычисления также обладают более широким доступом к большому количеству необработанных исходных данных. При этом облачные решения ИИ должны работать с предварительно обработанными данными для повышения производительности или больших наборов данных. Во втором случае  пропускная способность может стать серьезной проблемой.

"Причина перехода на периферийные вычисления — это более оперативное время отклика", - отметил Джонас Бюль, руководитель архитектурного отдела Лаборатории искусственного интеллекта Atos в Северной Америке, консалтинговой компании по цифровой трансформации.

Скорость и задержка имеют решающее значение для таких приложений, как компьютерное зрение и виртуальные сети радиодоступа, используемые для 5G. Еще одно большое преимущество заключается в улучшении конфиденциальности за счет ограничения количества данных, загружаемых в облако.

Развертывание периферийного искусственного интеллекта также имеет ограничения, включая задержку в сети, нехватку памяти, разряд батареи и возможность того, что процесс будет зависеть от пользователя или операционной системы. По словам Стивена Миллера, старшего вице-президента по разработке и соучредителя компании Fyusion, занимающейся 3D-визуализацией, основанной на ИИ, разработчики, работающие над периферийным ИИ, должны планировать широкий спектр ограничений, особенно при изучении распространенных вариантов использования, таких как мобильные телефоны.

"Вам нужно планировать каждый возможный угловой случай [на периферии], в то время как в облаке любое решение можно отслеживать и настраивать", - отметил Миллер.

Взаимодополняющие подходы


Большинство экспертов рассматривают пограничный и облачный подходы как взаимодополняющие части более широкой стратегии. Небольски отметил, что облачный ИИ лучше поддается методам пакетного обучения, которые могут обрабатывать большие наборы данных для создания более умных алгоритмов, чтобы быстро и в масштабе получить максимальную точность. Периферийный ИИ может приводить в исполнение эти модели, а облачные сервисы могут извлекать уроки из производительности этих моделей и применять их к базовым данным для создания непрерывного цикла обучения.

Миллер из Fyusion рекомендует соблюдать правильный баланс - если вы полностью отдадите предпочтение периферийному ИИ, вы потеряете возможность постоянно улучшать свою модель. Без поступления новых потоков данных вам нечего использовать. Однако, если вы выберете только облачный ИИ, вы рискуете поставить под угрозу качество ваших данных из-за компромиссов, необходимых для загрузки, и отсутствия обратной связи, которая могла бы помочь пользователю получить качественные данные в большем количестве.

"Периферийный ИИ дополняет облачный ИИ, обеспечивая доступ к немедленным решениям, когда они необходимы, и использование облака для более глубокого анализа или для тех решений, которые требуют более широкого или более длительного набора данных для разработки", - отметил Трейси Ринг, управляющий директор Deloitte.

Например, в подключенном транспортном средстве датчики на автомобиле обеспечивают поток данных в режиме реального времени, которые постоянно обрабатываются и могут принимать решения, такие как включение тормозов или регулировка рулевого колеса. Те же данные датчиков могут быть переданы в облако для проведения долгосрочного анализа закономерностей, который может предупредить владельца о срочном ремонте, который может предотвратить аварию в будущем. С другой стороны, облачный ИИ дополняет периферийный ИИ для более глубокого анализа, настройки моделей и дальнейшего улучшения их понимания.

"Облачный и периферийный ИИ работают в тандеме, чтобы принимать решения о немедленных потребностях, основанных на более глубоких знаниях, и эти знания постоянно дополняются новыми данными на периферии", - отметил Ринг.

Рабочие процессы обучения


Основные проблемы совместной работы периферийного и облачного ИИ носят процедурный и архитектурный характер.

"Приложения должны быть разработаны таким образом, чтобы они целенаправленно распределяли и координировали рабочую нагрузку между ними", - отметил Макс Версаче, генеральный директор и соучредитель Neurala, платформы для проверки искусственного интеллекта.

Например, камеры с поддержкой edge-вычислений могут обрабатывать всю информацию, исходящую от датчика, без перегрузки сети ненужными данными. Однако, когда интересующий объект, наконец, обнаружен на переферии, соответствующие кадры могут быть переданы в более крупное облачное приложение, которое может хранить, дополнительно анализировать (например, какой подтип объекта находится в кадре и каковы его атрибуты) и делиться результатами анализа с наблюдателем.

Одна из стратегий заключается в создании архитектуры, которая уравновешивает размер модели и данных с затратами на передачу данных, отметил Брайан Слеттен, директор Bosatsu Consulting и старший инструктор по периферийным вычислениям в Developintelligence.com. Для наиболее масштабных моделей имеет смысл оставаться в облаке.

"Существуют способы уменьшить размер модели, чтобы решить эту проблему, но, если вы имеете дело с очень большой моделью, вы, вероятно, захотите запустить ее в облаке", - отметил Слеттен.

В других случаях, когда на периферии создается много данных, возможно, имеет смысл обновить модели локально, а затем передавать их обратно в облако для дальнейшего совершенствования. Разработчики также должны учитывать возможные последствия для безопасности при выводе конфиденциальных данных. Например, если разработчики хотят обнаружить признаки инсульта с помощью камеры мобильного телефона, приложению может потребоваться локальная обработка данных для обеспечения соответствия требованиям HIPAA.

Слеттен прогнозирует, что фреймворки будут развиваться, чтобы предоставлять больше возможностей для обучения и улучшения повторного использования. Например, TensorFlow.js использует WebGL и WebAssembly для работы в браузере (хорошо для конфиденциальности, низкой задержки, использования ресурсов графического процессора для настольных компьютеров или мобильных устройств и т.д.), также здесь возможна загрузка сегментированных, кэшированных версий облачных моделей. Форматы обмена моделями (например, открытый обмен нейронными сетями) также могут повысить гибкость моделей в различных средах. Слеттен рекомендует изучить такие инструменты, как LLVM, проект инфраструктуры компилятора с открытым исходным кодом, чтобы упростить абстрагирование приложений от среды, в которой они работают.

Необходимость адаптации


"Одна из ключевых проблем в перемещении ИИ из облака на периферию — это разработка архитектур нейронных сетей, способных эффективно работать в периферийных микросхемах ИИ", - отметил Бруно Фернандес-Руис, соучредитель и технический директор Nexar, поставщика «умных» видеорегистраторов.

Вычислительные платформы общего назначения, такие как облачные серверы, могут работать с любой сетевой архитектурой. Осуществлять это в периферийном ИИ становится намного сложнее. Архитектуры и обученные модели должны быть адаптированы для работы на чипсетах искусственного интеллекта, размещенных на периферии.

Фернандес-Руис и его команда изучают некоторые компромиссы для улучшения ИИ, которые они могут привнести в различные приложения видеорегистратора. Это большая проблема, поскольку пользователи могут перемещаться из высокоэффективных мобильных сетей в мертвые зоны, но при этом ожидать хорошей производительности. Команда обнаружила, что во время логического вывода недостаточно пропускной способности сети для перемещения всех данных с периферии в облако, однако в случае использования требуется, чтобы локальные данные вывода агрегировались глобально. Периферийный ИИ может запускать нейронные сети, которые помогают фильтровать данные, необходимые для отправки в облако и последующей обработки ИИ.

В других случаях обучение облачного ИИ может привести к созданию моделей нейронных сетей, которые имеют слишком много уровней для эффективной работы на периферийных устройствах. В этих случаях периферийный ИИ может запускать более легкую нейронную сеть, которая создает промежуточное представление ввода, которое является более сжатым, и следовательно, может быть отправлено в облако для дальнейшей обработки ИИ. Во время обучения периферийный и облачный ИИ могут работать в гибридном режиме, обеспечивая нечто вроде "виртуального активного обучения", когда периферийный ИИ тщательно анализирует огромные объемы данных и "обучает" облачный ИИ.

Фернандес-Руис обнаружил, что типы поддерживаемых архитектур нейронных сетей в наборах микросхем периферийного ИИ ограничены и обычно отстают на месяцы от того, что может быть достигнуто в облаке. Одним из полезных подходов для устранения этих ограничений было использование цепочек инструментов компилятора и стеков, таких как Apache TVM, которые помогают переносить модель с одной платформы на другую.

Другой подход заключался в использовании сетевых архитектур, которые, как известно, хорошо работают в периферийном ИИ, и обучении их непосредственно для целевой платформы. Он обнаружил, что при достаточном объеме и разнообразии обучающих данных этот подход часто может превосходить кроссплатформенные подходы к компилятору с точки зрения абсолютной производительности. Однако это также требует некоторой ручной работы во время обучения, а также при предварительной и последующей обработке.

Общие компромиссы между периферийным и облачным ИИ


Небольски из Accenture отметил некоторые из наиболее распространенных компромиссов между облачным и периферийным ИИ, которые разработчики должны учитывать:
  • Вычислительная мощность: Периферийные вычислительные устройства, как правило, менее мощные и их трудно заменить или модернизировать.
  • Задержка: облако работает быстро, но недостаточно быстро для приложений реального времени, таких как вождение автомобиля или управление промышленными объектами.
  • Энергопотребление: большинству дизайнеров, как правило, не нужно учитывать ограничения энергопотребления с облаком, как они это делают с периферией.
  • Подключение: критически важные для безопасности сервисы, такие как автономные транспортные средства, не могут позволить себе перестать работать при обрыве подключения, что может подтолкнуть обработку принятия решений, основанных на ИИ в реальном времени, к периферии.
  • Безопасность: сервисы искусственного интеллекта, которые управляют аутентификацией и обработкой конфиденциальной информации, такой как отпечатки пальцев или медицинские записи, как правило, лучше всего выполняются локально из соображений безопасности. Даже при наличии очень надежной облачной безопасности важным фактором может быть восприятие пользователем лучшей конфиденциальности от обработки на периферии.

Published: 28 Dec 2020.