Што такое Edge AI?

Памежны штучны інтэлект пераносіць інтэлект туды, дзе нараджаюцца дадзеныя. Гэта гучыць мудрагеліста, але асноўная ідэя простая: думайце прама побач з датчыкам, каб вынікі з'яўляліся зараз, а не пазней. Вы атрымліваеце хуткасць, надзейнасць і прыстойную гісторыю прыватнасці без воблачнага кантролю за кожным рашэннем. Давайце разбярэмся — уключаны цэтлікі і дадатковыя квэсты. 😅

Артыкулы, якія вам могуць спадабацца пасля гэтага:

🔗 Што такое генератыўны штучны інтэлект
Зразумелае тлумачэнне генератыўнага штучнага інтэлекту, яго працы і практычнага прымянення.

🔗 Што такое агентычны штучны інтэлект
Агляд агентнага штучнага інтэлекту, аўтаномных паводзін і шаблонаў рэальных прыкладанняў.

🔗 Што такое маштабаванасць штучнага інтэлекту
Даведайцеся, як надзейна, эфектыўна і эканамічна маштабаваць сістэмы штучнага інтэлекту.

🔗 Што такое праграмны фрэймворк для штучнага інтэлекту
Разгляд фрэймворкаў праграмнага забеспячэння штучнага інтэлекту, перавагі архітэктуры і асновы рэалізацыі.

Што такое Edge AI? Кароткае вызначэнне 🧭

Памежны штучны інтэлект (ПАР) — гэта практыка запуску навучаных мадэляў машыннага навучання непасрэдна на прыладах, якія збіраюць дадзеныя, або побач з імі — тэлефонах, камерах, робатах, аўтамабілях, носных прыладах, прамысловых кантролерах і г.д. Замест таго, каб адпраўляць неапрацаваныя дадзеныя на аддаленыя серверы для аналізу, прылада апрацоўвае ўваходныя дадзеныя лакальна і адпраўляе толькі зводкі або наогул нічога. Менш цыклаў перадачы дадзеных, менш затрымкі, больш кантролю. Калі вам патрэбна зразумелае, нейтральнае да пастаўшчыка тлумачэнне, пачніце тут. [1]

Што робіць Edge AI сапраўды карысным? 🌟

• Нізкая затрымка — рашэнні прымаюцца на прыладзе, таму адказы на такія задачы ўспрымання, як выяўленне аб'ектаў, выяўленне слоў-абуджэння або абвесткі аб анамаліях, імгненныя. [1]

• Прыватнасць у залежнасці ад месцазнаходжання — канфідэнцыйныя даныя могуць заставацца на прыладзе, што зніжае рызыку ўздзеяння і дапамагае ў абмеркаванні мінімізацыі даных. [1]

• Эканомія прапускной здольнасці — адпраўляйце функцыі або падзеі замест неапрацаваных патокаў. [1]

• Устойлівасць — працуе нават пры няўстойлівым падключэнні.

• Кантроль выдаткаў — менш цыклаў хмарных вылічэнняў і меншы аб'ём выдаткаў.

• Усведамленне кантэксту — прылада «адчувае» навакольнае асяроддзе і адаптуецца.

Кароткі анекдот: у пілотным праекце ў рознічным гандлі пастаянныя загрузкі з камер былі заменены на класіфікацыю асобы супраць аб'екта на прыладзе і ўключаны толькі штогадзінны падлік і відэа з выключэннямі. Вынік: абвесткі менш чым за 200 мс на краі паліцы і падзенне трафіку ўзыходзячай лініі ~90% без змены кантрактаў WAN крамы. (Метад: лакальны вывад, пакетная падзея, толькі анамаліі.)

Памежны штучны інтэлект супраць воблачнага штучнага інтэлекту - хуткі кантраст 🥊

• Дзе адбываюцца вылічэнні : перыферыя = на прыладзе/побач з прыладай; воблака = аддаленыя цэнтры апрацоўкі дадзеных.

• Затрымка : edge ≈ рэжым рэальнага часу; воблака мае кругавыя перадачы.

• Перамяшчэнне дадзеных : спачатку фільтруецца/сціскаецца па краях; воблака любіць загрузкі з поўнай дакладнасцю.

• Надзейнасць : edge працягвае працаваць афлайн; воблаку патрэбна падключэнне.

• Кіраванне : перыферыйныя тэхналогіі падтрымліваюць мінімізацыю дадзеных; воблака цэнтралізуе кантроль. [1]

Гэта не «альбо-альбо». Разумныя сістэмы спалучаюць у сабе абодва варыянты: хуткія рашэнні на мясцовым узроўні, больш глыбокую аналітыку і цэнтралізаванае навучанне аўтапарка. Гібрыдны адказ сумны — і правільны.

Як Edge AI насамрэч працуе пад капотам 🧩

1. Датчыкі фіксуюць неапрацаваныя сігналы — аўдыякадры, пікселі камеры, націсканні IMU, сляды вібрацыі.

2. Папярэдняя апрацоўка пераўтварае гэтыя сігналы ў зручныя для мадэлі функцыі.

3. Асяроддзе выканання вываду выконвае кампактную мадэль на прыладзе, выкарыстоўваючы паскаральнікі, калі яны даступныя.

4. Пасляапрацоўка пераўтварае выхадныя дадзеныя ў падзеі, меткі або кіруючыя дзеянні.

5. Тэлеметрыя загружае толькі тое, што карысна: зводкі, анамаліі або перыядычную зваротную сувязь.

Сярод асяроддзяў выканання на прыладах, якія вы ўбачыце ў рэальным часе, ёсць LiteRT (раней TensorFlow Lite), ONNX Runtime і OpenVINO . Гэтыя наборы інструментаў дазваляюць скараціць прапускную здольнасць з абмежаваных бюджэтаў на энергаспажыванне/памяць з дапамогай такіх хітрасцяў, як квантаванне і аб'яднанне аператараў. Калі вам падабаюцца асноўныя прынцыпы, іх дакументацыя даволі грунтоўная. [3][4]

Дзе гэта з'яўляецца — рэальныя выпадкі выкарыстання, на якія вы можаце паказаць 🧯🚗🏭

• Зрок на мяжы : камеры дзвярных званкоў (людзі супраць хатніх жывёл), сканаванне паліц у рознічным гандлі, дроны, якія выяўляюць дэфекты.

• Аўдыё на прыладзе : сігналы абуджэння, дыктоўка, выяўленне ўцечак на заводах.

• Прамысловы Інтэрнэт рэчаў : рухавікі і помпы кантралююцца на наяўнасць анамалій вібрацыі перад выхадам з ладу.

• Аўтамабільная тэхніка : маніторынг кіроўцы, выяўленне паласы руху, дапамога пры паркоўцы - менш за секунду або хутчэй.

• Ахова здароўя : носімыя прылады лакальна пазначаюць арытміі; сінхранізуйце зводкі пазней.

• Смартфоны : паляпшэнне фатаграфій, выяўленне спам-званкоў, моманты «як мой тэлефон зрабіў гэта па-за сеткай».

Для атрымання фармальных азначэнняў (і размоў пра «туман супраць краю») глядзіце канцэптуальную мадэль NIST. [2]

Абсталяванне, якое робіць яго хуткім 🔌

Некалькі платформаў часта правяраюць па імені:

• NVIDIA Jetson — модулі на базе графічнага працэсара для робатаў/камер, вібрацый швейцарскага армейскага нажа для ўбудаванага штучнага інтэлекту.

• Google Edge TPU + LiteRT — эфектыўны цэлалікавы вывад і аптымізаванае асяроддзе выканання для праектаў з ультранізкім энергаспажываннем. [3]

• Apple Neural Engine (ANE) — зручнае машыннае навучанне на прыладах для iPhone, iPad і Mac; Apple апублікавала практычную працу па эфектыўным разгортванні трансфарматараў на ANE. [5]

• Працэсары/інтеграваныя графічныя працэсары/нейтральныя працэсары Intel з OpenVINO — «пішы адзін раз, разгортвай дзе заўгодна» на абсталяванні Intel; карысныя праходы аптымізацыі.

• ONNX Runtime everywhere — нейтральнае асяроддзе выканання з падключаемымі пастаўшчыкамі выканання на тэлефонах, ПК і шлюзах. [4]

Ці патрэбныя вам усе яны? Не зусім. Выберыце адзін моцны шлях, які падыходзіць вашаму аўтапарку, і прытрымлівайцеся яго — адток кадраў — вораг убудаваных каманд.

Праграмны стэк - кароткі агляд 🧰

• Сцісканне мадэлі : квантаванне (часта да int8), абрэзка, дыстыляцыя.

• Паскарэнне на ўзроўні аператара : ядра, настроеныя на ваш крэмній.

• Асяроддзе выканання : LiteRT, ONNX Runtime, OpenVINO. [3][4]

• Абгорткі разгортвання : кантэйнеры/наборы праграм; часам мікрасэрвісы на шлюзах.

• MLOps для перыферыі : абнаўленні мадэлі OTA, разгортванне A/B, цыклы тэлеметрыі.

• Кантроль прыватнасці і бяспекі : шыфраванне на прыладзе, бяспечная загрузка, атэстацыя, анклавы.

Міні-кейс: каманда інспекцыйных беспілотнікаў ператварыла цяжкі дэтэктар у квантаваную студэнцкую мадэль для LiteRT, а затым аб'яднала NMS на прыладзе. Час палёту палепшыўся прыкладна на 15% дзякуючы меншаму спажыванню вылічэнняў; аб'ём загрузкі скараціўся да кадраў выключэнняў. (Метад: збор набору дадзеных на месцы, пост-квантная каліброўка, ценявы рэжым A/B перад поўным разгортваннем.)

Параўнальная табліца - папулярныя варыянты Edge AI 🧪

Праўда: гэты стол мае свае ўласныя меркаванні і трохі бруд — як і рэальны свет.

Як выбраць шлях для Edge AI - невялікае дрэва рашэнняў 🌳

• Цяжкае рэальнае жыццё? Пачніце з паскаральнікаў + квантаваных мадэляў.

• Шмат тыпаў прылад? Для партатыўнасці аддайце перавагу ONNX Runtime або OpenVINO. [4]

• Распрацоўваеце мабільную праграму? LiteRT — гэта шлях найменшага супраціву. [3]

• Робататэхніка ці аналітыка камеры? Аперацыі Jetson з падтрымкай графічных працэсараў эканомяць час.

• Строгая пазіцыя па прыватнасці? Захоўвайце дадзеныя лакальна, шыфруйце іх у стане спакою, запісвайце агрэгаты, а не неапрацаваныя кадры.

• Маленькая каманда? Пазбягайце экзатычных ланцужкоў інструментаў — сумна — гэта прыгожа.

• Мадэлі будуць часта мяняцца? Плануйце OTA і тэлеметрыю з першага дня.

Рызыкі, абмежаванні і сумныя, але важныя моманты 🧯

• Зрух мадэлі — асяроддзе змяняецца; кантралюйце размеркаванні, запускайце ценявыя рэжымы, перыядычна перавучвайцеся.

• Вылічальныя столі - абмежаваная памяць/магутнасць прымушаюць меншыя мадэлі або паніжаную дакладнасць.

• Бяспека — мяркуйце фізічны доступ; выкарыстоўвайце бяспечную загрузку, падпісаныя артэфакты, атэстацыю, службы з найменшымі прывілеямі.

• Кіраванне дадзенымі — лакальная апрацоўка дапамагае, але вам усё роўна патрэбныя згода, захоўванне дадзеных і тэлеметрыя з абмежаванай колькасцю дадзеных.

• Аперацыі аўтапарка — прылады адключаюцца ад сеткі ў самы непадыходзячы момант; распрацоўвайце адкладзеныя абнаўленні і аднаўляльныя загрузкі.

• Склад талентаў — убудаваныя тэхналогіі + машыннае навучанне + DevOps — гэта разнастайная каманда; правядзіце перасячэнне як мага раней.

Практычны план адпраўкі чагосьці карыснага 🗺️

1. Выберыце адзін выпадак выкарыстання з вымерным выяўленнем дэфектаў значэнняў на радку 3, сігналам абуджэння на разумным дынаміку і г.д.

2. Збярыце акуратны набор даных, які адлюстроўвае мэтавае асяроддзе; дадайце шум, каб ён адпавядаў рэальнасці.

3. Прататып на распрацоўчым камплекце, блізкім да серыйнага абсталявання.

4. Сцісніце мадэль з дапамогай квантавання/абрэзкі; сумленна вымерайце страту дакладнасці. [3]

5. Абгарніце высновы ў чыстым API з зваротным ціскам і вартавымі механізмамі, бо прылады завісаюць а 2-й гадзіне ночы.

6. Распрацоўвайце тэлеметрыю , якая паважае прыватнасць: колькасць адпраўленых дадзеных, гістаграмы, асаблівасці, вылучаныя па краях.

7. Павысіць бяспеку : падпісаныя бінарныя файлы, бяспечная загрузка, мінімальная колькасць адкрытых службаў.

8. План OTA : паэтапнае разгортванне, канарэйкі, імгненны адкат.

9. пасадзьце пілота ў нейкі куцевы корпус — калі яно выжыве там, то выжыве дзе заўгодна.

10. Маштабуйце з дапамогай плана дзеянняў : як вы будзеце дадаваць мадэлі, ратаваць ключы, архіваваць дадзеныя, каб праект №2 не ператварыўся ў хаос.

Часта задаваныя пытанні - кароткія адказы на тое, што такое Edge AI ❓

Ці з'яўляецца Edge AI проста запускам невялікай мадэлі на малюсенькім кампутары?
У асноўным так, але памер — гэта не ўся гісторыя. Гаворка таксама ідзе пра бюджэты затрымкі, абяцанні прыватнасці і арганізацыю многіх прылад, якія дзейнічаюць лакальна, але навучаюцца глабальна. [1]

Ці магу я трэніравацца і на мяжы?
Існуе лёгкае навучанне/персаналізацыя на прыладзе; больш складанае навучанне ўсё яшчэ праводзіцца цэнтралізавана. ONNX Runtime дакументуе варыянты навучання на прыладзе, калі вы авантурныя. [4]

Што такое Edge AI у параўнанні з туманнымі вылічэннямі?
Туман і перыферыйныя вылічэнні — гэта падобныя стрыечныя браты. Абодва метады набліжаюць вылічэнні да крыніц дадзеных, часам праз бліжэйшыя шлюзы. Фармальныя азначэнні і кантэкст глядзіце ў NIST. [2]

Ці заўсёды Edge AI паляпшае прыватнасць?
Гэта дапамагае, але гэта не магія. Вам усё яшчэ патрэбныя мінімізацыя, бяспечныя шляхі абнаўлення і стараннае рэгістраванне. Ставіцеся да прыватнасці як да звычкі, а не як да сцяжка.

Глыбокія апусканні, якія вы маглі б прачытаць 📚

1) Аптымізацыя мадэлі, якая не пагаршае дакладнасць

Квантаванне можа скараціць аб'ём памяці і паскорыць аперацыі, але каліброўка павінна выконвацца з рэпрэзентатыўнымі дадзенымі, інакш мадэль можа выклікаць галюцынацыі ў выглядзе вавёрак там, дзе ёсць дарожныя конусы. Дыстыляцыя — настаўнік, які кіруе меншым вучнем — часта захоўвае семантыку. [3]

2) Практыка выканання вываду на перыметры

Інтэрпрэтатар LiteRT наўмысна перамяшчае памяць без статычнага збою падчас выканання. ONNX Runtime падключаецца да розных паскаральнікаў праз пастаўшчыкоў выканання. Ні адзін з іх не з'яўляецца чароўнай куляй; абодва - надзейныя малаткі. [3][4]

3) Надзейнасць у дзікай прыродзе

Спёка, пыл, нестабільнае харчаванне, нядбайны Wi-Fi: стварайце вартавыя сістэмы, якія перазапускаюць канвееры, кэшуюць рашэнні і ўзгадняюць іх пасля аднаўлення сеткі. Менш гламурна, чым кантрольныя прылады, але больш важна.

Фраза, якую вы будзеце паўтараць на сустрэчах - Што такое Edge AI 🗣️

Перыферыйны штучны інтэлект набліжае інтэлект да дадзеных, каб задаволіць практычныя абмежаванні затрымкі, прыватнасці, прапускной здольнасці і надзейнасці. Магія не ў адным чыпе або фрэймворку — гэта разумны выбар таго, што і дзе вылічваць.

Заключныя заўвагі - Занадта доўга, я не чытаў 🧵

Памежны штучны інтэлект запускае мадэлі побач з дадзенымі, таму прадукты здаюцца хуткімі, прыватнымі і надзейнымі. Вы будзеце спалучаць лакальны вывад з воблачным кантролем для атрымання найлепшага з абодвух светаў. Выберыце асяроддзе выканання, якое адпавядае вашым прыладам, абапірайцеся на паскаральнікі, калі гэта магчыма, падтрымлівайце мадэлі ў парадку з дапамогай сціскання і распрацоўвайце аперацыі парку аўтамабіляў так, быццам ад гэтага залежыць ваша праца — таму што, ну, гэта магчыма. Калі хтосьці спытае, што такое памежны штучны інтэлект , адкажыце: разумныя рашэнні, прынятыя лакальна і своечасова. Затым усміхніцеся і зменіце тэму на батарэі. 🔋🙂

Спасылкі

1. IBM - Што такое Edge AI? (вызначэнне, перавагі).
   https://www.ibm.com/think/topics/edge-ai

2. NIST - SP 500-325: Канцэптуальная мадэль туманных вылічэнняў (фармальны кантэкст для туману/краю).
   https://csrc.nist.gov/pubs/sp/500/325/final

3. Google AI Edge - LiteRT (раней TensorFlow Lite) (асяроддзе выканання, квантаванне, міграцыя).
   https://ai.google.dev/edge/littert

4. ONNX Runtime — навучанне на прыладзе (партатыўнае асяроддзе выканання + навучанне на перыферыйных прыладах).
   https://onnxruntime.ai/docs/get-started/training-on-device.html

5. Даследаванне машыннага навучання Apple — разгортванне трансфарматараў на нейроннай сістэме Apple (нататкі па эфектыўнасці ANE).
   https://machinelearning.apple.com/research/neural-engine-transformers

Знайдзіце найноўшы штучны інтэлект у афіцыйнай краме памочнікаў штучнага інтэлекту

Пра нас