Раней штучны інтэлект выкарыстоўваўся на вялікіх серверах і хмарных графічных працэсарах. Цяпер ён памяншаецца і змяшчаецца побач з датчыкамі. Штучны інтэлект для ўбудаваных сістэм — гэта не нейкая далёкая перспектыва — ён ужо гудзе ўнутры халадзільнікаў, беспілотнікаў, носных прылад... нават прылад, якія зусім не выглядаюць «разумнымі».
Вось чаму гэты зрух важны, што яго ўскладняе і якія варыянты вартыя вашага часу.
Артыкулы, якія вам могуць спадабацца пасля гэтага:
🔗 Найлепшыя інструменты кіравання штучным інтэлектам, якія забяспечваюць этычна адпавядаючыя патрабаванням і празрыстыя сістэмы штучнага інтэлекту
Кіраўніцтва па інструментах, якія дапамагаюць падтрымліваць этычны, адпаведны і празрысты штучны інтэлект.
🔗 Сховішча аб'ектаў для штучнага інтэлекту: выбар, выбар, выбар
Параўнанне варыянтаў захоўвання аб'ектаў, адаптаваных для рабочых нагрузак штучнага інтэлекту.
🔗 Патрабаванні да захоўвання дадзеных для штучнага інтэлекту: што вам сапраўды трэба ведаць
Ключавыя фактары, якія трэба ўлічваць пры планаванні захоўвання дадзеных штучнага інтэлекту.
Штучны інтэлект для ўбудаваных сістэм🌱
Убудаваныя прылады малюсенькія, часта працуюць ад батарэек і абмежаваныя ў рэсурсах. Тым не менш, штучны інтэлект дае вялікія перамогі:
-
Рашэнні ў рэжыме рэальнага часу без выкарыстання хмарных сэрвісаў.
-
Прыватнасць па задуме — неапрацаваныя дадзеныя могуць заставацца на прыладзе.
-
Меншая затрымка, калі мілісекунды маюць значэнне.
-
Энергетычна ўважлівы вывад з дапамогай стараннага выбару мадэлі і абсталявання.
Гэта не адназначныя перавагі: перанос вылічэнняў на перыферыю змяншае залежнасць ад сеткі і ўмацоўвае канфідэнцыяльнасць у многіх выпадках выкарыстання [1].
Хітрасць не ў грубай сіле, а ў тым, каб быць кемлівым з абмежаванымі рэсурсамі. Уявіце сабе марафон з заплечнікам... і інжынеры працягваюць здымаць цэглу.
Кароткая параўнальная табліца штучнага інтэлекту для ўбудаваных сістэм 📝
| Інструмент / Фрэймворк | Ідэальная аўдыторыя | Кошт (прыблізна) | Чаму гэта працуе (дзіўныя нататкі) |
|---|---|---|---|
| TensorFlow Lite | Распрацоўшчыкі, аматары | Бясплатна | Кампактны, партатыўны, выдатны мікракантролер → мабільнае пакрыццё |
| Імпульс краю | Пачаткоўцы і стартапы | Freemium-узроўні | Працоўны працэс перацягвання элементаў — як у «AI LEGO» |
| Платформа Nvidia Jetson | Інжынерам патрэбна энергія | $$$ (не танна) | Графічны працэсар + паскаральнікі для вялікіх нагрузак на працу з відэа |
| TinyML (праз Arduino) | Выкладчыкі, прататыпоўцы | Нізкі кошт | Даступны; арыентаваны на супольнасць ❤️ |
| Рухавік штучнага інтэлекту Qualcomm | Вытворцы арыгінальнага абсталявання, вытворцы мабільных прылад | Змяняецца | NPU-паскарэнне на Snapdragon - надзвычай хутка |
| ExecuTorch (PyTorch) | Мабільныя і перыферыйныя распрацоўшчыкі | Бясплатна | Асяроддзе выканання PyTorch на прыладзе для тэлефонаў/носных прылад/убудаваных прылад [5] |
(Так, няроўна. Рэальнасць таксама.)
Чаму штучны інтэлект на ўбудаваных прыладах важны для прамысловасці 🏭
Не проста ажыятаж: на заводскіх лініях кампактныя мадэлі выяўляюць дэфекты; у сельскай гаспадарцы вузлы з нізкім энергаспажываннем аналізуюць глебу ў полі; у транспартных сродках функцыі бяспекі не могуць «патэлефанаваць дадому» перад тармажэннем. Калі затрымка і прыватнасць не падлягаюць абмеркаванню , перанос вылічэнняў на перыферыю з'яўляецца стратэгічным рычагом [1].
TinyML: Ціхі герой убудаванага штучнага інтэлекту 🐜
TinyML запускае мадэлі на мікракантролерах з кілабайтамі да некалькіх мегабайт аператыўнай памяці, але пры гэтым спраўляецца з распазнаваннем ключавых слоў, жэстаў, выяўленнем анамалій і іншым. Гэта як назіраць, як мыш падымае цэглу. Дзіўна прыемна.
Хуткая ментальная мадэль:
-
Сляды дадзеных : невялікія струменевыя ўваходныя дадзеныя датчыкаў.
-
Мадэлі : кампактныя CNN/RNN, класічнае машыннае навучанне або разрэджаныя/квантаваныя сеткі.
-
Бюджэты : міліваты, а не ваты; кБ–мБ, а не гігабайты.
Выбар абсталявання: кошт супраць прадукцыйнасці ⚔️
Выбар абсталявання — гэта тое, з чым многія праекты сутыкаюцца з цяжкасцямі:
-
Клас Raspberry Pi : зручны працэсар універсальнага прызначэння; надзейны для прататыпаў.
-
NVIDIA Jetson : спецыяльна распрацаваныя модулі штучнага інтэлекту на перыферыі (напрыклад, Orin), якія забяспечваюць ад дзясяткаў да сотняў TOPS для шчыльнага бачання або шматмадэльных стэкаў — выдатна, але даражэй і спажываюць больш энергіі [4].
-
Google Coral (Edge TPU) : паскаральнік ASIC, які забяспечвае ~4 TOPS пры спажыванні каля 2 Вт (~2 TOPS/Вт) для квантаваных мадэляў — фантастычная прадукцыйнасць/Вт, калі ваша мадэль адпавядае абмежаванням [3].
-
Сінтэзаваныя працэсары для смартфонаў (Snapdragon) : пастаўляюцца з нейроннымі працэсарамі і SDK для эфектыўнага запуску мадэляў на прыладзе.
Эмпірычнае правіла: збалансуйце кошт, цеплавыя характарыстыкі і вылічальную магутнасць. «Дастаткова добра, усюды» часта лепш, чым «перадавы, нідзе».
Распаўсюджаныя праблемы ў штучным інтэлекце для ўбудаваных сістэм 🤯
Інжынеры рэгулярна сутыкаюцца з:
-
Абмежаваная памяць : маленькія прылады не могуць змясціць гіганцкія мадэлі.
-
Бюджэты на батарэі : кожны міліампер мае значэнне.
-
Аптымізацыя мадэлі:
-
Квантаванне → меншыя, хутчэйшыя вагі/актывацыі int8/float16.
-
Абрэзка → выдаліце нязначныя вагі для разрэджанасці.
-
Кластэрызацыя/размеркаванне вагі → далейшае сцісканне.
Гэта стандартныя метады павышэння эфектыўнасці працы на прыладзе [2].
-
-
Маштабаванне : дэманстрацыя Arduino ў класе ≠ сістэма вытворчасці аўтамабіляў з абмежаваннямі бяспекі, абароны і жыццёвага цыклу.
Адладка? Уявіце сабе, што вы чытаеце кнігу праз замочную свідравіну… у рукавіцах.
Практычныя прымяненні, пра якія вы хутка даведаецеся больш 🚀
-
Разумныя носімныя прылады, якія робяць аналіз стану здароўя непасрэдна на прыладзе.
-
Камеры Інтэрнэту рэчаў фіксуюць падзеі без трансляцыі неапрацаванага відэа.
-
Аўтаномныя галасавыя памочнікі для кіравання без выкарыстання рук — без залежнасці ад воблака.
-
Аўтаномныя беспілотнікі для інспекцыі, дастаўкі і дакладнай сельскай гаспадаркі.
Карацей кажучы: штучны інтэлект літаральна рухаецца бліжэй — да нашых запясцяў, на нашы кухні і па ўсёй нашай інфраструктуры.
Як распрацоўшчыкі могуць пачаць 🛠️
-
Пачніце з TensorFlow Lite для шырокага набору інструментаў і пакрыцця MCU→mobile; ужывайце квантаванне/абрэзку на ранняй стадыі [2].
-
Калі вы жывяце ў свеце PyTorch і вам патрэбна эфектыўнае асяроддзе выканання на прыладзе як для мабільных прылад, так і для ўбудаваных сістэм, азнаёмцеся з ExecuTorch
-
Паспрабуйце камплекты Arduino + TinyML для хуткага і прыемнага прататыпавання.
-
Аддаеце перавагу візуальным канвеерам? Edge Impulse зніжае бар'ер з дапамогай збору дадзеных, навучання і разгортвання.
-
Ставіцеся да абсталявання як да грамадзян першага класа — стварыце прататып на працэсарах, а затым праверце яго на мэтавым паскаральніку (Edge TPU, Jetson, NPU), каб пацвердзіць затрымку, тэмпературу і разыходжанні ў дакладнасці.
Міні-віньетка: Каманда пастаўляе дэтэктар вібрацыйных анамалій на датчыку тыпу «таблетка». Мадэль float32 не адпавядае бюджэту магутнасці; квантаванне int8 скарачае энергію на вывад, абрэзка абрэзвае памяць, а цыклічнае ўключэнне і выключэнне мікракантролера завяршае працу — сетка не патрабуецца [2,3].
Ціхая рэвалюцыя штучнага інтэлекту для ўбудаваных сістэм 🌍
Невялікія, недарагія працэсары вучацца адчуваць → думаць → дзейнічаць лакальна. Тэрмін службы батарэі заўсёды будзе пераследваць нас, але траекторыя зразумелая: больш строгія мадэлі, лепшыя кампілятары, разумнейшыя паскаральнікі. Вынік? Тэхналогіі, якія адчуваюцца больш персаналізаванымі і адаптыўнымі, таму што яны не проста падключаны — яны звяртаюць увагу.
Спасылкі
[1] ETSI (Мультыдоступныя перыферыйныя вылічэнні) - Перавагі затрымкі/прыватнасці і галіновы кантэкст.
ETSI MEC: Агляд новай Белай кнігі
[2] Набор інструментаў аптымізацыі мадэлі Google TensorFlow — квантаванне, абрэзка, кластарызацыя для павышэння эфектыўнасці працы на прыладзе.
Кіраўніцтва па аптымізацыі мадэлі TensorFlow
[3] Google Coral Edge TPU - тэсты прадукцыйнасці/W для паскарэння на edge.
Тэст-лісты Edge TPU
[4] NVIDIA Jetson Orin (афіцыйна) — модулі Edge AI і дыяпазоны прадукцыйнасці.
Агляд модуляў Jetson Orin
[5] PyTorch ExecuTorch (афіцыйная дакументацыя) — асяроддзе выканання PyTorch на прыладзе для мабільных прылад і перыферыйных прылад.
Агляд ExecuTorch