Кароткі адказ: каб аптымізаваць мадэлі штучнага інтэлекту, абярыце адно асноўнае абмежаванне (затрымка, кошт, памяць, якасць, стабільнасць або прапускная здольнасць), затым вызначце надзейны базавы ўзровень, перш чым што-небудзь мяняць. Спачатку выдаліце вузкія месцы канвеера, затым ужывайце нізкарызыкоўныя перавагі, такія як змешаная дакладнасць і пакетная апрацоўка; калі якасць захоўваецца, пераходзьце да інструментаў кампіляцыі/выканання і толькі потым памяншайце памер мадэлі шляхам квантызацыі або дыстыляцыі, калі гэта неабходна.
Асноўныя высновы:
Абмежаванне : выберыце адну ці дзве мэтавыя метрыкі; аптымізацыя — гэта ландшафт кампрамісаў, а не бясплатных перамог.
Вымярэнне : прааналізуйце рэальныя нагрузкі з дапамогай p50/p95/p99, прапускной здольнасці, выкарыстання і пікаў памяці.
Канвеер : выпраўце токенізацыю, загрузнікі дадзеных, папярэднюю апрацоўку і пакетную працу перад тым, як дакранацца да мадэлі.
Абслугоўванне : выкарыстоўвайце кэшаванне, мэтанакіраваную пакетную працу, наладу паралельнасці і ўважліва сачыце за затрымкай хваста.
Ахоўныя панэлі : запускайце залатыя падказкі, метрыкі задач і выбарачныя праверкі пасля кожнага змянення прадукцыйнасці.
🔗 Як эфектыўна ацэньваць мадэлі штучнага інтэлекту.
Ключавыя крытэрыі і крокі для справядлівай і надзейнай ацэнкі мадэляў.
🔗 Як вымераць прадукцыйнасць штучнага інтэлекту з дапамогай рэальных метрык.
Выкарыстоўвайце для параўнання бенчмаркі, сігналы затрымкі, кошту і якасці.
🔗 Як тэставаць мадэлі штучнага інтэлекту перад вытворчасцю
Практычны працоўны працэс тэставання: падзелы дадзеных, стрэсавыя выпадкі і маніторынг.
🔗 Як выкарыстоўваць штучны інтэлект для стварэння кантэнту.
Ператварайце ідэі ў чарнавікі хутчэй з дапамогай структураваных падказак і ітэрацый.
1) Што азначае слова «аптымізаваць» на практыцы (бо кожны выкарыстоўвае яго па-рознаму) 🧠
Калі людзі кажуць «аптымізаваць мадэль штучнага інтэлекту», яны могуць мець на ўвазе:
-
Зрабіць хутчэй (зменшыць затрымку)
-
Зрабіць гэта танней (менш гадзін выкарыстання графічнага працэсара, меншыя выдаткі на воблака)
-
Зменшыць (затраты памяці, разгортванне на перыферыі)
-
Зрабіць больш дакладным (паляпшэнне якасці, менш галюцынацый)
-
Зрабіць яго больш стабільным (менш адхіленняў, менш збояў у вытворчасці)
-
Зрабіць абслугоўванне прасцейшым (прапускная здольнасць, пакетная апрацоўка, прадказальная прадукцыйнасць)
Вось крыху раздражняльная праўда: немагчыма максымізаваць усё адразу. Аптымізацыя падобная на сцісканне паветранага шара — адзін бок уціснеш, а другі выскочыць. Не заўсёды, але дастаткова часта, каб планаваць кампрамісы.
Такім чынам, перш чым што-небудзь дакранацца, выберыце асноўнае абмежаванне :
-
Калі вы абслугоўваеце карыстальнікаў у рэжыме рэальнага часу, вас цікавяць затрымка p95 ( працэнтылі AWS CloudWatch ) і прадукцыйнасць хваста ( лепшая практыка «затрымкі хваста» ) 📉
-
Калі вы трэніруецеся, вас хвалюе час, неабходны для дасягнення якасці , і выкарыстанне графічнага працэсара 🔥
-
Калі вы разгортваеце на прыладах, вам важныя аператыўная памяць і магутнасць 🔋
2) Як выглядае добрая версія аптымізацыі мадэлі штучнага інтэлекту ✅
Добрая версія аптымізацыі — гэта не проста «прымяніць квантаванне і маліцца». Гэта сістэма. Найлепшыя ўстаноўкі звычайна маюць:
-
Базавая лінія, якой вы давяраеце.
Калі вы не можаце ўзнавіць свае бягучыя вынікі, вы не ведаеце, што нешта палепшылі. Гэта проста… але людзі ігнаруюць гэта. Потым яны заходзяць у спіраль. -
Выразны мэтавы паказчык
«Хутчэй» — гэта не зусім зразумела. «Скараціць затрымку p95 з 900 мс да 300 мс пры тым жа паказчыку якасці» — гэта рэальная мэта. -
Абароны якасці
Кожная перамога ў прадукцыйнасці рызыкуе ціхім зніжэннем якасці. Вам патрэбныя тэсты, ацэнкі ці хаця б набор для праверкі псіхічнага здароўя. -
Усведамленне апаратнага забеспячэння
«Хуткая» мадэль на адным відэакартным працэсары можа паўзаць на іншым. Працэсары — гэта свой асаблівы від хаосу. -
Ітэратыўныя змены, а не рэзкае перапісванне.
Калі вы змяняеце пяць рэчаў адначасова, і прадукцыйнасць паляпшаецца, вы не ведаеце чаму. Што… трывожна.
Аптымізацыя павінна адчувацца як налада гітары — невялікія карэкціроўкі, уважліва слухайце, паўтарайце 🎸. Калі адчуваецца, што вы жанглюеце нажамі, значыць, нешта не так.
3) Параўнальная табліца: Папулярныя варыянты аптымізацыі мадэляў штучнага інтэлекту 📊
Ніжэй прыведзена кароткая і крыху неакуратная параўнальная табліца распаўсюджаных інструментаў/падыходаў да аптымізацыі. Не, яна не зусім «справядлівая» — рэальнае жыццё таксама не справядлівае.
| Інструмент / Опцыя | Аўдыторыя | Кошт | Чаму гэта працуе |
|---|---|---|---|
PyTorch torch.compile ( дакументацыя PyTorch ) |
Карыстальнікі PyTorch | Бясплатна | Захоп графа + хітрасці кампіляцыі могуць скараціць накладныя выдаткі… часам гэта магія ✨ |
| Асяроддзе выканання ONNX ( дакументацыя па асяроддзі выканання ONNX ) | Каманды разгортвання | Вольна | Моцная аптымізацыя вываду, шырокая падтрымка, добра падыходзіць для стандартызаванага абслугоўвання |
| TensorRT ( дакументацыя NVIDIA TensorRT ) | Разгортванне NVIDIA | Платныя вібрацыі (часта ў камплекце) | Агрэсіўнае зліццё ядра + дакладная апрацоўка, вельмі хутка, калі націскае кнопку |
| DeepSpeed ( дакументацыя ZeRO ) | Трэніроўкі каманд | Бясплатна | Аптымізацыя памяці + прапускной здольнасці (ZeRO і г.д.). Можа адчувацца як рэактыўны рухавік |
| FSDP (PyTorch) ( дакументацыя PyTorch FSDP ) | Трэніроўкі каманд | Бясплатна | Параметры/градыенты аскепкаў робяць вялікія мадэлі менш страшнымі |
| квантаванне біт-энд-байтаў ( bitsandbytes ) | майстры па LLM | Бясплатна | Нізкая вага бітаў, велізарная эканомія памяці — якасць залежыць ад сітуацыі, але ох 😬 |
| Дыстыляцыя ( Хінтан і інш., 2015 ) | Каманды па прадуктах | «Выдаткі часу» | Мадэль меншага студэнта пераймае паводзіны, звычайна найлепшая рэнтабельнасць інвестыцый у доўгатэрміновай перспектыве |
| Абрэзка ( падручнік па абрэзцы PyTorch ) | Даследаванні + прадукцыя | Бясплатна | Здымае мёртвую нагрузку. Лепш працуе ў спалучэнні з перападрыхтоўкай |
| Flash Attention / злітыя ядры ( папера FlashAttention ) | Фанаты перформансу | Бясплатна | Хутчэйшая ўвага, лепшая памяць і паводзіны. Сапраўдная перамога для трансформераў |
| Сервер вываду Triton ( дынамічнае пакетнае аб'яднанне ) | Аперацыі/інфраструктура | Бясплатна | Абслугоўванне вытворчасці, пакетная апрацоўка, шматмадэльныя канвееры — адчуваецца як у карпаратыўным плане |
Прызнанне ў асаблівасці фарматавання: «цана» — гэта неакуратна, бо праграмнае забеспячэнне з адкрытым зыходным кодам усё роўна можа каштаваць вам выходных на адладку, што… ёсць цана. 😵💫
4) Пачніце з вымярэння: пішыце профіль так, быццам вы гэта маеце на ўвазе 🔍
Калі вы робіце толькі адну рэч з усяго гэтага кіраўніцтва, зрабіце вось што: правільна вымярайце.
Паводле маіх уласных выпрабаванняў, найбуйнейшыя «прарывы ў аптымізацыі» адбыліся з адкрыцця чагосьці неверагодна простага, напрыклад:
-
загрузчык дадзеных, які не дазваляе графічнаму працэсару працаваць
-
Вузкае месца папярэдняй апрацоўкі працэсара
-
малыя памеры пакетаў, якія выклікаюць накладныя выдаткі на запуск ядра
-
павольная токенізацыя (токенаізатары могуць быць ціхімі зладзеямі)
-
фрагментацыя памяці ( нататкі па размеркавальніку памяці PyTorch CUDA )
-
аднаслаёвыя дамінуючыя вылічэнні
Што вымяраць (мінімальны набор)
-
Латентнасць (p50, p95, p99) ( SRE па перцэнтылях латэнтнасці )
-
Прапускная здольнасць (токены/сек, запыты/сек)
-
Выкарыстанне графічнага працэсара (вылічэнні + памяць)
-
Пікі відэапамяці / аператыўнай памяці
-
Кошт за 1 тыс. токенаў (або за вывад)
Практычны падыход да прафілявання
-
Апішыце адзін сцэнар, які вас цікавіць (не цацка-падказка).
-
Запісвайце ўсё ў маленькі «дзённік прадукцыйнасці».
Так, гэта нудна... але гэта ратуе вас ад газлайтынгу пазней.
(Калі вам патрэбен канкрэтны інструмент для пачатку: звычайнымі падазраванымі з'яўляюцца PyTorch Profiler ( дакументацыя torch.profiler ) і Nsight Systems ( NVIDIA Nsight Systems
5) Аптымізацыя дадзеных + навучання: ціхая звышздольнасць 📦🚀
Людзі зацыкліваюцца на архітэктуры мадэлі і забываюць пра канвеер. Тым часам канвеер ціха спальвае палову графічнага працэсара.
Лёгкія перамогі, якія хутка з'яўляюцца
-
Выкарыстоўвайце змешаную дакладнасць (FP16/BF16, дзе стабільна) ( PyTorch AMP / torch.amp ).
Звычайна хутчэй, часта добра — але сачыце за лікавымі асаблівасцямі. -
Назапашванне градыенту пры абмежаваным памеры пакета ( 🤗 Кіраўніцтва па паскарэнні ).
Забяспечвае стабільнасць аптымізацыі без перагрузкі памяці. -
Кантрольныя пункты градыенту ( torch.utils.checkpoint )
замяняюць вылічэнні на памяць — робяць магчымымі большыя кантэксты. -
Эфектыўная токенізацыя ( 🤗 Токенізатары ).
Такенізацыя можа стаць вузкім месцам у вялікіх маштабах. Гэта не гламурна; гэта важна. -
Налада загрузніка дадзеных.
Больш рабочых працэсаў, зафіксаваная памяць, папярэдняя выбарка — непрыкметна, але эфектыўна 😴➡️💪 ( Кіраўніцтва па наладзе прадукцыйнасці PyTorch )
Параметрычна эфектыўная тонкая налада
Калі вы ўдасканальваеце буйныя мадэлі, метады PEFT (напрыклад, адаптары тыпу LoRA) могуць значна знізіць кошт навучання, застаючыся пры гэтым дзіўна моцнымі ( 🤗 Кіраўніцтва па PEFT для Transformers , артыкул па LoRA ). Гэта адзін з тых момантаў, калі ўзнікае пытанне «чаму мы не зрабілі гэтага раней?».
6) Аптымізацыя на ўзроўні архітэктуры: правільны памер мадэлі 🧩
Часам найлепшы спосаб аптымізацыі — гэта… перастаць выкарыстоўваць мадэль, якая занадта вялікая для працы. Ведаю, гэта святатацтва 😄.
Зрабіце званок, маючы некалькі асноўных момантаў:
-
Вырашыце, ці патрэбны вам поўны агульны інтэлектуальны агляд, ці спецыяліст.
-
Павялічвайце памер кантэкстнага акна да неабходнага, а не да большага.
-
Выкарыстоўвайце мадэль, падрыхтаваную для дадзенай задачы (мадэлі класіфікацыі для класіфікацыйнай працы і г.д.).
Практычныя стратэгіі правільнага памеру
-
Пераключыцеся на меншую магістраль для большасці запытаў,
а затым перанакіруйце «складаныя запыты» на больш буйную мадэль. -
Выкарыстоўвайце двухэтапную наладу.
Хуткае стварэнне чарнавікоў мадэляў, праверка або рэдагаванне больш надзейнай мадэлі.
Гэта як пісаць з сябрам, які пераборлівы — раздражняе, але эфектыўна. -
Скарачэнне даўжыні вываду
Вывадныя токены каштуюць грошай і часу. Калі ваша мадэль бязладная, вы плаціце за бязладнасць.
Я бачыў, як каманды значна скарачалі выдаткі, выконваючы больш кароткія тэрміны выканання. Гэта здаецца дробяззю. Але гэта працуе.
7) Кампілятар + аптымізацыя графаў: адкуль бярэцца хуткасць 🏎️
Гэта ўзровень «прымусіць камп'ютар рабіць больш разумныя камп'ютэрныя рэчы».
Распаўсюджаныя метады:
-
Аб'яднанне аператараў (аб'яднанне ядраў) ( NVIDIA TensorRT «аб'яднанне слаёў» )
-
Канстантнае згортванне (папярэдняе вылічэнне фіксаваных значэнняў) ( аптымізацыя графаў ONNX Runtime )
-
Выбар ядра, адаптаваны да абсталявання
-
Захоп графаў для зніжэння накладных выдаткаў на Python ( агляд
torch.compile)
Простымі словамі: ваша мадэль можа быць хуткай матэматычна, але павольнай у аперацыйным плане. Кампілятары выпраўляюць частку гэтага.
Практычныя нататкі (г.зн. шнары)
-
Гэтыя аптымізацыі могуць быць адчувальныя да змен формы мадэлі.
-
Некаторыя мадэлі значна паскараюцца, некаторыя амаль не рухаюцца з месца.
-
Часам узнікае паскаранне і загадкавая памылка — быццам бы грэмлін засяліўся 🧌
Тым не менш, калі гэта працуе, гэта адна з самых чыстых перамог.
8) Квантаванне, абрэзка, дыстыляцыя: меншыя памеры без плакання (занадта шмат) 🪓📉
Гэта той раздзел, які людзі хочуць бачыць... бо гучыць як бясплатны выступ. Магчыма, так і ёсць, але да гэтага трэба ставіцца як да хірургічнага ўмяшання.
Квантаванне (вагавыя каэфіцыенты/актывацыі з меншай дакладнасцю)
-
Выдатна падыходзіць для хуткасці высноў і памяці
-
Рызыка: падзенне якасці, асабліва ў перыферыйных выпадках
-
Найлепшая практыка: ацэньвайце на рэальным тэставым наборы, а не на вібрацыях
Распаўсюджаныя смакі, пра якія вы пачуеце:
-
INT8 (часта цвёрды) ( квантаваныя тыпы TensorRT )
-
INT4 / нізкабітны (вялікая эканомія, рызыка якасці павялічваецца) ( квантаванне bitsandbytes k-біт )
-
Змешаная колькасць (не ўсім патрэбна аднолькавая дакладнасць)
Абрэзка (выдаленне параметраў)
-
Выдаляе «няважныя» вагі або структуры ( падручнік па абрэзцы PyTorch )
-
Звычайна патрабуецца перападрыхтоўка для аднаўлення якасці
-
Працуе лепш, чым людзі думаюць... калі рабіць гэта акуратна
Дыстыляцыя (вучань вучыцца ў настаўніка)
Гэта мой асабісты любімы доўгатэрміновы рычаг. Дыстыляцыя можа стварыць меншую мадэль, якая паводзіць сябе падобным чынам, і яна часта больш стабільная, чым экстрэмальная квантаванне ( Дыстыляцыя ведаў у нейроннай сетцы ).
Нядасканалая метафара: дыстыляцыя — гэта як праліць складаны суп праз фільтр і атрымаць… меншы суп. Суп атрымліваецца не так, але вы зразумелі 🍲.
9) Падача і высновы: сапраўдная зона бітвы 🧯
Можна «аптымізаваць» мадэль і ўсё роўна дрэнна яе абслугоўваць. Менавіта абслугоўванне становіцца рэальным фактарам затрымкі і выдаткаў.
Падача перамагае, што мае значэнне
-
Пакетная апрацоўка
паляпшае прапускную здольнасць. Але павялічвае затрымку, калі перашчыраваць. Збалансуйце яе. ( Дынамічнае пакетная апрацоўка Triton ) -
Кэшаванне
Кэшаванне запытаў і паўторнае выкарыстанне кэша KV могуць быць вельмі велізарнымі для паўтаральных кантэкстаў. ( Тлумачэнне кэша KV ) -
Струменевая перадача
Карыстальнікі адчуваюць, што гэта хутчэй, нават калі агульны час падобны. Успрыманне мае значэнне 🙂. -
Зніжэнне накладных выдаткаў для кожнага токена.
Некаторыя стэкі выконваюць дадатковую працу на кожны токен. Знізьце гэтыя накладныя выдаткі, і вы выйграеце па-крупному.
Звярніце ўвагу на затрымку хваста
Ваш сярэдні паказчык можа выглядаць выдатна, а ваш p99 — гэта катастрофа. На жаль, карыстальнікі жывуць у хвасце. ( «Затрымка хваста» і чаму сярэднія паказчыкі хлусяць )
10) Аптымізацыя з улікам абсталявання: супастаўленне мадэлі з машынай 🧰🖥️
Аптымізацыя без уліку апаратнага забеспячэння — гэта як цюнінг гоначнага аўтамабіля без праверкі шын. Вядома, вы можаце гэта зрабіць, але гэта крыху глупа.
Меркаванні па выкарыстанні графічнага працэсара
-
Прапускная здольнасць памяці часта з'яўляецца абмежавальным фактарам, а не неапрацаваныя вылічэнні
-
Большыя памеры партый могуць дапамагчы, пакуль яны не перастануць
-
Аптымізацыя зліцця ядра і ўвагі вельмі важныя для трансфарматараў ( FlashAttention: дакладная ўвага з улікам уводу-вываду ).
Меркаванні адносна працэсара
-
Патокі, вектарызацыя і лакальнасць памяці маюць вялікае значэнне
-
Накладныя выдаткі на токенізацыю могуць дамінаваць ( 🤗 «хуткія» токенізаторы )
-
Вам могуць спатрэбіцца іншыя стратэгіі квантавання, чым на GPU
Агляды перыферыйных / мабільных прылад
-
Аб'ём памяці становіцца прыярытэтам нумар адзін
-
Варыянтнасць затрымкі мае значэнне, таму што прылады… капрызныя
-
Меншыя спецыялізаваныя мадэлі часта пераўзыходзяць буйныя агульныя мадэлі
11) Якасныя бар'еры: не «аптымізуйце» сябе да стану памылкі 🧪
Кожная перамога ў хуткасці павінна суправаджацца праверкай якасці. Інакш вы будзеце святкаваць, адпраўляць, а потым атрымаеце паведамленне накшталт: «чаму памочнік раптам пачаў размаўляць як пірат?» 🏴☠️
Прагматычныя агароджы:
-
Залатыя падказкі (фіксаваны набор падказак, якія вы заўсёды правяраеце)
-
Паказчыкі задачы (дакладнасць, F1, BLEU, што заўгодна)
-
Выбарачныя праверкі людзьмі (так, сур'ёзна)
-
Парогі рэгрэсіі («дапускаецца падзенне не больш чым на X%)
Таксама адсочвайце рэжымы збояў:
-
зрух фарматавання
-
змены ў паводзінах пры адмове
-
частата галюцынацый
-
інфляцыя даўжыні водгуку
Аптымізацыя можа змяніць паводзіны нечаканым чынам. Дзіўна. Раздражняюча. Прадказальна, азіраючыся назад.
12) Кантрольны спіс: Як аптымізаваць мадэлі штучнага інтэлекту крок за крокам ✅🤖
Калі вам патрэбен выразны парадак дзеянняў для аптымізацыі мадэляў штучнага інтэлекту , вось працоўны працэс, які дапамагае людзям заставацца здаровымі:
-
Вызначэнне поспеху.
Выберыце 1-2 асноўныя паказчыкі (затрымка, кошт, прапускная здольнасць, якасць). -
Вымярэнне базавага
профілю рэальных нагрузак, запіс p50/p95, памяці, выдаткаў. ( PyTorch Profiler ) -
Выпраўленне вузкіх месцаў у канвееры
Загрузка дадзеных, токенізацыя, папярэдняя апрацоўка, пакетная аб'яднанне. -
Ужывайце выйгрышы ў вылічэннях з нізкім узроўнем рызыкі:
змешаная дакладнасць, аптымізацыя ядра, лепшая пакетная апрацоўка. -
Паспрабуйце аптымізацыю кампілятара/асяроддзя выканання:
захоп графаў, асяроддзе выканання вываду, аб'яднанне аператараў ( падручнікпа torch.compile, дакументацыя па асяроддзі выканання ONNX ). -
Зніжэнне кошту мадэлі
. Старанна квантызуйце, дыстылюйце, калі магчыма, і скарачайце, калі гэта неабходна. -
Кэшаванне абслугоўвання
налад, паралельнасць, тэставанне нагрузкі, выпраўленні затрымкі хваста. -
Праверка якасці.
Запуск рэгрэсійных тэстаў і параўнанне вынікаў. -
Паўтарайце.
Невялікія змены, зразумелыя нататкі, паўтарайце. Непрыкметна — эфектыўна.
І так, гэта ўсё яшчэ « Як аптымізаваць мадэлі штучнага інтэлекту», нават калі гэта больш падобна на «Як перастаць наступаць на граблі». Тое ж самае.
13) Распаўсюджаныя памылкі (каб вы іх не паўтаралі, як астатнія з нас) 🙃
-
Аптымізацыя перад вымярэннем.
Вы змарнуеце час. А потым будзеце аптымізаваць няправільныя рэчы з упэўненасцю... -
Пагоня за адзіным эталонам.
Эталоны хлусяць з-за недагляду. Ваша нагрузка — гэта праўда. -
Ігнараванне памяці
Праблемы з памяццю выклікаюць запаволенне, збоі і дрыжанне. ( Разуменне выкарыстання памяці CUDA ў PyTorch ) -
Занадта ранняя
празмерная квантацыя. Квантаванне з нізкім узроўнем разраднасці можа быць цудоўным, але спачатку пачніце з больш бяспечных крокаў. -
Няма плана адкату.
Калі вы не можаце хутка адкаціцца, кожнае разгортванне становіцца стрэсавым. Стрэс стварае памылкі.
Заключныя нататкі: Чалавечы спосаб аптымізацыі 😌⚡
Аптымізацыя мадэляў штучнага інтэлекту — гэта не аднаразовы ўзлом. Гэта шматслаёвы працэс: вымярэнне, выпраўленне канвеера, выкарыстанне кампілятараў і асяроддзяў выканання, налада абслугоўвання, а затым сцісканне мадэлі з дапамогай квантызацыі або дыстыляцыі, калі трэба. Рабіце гэта пакрокава, захоўвайце кантроль якасці і не спадзявайцеся на тое, што «гэта адчуваецца хутчэй» як на метрыку (вашы пачуцці цудоўныя, вашы пачуцці — гэта не прафайлер).
Калі вы хочаце атрымаць ежу на вынас найкарацейшым чынам:
-
Спачатку вымерайце 🔍
-
Аптымізуйце канвеер далей 🧵
-
Затым аптымізуйце мадэль 🧠
-
Затым аптымізуйце падачу 🏗️
-
Заўсёды правярайце якасць ✅
І калі гэта дапаможа, нагадайце сабе: мэта не ў «ідэальнай мадэлі». Мэта ў мадэлі, якая будзе хуткай, даступнай і дастаткова надзейнай, каб вы маглі спаць па начах… амаль кожны дзень 😴.
Часта задаваныя пытанні
Што азначае аптымізацыя мадэлі штучнага інтэлекту на практыцы
«Аптымізацыя» звычайна азначае паляпшэнне аднаго асноўнага абмежавання: затрымкі, кошту, аб'ёму памяці, дакладнасці, стабільнасці або прапускной здольнасці. Найцяжэйшай часткай з'яўляюцца кампрамісы — паляпшэнне адной вобласці можа паўплываць на іншую. Практычны падыход заключаецца ў выбары выразнай мэты (напрыклад, затрымкі p95 або суадносін часу і якасці) і аптымізацыі ў адпаведнасці з ёй. Без мэты лёгка «паляпшаць» і ўсё роўна прайграць.
Як аптымізаваць мадэлі штучнага інтэлекту без непрыкметнай шкоды для якасці
Разглядайце кожную змену хуткасці або кошту як патэнцыйную ціхую рэгрэсію. Выкарыстоўвайце такія ахоўныя бар'еры, як залатыя падказкі, метрыкі задач і хуткія выбарачныя праверкі чалавекам. Усталюйце выразны парог для прымальнага зрушэння якасці і параўноўвайце вынікі побач. Гэта не дазволіць «гэта хутчэй» ператварыцца ў «чаму гэта раптам стала дзіўным у прадукцыйнасці?» пасля адпраўкі.
Што трэба вымераць перад пачаткам аптымізацыі
Пачніце з працэнтыляў затрымкі (p50, p95, p99), прапускной здольнасці (токены/сек або запыты/сек), выкарыстання графічнага працэсара і пікавай магутнасці відэапамяці/аператыўнай памяці. Адсочвайце кошт за вывад або за 1 тыс. токенаў, калі кошт з'яўляецца абмежаваннем. Прадстаўце рэальны сцэнар, які вы абслугоўваеце, а не цацачную падказку. Вядзенне невялікага «дзённіка прадукцыйнасці» дапаможа вам пазбегнуць здагадак і паўтарэння памылак.
Хуткія перамогі з нізкай рызыкай для паляпшэння трэніровачных вынікаў
Змяшаная дакладнасць (FP16/BF16) часта з'яўляецца самым хуткім першым рычагом, але будзьце ўважлівыя да лікавых асаблівасцей. Калі памер пакета абмежаваны, назапашванне градыенту можа стабілізаваць аптымізацыю без марнавання памяці. Кантрольныя пункты градыенту абменьваюць дадатковыя вылічэнні на меншы аб'ём памяці, што дазваляе выкарыстоўваць больш шырокія кантэксты. Не ігнаруйце токенізацыю і наладу загрузніка дадзеных — яны могуць ціха вымотваць графічны працэсар.
Калі выкарыстоўваць torch.compile, ONNX Runtime або TensorRT
Гэтыя інструменты накіраваны на выдаткі на эксплуатацыю: захоп графаў, аб'яднанне ядра і аптымізацыю графаў падчас выканання. Яны могуць забяспечыць выразнае паскарэнне вываду, але вынікі адрозніваюцца ў залежнасці ад формы мадэлі і апаратнага забеспячэння. Некаторыя налады адчуваюцца як магія; іншыя ледзь рухаюцца. Будзьце гатовыя да адчувальнасці да змен формы і выпадковых памылак "грэмлінаў" - вымерайце да і пасля на рэальнай нагрузцы.
Ці варта квантаванне таго, і як пазбегнуць занадта вялікай ступені
Квантаванне можа скараціць аб'ём памяці і паскорыць вывад, асабліва з INT8, але якасць можа пагоршыцца ў памежных выпадках. Варыянты з меншай разраднасцю (напрыклад, INT4/k-біт) даюць большую эканомію пры большай рызыке. Найбольш бяспечная звычка — ацэньваць на рэальным тэставым наборы і параўноўваць вынікі, а не інтуіцыю. Пачніце з больш бяспечных крокаў, а потым пераходзьце да меншай дакладнасці толькі пры неабходнасці.
Розніца паміж абрэзкай і дыстыляцыяй для памяншэння памеру мадэлі
Абрэзка выдаляе параметры «мёртвай вагі» і часта патрабуе перанавучання для аднаўлення якасці, асабліва калі гэта робіцца агрэсіўна. Дыстыляцыя навучае меншую мадэль вучня імітаваць паводзіны большага настаўніка, і гэта можа быць больш эфектыўнай доўгатэрміновай аддачай ад інвестыцый, чым экстрэмальная квантаванне. Калі вам патрэбна меншая мадэль, якая паводзіць сябе падобным чынам і застаецца стабільнай, дыстыляцыя часта з'яўляецца больш чыстым шляхам.
Як знізіць кошт вываду і затрымку праз паляпшэнне абслугоўвання
Аптымізацыя становіцца адчувальнай менавіта ў абслугоўванні: пакетная апрацоўка павялічвае прапускную здольнасць, але можа пагоршыць затрымку, калі яе перабраць, таму старанна яе наладжвайце. Кэшаванне (хуткае кэшаванне і паўторнае выкарыстанне KV-кэша) можа быць вельмі вялікім, калі кантэксты паўтараюцца. Струменевая перадача вываду паляпшае ўспрыманую хуткасць, нават калі агульны час падобны. Таксама звяртайце ўвагу на накладныя выдаткі на кожны токен у вашым стэку — невялікая праца на кожны токен хутка назапашваецца.
Чаму затрымка хваста так важная пры аптымізацыі мадэляў штучнага інтэлекту
Сярэднія паказчыкі могуць выглядаць выдатна, у той час як p99 — гэта катастрофа, і карыстальнікі, як правіла, жывуць у хвасце. Затрымка хваста часта ўзнікае з-за дрыгацення: фрагментацыі памяці, рэзкіх скачкоў папярэдняй апрацоўкі працэсара, запаволення токенізацыі або дрэннай паводзін пакетнай апрацоўкі. Вось чаму ў кіраўніцтве робіцца акцэнт на працэнтылях і рэальных нагрузках. Калі вы аптымізуеце толькі p50, вы ўсё роўна можаце стварыць вопыт, які «выпадкова здаецца павольным»
Спасылкі
-
Amazon Web Services (AWS) - перцэнтылі AWS CloudWatch (вызначэнні статыстыкі) - docs.aws.amazon.com
-
Google - Хвост у маштабе (лепшая практыка па затрымцы хваста) - sre.google
-
Google - Мэты ўзроўню абслугоўвання (Кніга SRE) - працэнтылі затрымкі - sre.google
-
PyTorch — torch.compile — docs.pytorch.org
-
PyTorch - FullyShardedDataParallel (FSDP) - docs.pytorch.org
-
PyTorch - PyTorch Profiler - docs.pytorch.org
-
PyTorch - Семантыка CUDA: кіраванне памяццю (нататкі па размеркавальніку памяці CUDA) - docs.pytorch.org
-
PyTorch - аўтаматычная змешаная дакладнасць (torch.amp / AMP) - docs.pytorch.org
-
PyTorch — torch.utils.checkpoint — docs.pytorch.org
-
PyTorch - Кіраўніцтва па наладзе прадукцыйнасці - docs.pytorch.org
-
PyTorch - Падручнік па абрэзцы - docs.pytorch.org
-
PyTorch - Разуменне выкарыстання памяці CUDA ў PyTorch - docs.pytorch.org
-
PyTorch - падручнік / агляд па torch.compile - docs.pytorch.org
-
Асяроддзе выканання ONNX - Дакументацыя па асяроддзі выканання ONNX - onnxruntime.ai
-
NVIDIA - Дакументацыя па TensorRT - docs.nvidia.com
-
NVIDIA - Квантаваныя тыпы TensorRT - docs.nvidia.com
-
NVIDIA - Сістэмы Nsight - developer.nvidia.com
-
NVIDIA - Сервер вываду Triton - дынамічнае пакетнае кіраванне - docs.nvidia.com
-
DeepSpeed - дакументацыя па ZeRO Stage 3 - deepspeed.readthedocs.io
-
bitsandbytes (фонд bitsandbytes) - bitsandbytes - github.com
-
Абдымаючы твар - Паскарэнне: Кіраўніцтва па назапашванні градыенту - huggingface.co
-
Hugging Face - дакументацыя па токенаізатарах - huggingface.co
-
Абдымаючы твар - Трансформеры: кіраўніцтва па PEFT - huggingface.co
-
Абдымаючы твар - Трансформеры: КВ тлумачэнне схованкі - huggingface.co
-
Hugging Face - Трансформеры: «Хуткія» токенізатары (класы токенізатараў) - huggingface.co
-
arXiv - Дыстыляцыя ведаў у нейроннай сетцы (Хінтан і інш., 2015) - arxiv.org
-
arXiv - LoRA: нізкарангавая адаптацыя мадэляў вялікіх моў - arxiv.org
-
arXiv - FlashAttention: Хуткая і эфектыўная па памяці дакладная ўвага з усведамленнем уводу-вываду - arxiv.org