Наколькі дакладны штучны інтэлект? [Відэа і віктарына]

Кароткі адказ: штучны інтэлект можа быць вельмі дакладным у вузкіх, добра акрэсленых задачах з выразна акрэсленымі дадзенымі, але «дакладнасць» — гэта не адзіны паказчык, якому можна ўніверсальна давяраць. Ён мае сілу толькі тады, калі задача, дадзеныя і паказчыкі адпавядаюць аперацыйным умовам; калі ўваходныя дадзеныя зрушваюцца або задачы становяцца некантраляванымі, памылкі і галюцынацыі ўпэўненасці растуць.

Асноўныя высновы:

Адпаведнасць задачы: дакладна вызначце задачу, каб можна было праверыць «правільнае» і «няправільнае».

Выбар метрыкі: супастаўце метрыкі ацэнкі з рэальнымі наступствамі, а не з традыцыяй ці зручнасцю.

Тэставанне рэальнасці: выкарыстоўвайце прадстаўнічыя, зашумленыя дадзеныя і стрэс-тэсты па-за размеркаваннем.

Каліброўка: вымяраецца, ці адпавядае ўпэўненасць правільнасці, асабліва для парогавых значэнняў.

Маніторынг жыццёвага цыклу: пастаянна пераацэньвайце, паколькі карыстальнікі, дадзеныя і асяроддзі змяняюцца з цягам часу.

Артыкулы, якія вам могуць спадабацца пасля гэтага:

🔗 Як крок за крокам вывучыць штучны інтэлект
Зручны для пачаткоўцаў план, каб пачаць упэўнена вывучаць штучны інтэлект.

🔗 Як штучны інтэлект выяўляе анамаліі ў дадзеных
Тлумачыць метады, якія штучны інтэлект выкарыстоўвае для аўтаматычнага выяўлення незвычайных заканамернасцей.

🔗 Чаму штучны інтэлект можа быць шкодным для грамадства
Ахоплівае такія рызыкі, як прадузятасць, уплыў на працоўныя месцы і праблемы з прыватнасцю.

🔗 Што такое набор дадзеных штучнага інтэлекту і чаму ён важны
Вызначае наборы дадзеных і тое, як яны навучаюць і ацэньваюць мадэлі штучнага інтэлекту.

1) Дык… Наколькі дакладны штучны інтэлект?🧠✅

Штучны інтэлект можа быць надзвычай дакладным у вузкіх, добра акрэсленых задачах, асабліва калі «правільны адказ» адназначны і яго лёгка ацаніць.

Але ў задачах з адкрытым канцом (асабліва ў генератыўным штучным інтэлекце, такім як чат-боты), «дакладнасць» хутка пагаршаецца, таму што:

• можа быць некалькі прымальных адказаў

• вынік можа быць плаўным, але не грунтуецца на фактах

• мадэль можа быць настроена на вібрацыі «карыснасці», а не на строгую карэктнасць

• свет змяняецца, і сістэмы могуць адставаць ад рэальнасці

Карысная ментальная мадэль: дакладнасць — гэта не ўласцівасць, якой вы «маеце». Гэта ўласцівасць, якую вы «зарабляеце» для выканання канкрэтнай задачы, у канкрэтным асяроддзі, з канкрэтнай устаноўкай вымярэнняў. Вось чаму сур'ёзныя рэкамендацыі разглядаюць ацэнку як дзейнасць жыццёвага цыклу, а не як аднаразовы момант на табло. [1]

2) Дакладнасць — гэта не адна рэч — гэта цэлая стракатая сям'я 👨👩👧👦📏

Калі людзі кажуць «дакладнасць», яны могуць мець на ўвазе што-небудзь з гэтага (і часта яны маюць на ўвазе адразу два з іх, не ўсведамляючы гэтага):

• Правільнасць: ці атрымалася правільная метка / адказ?

• Дакладнасць супраць поўнай адзнакі: ці ўдалося пазбегнуць ілжывых трывог ці ўсё злавіць?

• Каліброўка: калі напісана «Я ўпэўнены на 90%, ці сапраўды гэта правільна прыкладна ў 90% выпадкаў? [3]

• Надзейнасць: ці працуе праграма, калі ўваходныя дадзеныя крыху змяняюцца (шум, новая фраза, новыя крыніцы, новыя дэмаграфічныя дадзеныя)?

• Надзейнасць: ці паводзіць сябе яно паслядоўна ў чаканых умовах?

• Праўдзівасць / факталогічнасць (генератыўны штучны інтэлект): ці гэта выдумкі (галюцынацыі) упэўненым тонам? [2]

Вось чаму фрэймворкі, арыентаваныя на давер, не разглядаюць «дакладнасць» як адзіны паказчык. Яны абмяркоўваюць валіднасць, надзейнасць, бяспеку, празрыстасць, устойлівасць, справядлівасць і іншае як адзіны комплекс — таму што можна «аптымізаваць» адно і выпадкова парушыць іншае. [1]

3) Што робіць версію вымярэння «Наколькі дакладны штучны інтэлект» добрай? 🧪🔍

Вось спіс «добрай версіі» (той, якую людзі прапускаюць... а потым шкадуюць):

✅ Зразумелае вызначэнне задачы (г.зн.: зрабіць яе тэставальнай)

• «Рэзюмэ» — гэта расплывістае слова.

• «Рэзюмуйце ў 5 пунктах, уключыце 3 канкрэтныя лічбы з крыніцы і не выдумляйце спасылкі» — гэта можна праверыць.

✅ Тыповыя тэставыя дадзеныя (г.зн.: спыніць ацэньванне ў лёгкім рэжыме)

Калі ваш тэставы набор занадта чысты, дакладнасць будзе выглядаць фальшыва добрай. Рэальныя карыстальнікі прыносяць памылкі друку, дзіўныя памежныя выпадкі і энергію тыпу «я напісаў гэта на сваім тэлефоне а 2-й гадзіне ночы».

✅ Паказчык, які адпавядае рызыцы

Няправільная класіфікацыя мема — гэта не тое ж самае, што няправільная класіфікацыя медыцынскага папярэджання. Вы не выбіраеце паказчыкі, зыходзячы з традыцый — вы выбіраеце іх, зыходзячы з наступстваў. [1]

✅ Тэставанне пасля распаўсюджвання (г. зн.: «што адбудзецца, калі рэальнасць стане відавочнай?»)

Паспрабуйце дзіўныя фармулёўкі, неадназначныя ўваходныя дадзеныя, супярэчлівыя падказкі, новыя катэгорыі, новыя перыяды часу. Гэта важна, таму што зрух размеркавання — гэта класічны спосаб мадэлявання ў прадукцыйнай вытворчасці. [4]

✅ Пастаянная ацэнка (г.зн.: дакладнасць — гэта не функцыя «наладзіў і забыўся»)

Сістэмы дрэйфуюць. Карыстальнікі мяняюцца. Дадзеныя мяняюцца. Ваша «выдатная» мадэль ціха дэградуе — калі вы не вымяраеце яе пастаянна. [1]

Невялікая рэальная заканамернасць, якую вы пазнаеце: каманды часта выступаюць з высокай «дэманстрацыйнай дакладнасцю», а потым выяўляюць, што іх сапраўдным спосабам няўдачы з'яўляюцца не «няправільныя адказы»... а «няправільныя адказы, прадстаўленыя ўпэўнена і ў маштабе». Гэта праблема дызайну ацэнкі, а не проста праблема мадэлі.

4) Дзе штучны інтэлект звычайна вельмі дакладны (і чаму) 📈🛠️

Штучны інтэлект звычайна праяўляецца, калі праблема ў наступным:

• вузкі

• добра пазначаны

• стабільны з цягам часу

• падобна размеркаванню навучання

• лёгка аўтаматычна набіраць балы

Прыклады:

• Фільтрацыя спаму

• Выманне дакументаў у адпаведнасці з макетамі

• Цыклы ранжыравання/рэкамендацый з вялікай колькасцю сігналаў зваротнай сувязі

• Шмат задач па класіфікацыі зроку ў кантраляваных умовах

Сумная звышздольнасць, якая стаіць за многімі з гэтых перамог: ясная праўда + мноства адпаведных прыкладаў. Не гламурна — надзвычай эфектыўна.

5) Дзе дакладнасць штучнага інтэлекту часта пагаршаецца 😬🧯

Гэта тое, што людзі адчуваюць да мозгу касцей.

Галюцынацыі ў генератыўным штучным інтэлекце 🗣️🌪️

Магістр права (LLM) можа ствараць праўдападобны, але не адпавядае фактам кантэнту, і менавіта «праўдападобная» частка з'яўляецца прычынай яго небяспекі. Гэта адна з прычын, чаму генератыўныя рэкамендацыі па рызыках штучнага інтэлекту надаюць такую ​​вялікую ўвагу абгрунтаванню, дакументацыі і вымярэнню, а не дэманстрацыям, заснаваным на вібрацыях. [2]

Змена размеркавання 🧳➡️🏠

Мадэль, навучаная ў адным асяроддзі, можа спатыкнуцца ў іншым: іншая мова карыстальніка, іншы каталог прадуктаў, іншыя рэгіянальныя нормы, іншы перыяд часу. Такія бенчмаркі, як WILDS, існуюць у асноўным для таго, каб крычаць: «прадукцыйнасць у дыстрыбуцыі можа значна перавышаць рэальную прадукцыйнасць». [4]

Стымулы, якія ўзнагароджваюць упэўненыя здагадкі 🏆🤥

У некаторых сістэмах выпадкова ўзнагароджваецца паводзіна «заўсёды адказвай» замест «адказвай толькі тады, калі ведаеш». Такім чынам, сістэмы вучацца гучаць правільна, а не быць правільнымі. Вось чаму ацэнка павінна ўключаць паводзіны ўстрымання/нявызначанасці, а не толькі працэнт неапрацаваных адказаў. [2]

Рэальныя здарэнні і аперацыйныя збоі 🚨

Нават моцная мадэль можа даць збой як сістэма: дрэннае атрыманне дадзеных, састарэлыя дадзеныя, парушаныя агароджы або працоўны працэс, які ціха накіроўвае мадэль у абыход праверак бяспекі. Сучасныя рэкамендацыі разглядаюць дакладнасць як частку больш шырокай надзейнасці сістэмы, а не толькі як ацэнку мадэлі. [1]

6) Недаацэненая звышздольнасць: каліброўка (г.зн. «веданне таго, чаго ты не ведаеш») 🎚️🧠

Нават калі дзве мадэлі маюць аднолькавую «дакладнасць», адна з іх можа быць значна бяспечнейшай, таму што яна:

• належным чынам выказвае нявызначанасць

• пазбягае празмерна ўпэўненых няправільных адказаў

• дае верагоднасці, якія адпавядаюць рэальнасці

Каліброўка — гэта не толькі акадэмічная тэма, але і тое, што робіць упэўненасць практычнай. Класічнай адкрыццём у сучасных нейронных сетках з'яўляецца тое, што паказчык упэўненасці можа не супадаць з сапраўднай правільнасцю, калі вы не адкалібруеце або не вымераеце яго відавочна. [3]

Калі ў вашым канвееры выкарыстоўваюцца парогі, такія як «аўтаматычнае зацвярджэнне вышэй за 0,9», каліброўка — гэта розніца паміж «аўтаматызацыяй» і «аўтаматызаваным хаосам»

7) Як ацэньваецца дакладнасць штучнага інтэлекту для розных тыпаў штучнага інтэлекту 🧩📚

Для класічных мадэляў прагназавання (класіфікацыя/рэгрэсія) 📊

Агульныя паказчыкі:

• Дакладнасць, прэцызійнасць, запамінанне, F1

• ROC-AUC / PR-AUC (часта лепш падыходзіць для праблем з незбалансаванасцю)

• Калібровачныя праверкі (крывыя надзейнасці, меркаванні ў стылі чаканай памылкі каліброўкі) [3]

Для моўных мадэляў і памочнікаў 💬

Ацэнка становіцца шматмернай:

• правільнасць (калі задача мае ўмову праўдзівасці)

• выкананне інструкцый

• бяспека і паводзіны пры адмове (добрыя адмовы дзіўна складаныя)

• факталагічнае абгрунтаванне / цытаванне (калі гэта патрабуецца ў вашым выпадку выкарыстання)

• надзейнасць у розных падказках і стылях карыстальнікаў

Адзін з галоўных унёскаў «цэласнага» ацэначнага мыслення — гэта выразнае выкладанне пункту гледжання: вам патрэбныя некалькі паказчыкаў па розных сцэнарыях, таму што кампрамісы рэальныя. [5]

Для сістэм, пабудаваных на LLM (працоўныя працэсы, агенты, пошук) 🧰

Цяпер вы ацэньваеце ўвесь канвеер:

• якасць пошуку (ці атрымана правільная інфармацыя?)

• логіка інструмента (ці адпавядала яно працэсу?)

• якасць вываду (ці правільна і карысна?)

• агароджы (ці ўдалося пазбегнуць рызыкоўных паводзін?)

• маніторынг (ці выяўлялі вы збоі ў рэальных умовах?) [1]

Слабое звяно ў любым месцы можа зрабіць усю сістэму «недакладнай», нават калі базавая мадэль прыстойная.

8) Параўнальная табліца: практычныя спосабы ацаніць «Наколькі дакладны штучны інтэлект?» 🧾⚖️

Прызнанне ў асаблівасці фарматавання: «Бясплатнасць» тут вельмі важная, бо рэальны кошт часта складае чалавека-гадзіны, а не ліцэнзіі 😅

9) Як зрабіць штучны інтэлект больш дакладным (практычныя рычагі) 🔧✨

Лепшыя дадзеныя і лепшыя тэсты 📦🧪

• Разгарнуць памежныя выпадкі

• Збалансуйце рэдкія, але крытычныя сцэнарыі

• Захоўвайце «залаты набор», які адлюстроўвае рэальны боль карыстальніка (і пастаянна яго абнаўляйце)

Падрыхтоўка да факталагічных задач 📚🔍

Калі вам патрэбна фактычная надзейнасць, выкарыстоўвайце сістэмы, якія атрымліваюць інфармацыю з надзейных дакументаў і адказваюць на іх аснове. Шмат якія рэкамендацыі па кіраванні рызыкамі, звязанымі з генератыўным штучным інтэлектам, сканцэнтраваны на дакументацыі, паходжанні і наладах ацэнкі, якія скарачаюць колькасць выдуманага кантэнту , а не проста спадзяюцца, што мадэль «павядзе сябе належным чынам». [2]

Больш моцныя цыклы ацэнкі 🔁

• Выконваць ацэнкі для кожнага значнага змянення

• Сачыце за рэгрэсіямі

• Стрэс-тэст на наяўнасць дзіўных падказак і шкоднасных уводаў

Заахвочвайце адкалібраваную паводзіны 🙏

• Не карайце занадта моцна за «Я не ведаю»

• Ацаніце якасць устрымання, а не толькі ўзровень адказаў

• Ставіцеся да ўпэўненасці як да чагосьці, што вы вымяраеце і правяраеце, а не як да чагосьці, што прымаеце па вібрацыях [3]

10) Кароткая праверка інтуіцыі: калі варта давяраць дакладнасці штучнага інтэлекту? 🧭🤔

Больш давярайце, калі:

• задача вузкая і паўтаральная

• выхады можна праверыць аўтаматычна

• сістэма кантралюецца і абнаўляецца

• упэўненасць калібруецца, і яна можа ўстрымлівацца [3]

Менш давярайце, калі:

• стаўкі высокія, а наступствы рэальныя

• тэма адкрытая («раскажы мне ўсё пра…») 😵💫

• няма зазямлення, няма этапу праверкі, няма праверкі чалавекам

• сістэма паводзіць сябе ўпэўнена па змаўчанні [2]

Трохі няўдалая метафара: спадзявацца на неправераны штучны інтэлект для прыняцця важных рашэнняў — гэта як есці сушы, якія ляжалі на сонцы... усё можа быць добра, але ваш страўнік рызыкуе, на што вы не падпісваліся.

11) Заключныя нататкі і кароткі змест 🧃✅

Дык наколькі дакладны штучны інтэлект?
ШІ можа быць неверагодна дакладным, але толькі адносна вызначанай задачы, метаду вымярэння і асяроддзя, у якім ён разгортваецца. А для генератыўнага штучнага інтэлекту «дакладнасць» часта тычыцца не столькі аднаго бала, колькі надзейнай канструкцыі сістэмы: зазямлення, каліброўкі, ахопу, маніторынгу і сумленнай ацэнкі. [1][2][5]

Кароткі змест 🎯

• «Дакладнасць» — гэта не адзін паказчык, а правільнасць, каліброўка, надзейнасць, стабільнасць і (для генератыўнага штучнага інтэлекту) праўдзівасць. [1][2][3]

• Бенчмаркі дапамагаюць, але ацэнка выпадкаў выкарыстання дапамагае заставацца сумленным. [5]

• Калі вам патрэбна фактычная надзейнасць, дадайце абгрунтаванне + этапы праверкі + ацэнку ўстрымання. [2]

• Ацэнка жыццёвага цыклу — гэта дарослы падыход... нават калі ён менш захапляльны, чым скрыншот табліцы лідэраў. [1]

Прыклад з рэальнага свету: вымярэнне памочніка па падтрымцы і трыяжы з выкарыстаннем штучнага інтэлекту

Сцэнар

Уявіце, што невялікая SaaS-кампанія хоча выкарыстоўваць штучны інтэлект для сартавання ўваходных заявак на падтрымку па чатырох чаргах:

Выстаўленне рахункаў

Праблемы з уваходам

Паведамленні пра памылкі

Запыты на функцыі

Кампанія не дазваляе штучнаму інтэлекту адказваць кліентам напрамую. Яго задача вузейшая: прачытаць запыт, выбраць патрэбную чаргу, ацаніць узровень даверу і пазначыць усё нявызначанае для праверкі чалавекам.

Гэта значна спрашчае праверку дакладнасці. Ёсць выразная чарга «правільных», чалавек можа праглядаць памылкі, а каманда можа ацаніць, ці дапамагае штучны інтэлект, а не проста гучыць як карысны.

Што патрэбна памочніку

Каб належным чынам праверыць гэта, каманда рыхтуе:

Пазначаны тэставы набор з 100 рэальных або рэалістычных запытаў у службу падтрымкі

Правільная чарга для кожнага білета, узгодненая рэцэнзентам-чалавекам

Кароткая палітыка, якая тлумачыць, што павінна знаходзіцца ў кожнай чарзе

Правіла, паводле якога памочнік павінен сказаць «патрабуе праверкі чалавекам», калі ўпэўненасць у сабе нізкая

Просты ліст адсочвання з: ідэнтыфікатарам заяўкі, чаргой штучнага інтэлекту, чаргой чалавека, паказчыкам даверу, вынікам праверкі і затрачаным часам

Прыклад інструкцыі

Вы — памочнік службы падтрымкі і трыяжу. Прачытайце паведамленне кліента і прызначце яго ў адну чаргу: аплата, праблемы з уваходам, паведамленні пра памылкі, запыты на функцыі або патрабуецца праверка чалавекам.

Выкарыстоўвайце раздзел «Выстаўленне рахункаў» для выстаўлення рахункаў-фактур, вяртання грошай, памылак у аплаце, змяненняў тарыфных планаў і пытанняў падпіскі.

Выкарыстоўвайце раздзел «Праблемы з уваходам» для скіду пароляў, доступу да ўліковага запісу, двухфактарнай аўтэнтыфікацыі, заблакаваных уліковых запісаў або праблем з праверкай электроннай пошты.

Выкарыстоўвайце справаздачы пра памылкі для пашкоджаных функцый, паведамленняў пра памылкі, адсутных дадзеных, збояў або паводзін, якія не адпавядаюць дакументацыі прадукту.

Выкарыстоўвайце запыты на новыя функцыі, калі кліент просіць аб новых магчымасцях, інтэграцыі, наладах або паляпшэнні працоўнага працэсу.

Калі паведамленне неадназначнае, утрымлівае больш за адну праблему або можа паўплываць на бяспеку ці прыватнасць, выберыце «Патрабуецца праверка чалавекам».

Вяртанне: чарга, каэфіцыент упэўненасці ад 0 да 100, прычына з аднаго сказа і ці павінен чалавек праверыць яе.

Як гэта праверыць

Пачніце з невялікага «залатога набору», перш чым давяраць сістэме ў прадукцыйнай эксплуатацыі.

Напрыклад:

20 квітанцый

20 квіткоў для ўваходу

20 паведамленняў пра памылкі

20 запытаў на новыя функцыі

20 заблытаных або неадназначных білетаў

Затым запусціце памочніка на ўсіх 100 квітках і параўнайце абраную ім чаргу з чаргой, зацверджанай чалавекам.

Карысныя праверкі ўключаюць:

Агульная дакладнасць: колькі білетаў пайшло ў патрэбную чаргу?

Дакладнасць па чарзе: калі штучны інтэлект кажа «Разлік», як часта ён выстаўляе рахунак?

Адкліканне па чарзе: колькі рэальных квітанцый было атрымана?

Якасць эскалацыі: ці правільна было адпраўлена заблытаныя заяўкі на праверку чалавекам?

Каліброўка: калі паказвалася дакладнасць 90% або вышэй, ці была яна правільнай у большасці выпадкаў?

Вынік

Ілюстрацыйны вынік: заснаваны на часе апрацоўкі 100 узораў квіткоў да і пасля выкарыстання гэтага працоўнага працэсу.

Да выкарыстання памочніка кіраўнік службы падтрымкі траціў каля 2 хвілін 30 секунд на кожны запыт, чытаючы і перасылаючы заяўкі ўручную. Для 100 запытаў гэта складала прыкладна 250 хвілін працы па сартаванні.

Пасля выкарыстання памочніка кіраўнік службы падтрымкі прагледзеў толькі выбар чаргі, зроблены штучным інтэлектам, і праверыў выпадкі з нізкай дакладнасцю. Час праверкі скараціўся прыкладна да 55 секунд на адзін запыт, або прыкладна да 92 хвілін на 100 запытаў.

Гэта ацэньваецца як эканомія 158 хвілін на кожныя 100 заявак, або прыкладна на 63% менш часу на сартаванне.

Дакладнасць на выдуманым тэставым наборы са 100 білетаў выглядала наступным чынам:

Агульная дакладнасць чаргі: 87/100 правільных білетаў

Квіткі з высокім узроўнем даверу вышэй за 85%: 61 квіток

Дакладнасць па высокадакладных білетах: 58/61 правільных

Квіткі, адпраўленыя на праверку чалавекам: 18 квіткоў

Неадназначныя білеты правільна перададзеныя ў вышэйшую інстанцыю: 15/20

Важная дэталь — гэта не толькі 87% дакладнасць. Больш бяспечны вынік заключаецца ў тым, што памочнік быў больш дакладным, калі быў упэўнены ў сабе , і падштурхоўваў чалавека да многіх незразумелых выпадкаў, замест таго, каб здагадвацца. У гэтым розніца паміж карыснай аўтаматызацыяй і ўпэўненай лухтой.

Што можа пайсці не так

Найбольш распаўсюджаная памылка — тэставанне толькі чыстых прыкладаў. Рэальныя заяўкі заблытаныя. Кліент можа напісаць: «З мяне двойчы знялі грошы, і цяпер я не магу ўвайсці ў сістэму». У залежнасці ад працэсу кампаніі гэта можа быць звязана з выстаўленнем рахункаў, праблемамі з уваходам або неабходнасцю праверкі чалавекам.

Іншыя рызыкі ўключаюць:

Выкарыстанне старых білетаў, якія больш не адпавядаюць прадукту

Дазволіць штучнаму інтэлекту прыдумляць правілы палітыкі, якіх няма ў кіраўніцтве падтрымкі

Разгляд балаў даверу як надзейных без праверкі каліброўкі

Вымярэнне толькі агульнай дакладнасці і прапусканне нізкай прадукцыйнасці ў адной чарзе

Пакаранне за «Патрабуецца праверка чалавекам» настолькі жорсткае, што памочнік пачынае здагадвацца

Добры тэст павінен узнагароджваць правільную эскалацыю. Для многіх бізнес-працэсаў «Я не ўпэўнены» — гэта не няўдача. Гэта функцыя бяспекі.

Практычны вывад

Найлепшы спосаб адказаць на пытанне «Наколькі дакладны штучны інтэлект?» — перастаць задаваць яго абстрактна. Выберыце адну задачу, стварыце невялікі набор тэстаў, вызначце, што лічыцца правільным, вымерайце памылкі па катэгорыях і праверце, ці ведае штучны інтэлект, калі перадаваць працу чалавеку. Гэта дасць вам канкрэтны паказчык дакладнасці, які вы можаце палепшыць, а не проста адшліфаваны эталонны бал.

Часта задаваныя пытанні

Дакладнасць штучнага інтэлекту ў практычным разгортванні

Штучны інтэлект можа быць надзвычай дакладным, калі задача вузкая, добра акрэсленая і звязаная з выразнымі базавымі дадзенымі, якія вы можаце ацаніць. У вытворчых умовах «дакладнасць» залежыць ад таго, ці адлюстроўваюць вашы ацэначныя дадзеныя шумныя ўводы карыстальнікаў і ўмовы, з якімі ваша сістэма сутыкнецца ў палявых умовах. Па меры таго, як задачы становяцца больш адкрытымі (напрыклад, чат-боты), памылкі і галюцынацыі ўпэўненасці з'яўляюцца часцей, калі вы не дадасце зазямленне, праверку і маніторынг.

Чаму «дакладнасць» — гэта не адзін паказчык, якому можна давяраць

Людзі выкарыстоўваюць слова «дакладнасць» у розных значэннех: карэктнасць, прэцызійнасць у параўнанні з поўнасцю, каліброўка, надзейнасць і бездакорнасць. Мадэль можа выдатна выглядаць на чыстым тэставым наборы, а потым спатыкацца пры змене фармулёўкі, зрухе дадзеных або змене ставак. Ацэнка, арыентаваная на давер, выкарыстоўвае некалькі паказчыкаў і сцэнарыяў, а не разглядае адзін лік як універсальны вердыкт.

Найлепшы спосаб вымераць дакладнасць штучнага інтэлекту для канкрэтнай задачы

Пачніце з вызначэння задачы так, каб «правільнае» і «няправільнае» можна было праверыць, а не было расплывістым. Выкарыстоўвайце прадстаўнічыя, зашумленыя тэставыя дадзеныя, якія адлюстроўваюць рэальных карыстальнікаў і памежныя выпадкі. Выбірайце метрыкі, якія адпавядаюць наступствам, асабліва для незбалансаваных або высокарызыкоўных рашэнняў. Затым дадайце стрэс-тэсты па-за размеркаваннем і працягвайце пераацэньваць з цягам часу па меры развіцця вашага асяроддзя.

Як дакладнасць і дакладнасць формы на практыцы

Дакладнасць і поўнае заўважанне адлюстроўваюць розныя выдаткі на адмову: дакладнасць падкрэслівае пазбяганне ілжывых трывог, а поўнае заўважанне — выяўленне ўсяго неабходнага. Калі вы фільтруеце спам, некалькі промахаў могуць быць прымальнымі, але ілжывыя спрацоўванні могуць расчараваць карыстальнікаў. У іншых выпадках прапусканне рэдкіх, але крытычных выпадкаў мае большае значэнне, чым дадатковыя сцяжкі. Правільны баланс залежыць ад таго, якія «няправільныя» выдаткі ўзнікаюць у вашым працоўным працэсе.

Што такое каліброўка і чаму яна важная для дакладнасці

Каліброўка правярае, ці адпавядае ўпэўненасць мадэлі рэальнасці — калі там напісана «90% упэўненасць», ці правільна гэта прыкладна ў 90% выпадкаў? Гэта мае значэнне, калі вы ўстанаўліваеце парогі, такія як аўтаматычнае зацвярджэнне, вышэй за 0,9. Дзве мадэлі могуць мець падобную дакладнасць, але лепш адкалібраваная мадэль больш бяспечная, бо яна памяншае колькасць празмерна ўпэўненых няправільных адказаў і падтрымлівае больш разумную паводзіны ўстрымання.

Дакладнасць генератыўнага штучнага інтэлекту і прычыны ўзнікнення галюцынацый

Генератыўны штучны інтэлект можа ствараць плаўны, праўдападобны тэкст, нават калі ён не заснаваны на фактах. Дакладнасць вызначыць цяжэй, бо многія падказкі дазваляюць некалькі прымальных адказаў, а мадэлі можна аптымізаваць для «карыснасці», а не для строгай карэктнасці. Галюцынацыі становяцца асабліва рызыкоўнымі, калі вынікі паступаюць з высокай упэўненасцю. У выпадках выкарыстання фактаў, абапіраючыся на надзейныя дакументы і этапы праверкі дапамагаюць паменшыць колькасць фальшывага кантэнту.

Тэставанне ўваходных дадзеных на зрушэнне размеркавання і выхады з размеркавання

Тэсты ўнутры размеркаваных сістэм могуць пераацэньваць прадукцыйнасць, калі свет змяняецца. Тэстуйце з незвычайнымі фразамі, памылкамі друку, неадназначнымі ўваходнымі дадзенымі, новымі перыядамі часу і новымі катэгорыямі, каб убачыць, дзе сістэма руйнуецца. Такія тэсты, як WILDS, пабудаваны вакол гэтай ідэі: прадукцыйнасць можа рэзка знізіцца, калі дадзеныя змяняюцца. Разглядайце стрэс-тэставанне як асноўную частку ацэнкі, а не як прыемную рэч.

Павышэнне дакладнасці сістэмы штучнага інтэлекту з цягам часу

Палепшыце дадзеныя і тэсты, пашыраючы памежныя выпадкі, збалансаваўшы рэдкія, але крытычна важныя сцэнарыі і падтрымліваючы «залаты набор», які адлюстроўвае рэальны боль карыстальніка. Для фактычных задач дадайце абгрунтаванне і праверку, а не спадзявайцеся, што мадэль павядзе сябе належным чынам. Выконвайце ацэнку кожнага значнага змянення, сачыце за рэгрэсіямі і кантралюйце дрэйф у прадукцыйнасці. Таксама ацэньвайце ўстрыманне, каб фраза «Я не ведаю» не ператварылася ў упэўненыя здагадкі.

Спасылкі

[1] NIST AI RMF 1.0 (NIST AI 100-1): Практычная структура для выяўлення, ацэнкі і кіравання рызыкамі штучнага інтэлекту на працягу ўсяго жыццёвага цыклу. чытаць далей
[2] NIST Generative AI Profile (NIST AI 600-1): Дадатковы профіль да AI RMF, арыентаваны на меркаванні рызык, спецыфічных для генератыўных сістэм штучнага інтэлекту. чытаць далей
[3] Guo et al. (2017) - Каліброўка сучасных нейронных сетак: фундаментальны дакумент, які паказвае, як сучасныя нейронныя сеткі могуць быць няправільна адкалібраваны і як каліброўка можа быць палепшана. чытаць далей
[4] Koh et al. (2021) - WILDS benchmark: набор бенчмаркаў, прызначаны для праверкі прадукцыйнасці мадэлі ва ўмовах рэальных змен размеркавання. чытаць далей
[5] Liang et al. (2023) - HELM (Holistic Evaluation of Language Models): структура для ацэнкі моўных мадэляў у розных сцэнарыях і метрыках для выяўлення рэальных кампрамісаў. чытаць далей

Знайдзіце найноўшы штучны інтэлект у афіцыйнай краме памочнікаў штучнага інтэлекту

Пра нас