Кароткі адказ: Распрацоўшчыкі, якія выкарыстоўваюць генератыўны штучны інтэлект, нясуць адказнасць за ўсю сістэму, а не толькі за вынік мадэлі. Калі штучны інтэлект уплывае на рашэнні, код, прыватнасць або давер карыстальнікаў, яны павінны выбіраць бяспечныя праграмы, правяраць вынікі, абараняць дадзеныя, змяншаць шкоду і гарантаваць, што людзі могуць праглядаць, пераадольваць і выпраўляць памылкі.
Асноўныя высновы:
Праверка : Адшліфаваныя вынікі трэба лічыць ненадзейнымі, пакуль крыніцы, тэсты або праверка чалавекам не пацвердзяць іх.
Абарона дадзеных : мінімізуйце колькасць дадзеных запытаў, выдаліце ідэнтыфікатары і абараніце журналы, элементы кіравання доступам і пастаўшчыкоў.
Справядлівасць : праверце розныя дэмаграфічныя групы і кантэксты, каб выявіць стэрэатыпы і неаднародныя мадэлі няўдач.
Празрыстасць : выразна пазначце выкарыстанне штучнага інтэлекту, растлумачце яго абмежаванні і прапануйце праверку чалавекам або абскарджанне.
Адказнасць : перад запускам прызначыце выразных адказных за разгортванне, інцыдэнты, маніторынг і адкат.

Артыкулы, якія вам могуць спадабацца пасля гэтага:
🔗 Найлепшыя інструменты штучнага інтэлекту для распрацоўшчыкаў праграмнага забеспячэння: найлепшыя памочнікі кадавання на базе штучнага інтэлекту
Параўнайце лепшых памочнікаў па кадаванні са штучным інтэлектам для больш хуткіх і чыстых працоўных працэсаў распрацоўкі.
🔗 10 найлепшых інструментаў штучнага інтэлекту для распрацоўшчыкаў, якія павышаюць прадукцыйнасць
Рэйтынг інструментаў штучнага інтэлекту для распрацоўшчыкаў, якія забяспечваюць больш разумнае кадаванне і хуткасць.
🔗 Чаму штучны інтэлект можа быць шкодным для грамадства і даверу
Тлумачыць шкоду ў рэальным свеце: прадузятасць, прыватнасць, працоўныя месцы і рызыкі дэзінфармацыі.
🔗 Ці зайшоў штучны інтэлект занадта далёка ў прыняцці рашэнняў з высокімі стаўкамі?
Вызначае, калі штучны інтэлект перасякае межы: назіранне, глыбокія фэйкі, перакананне, адсутнасць згоды.
Чаму адказнасць распрацоўшчыкаў, якія выкарыстоўваюць генератыўны штучны інтэлект, важнейшая, чым людзі думаюць
Шмат праграмных памылак раздражняюць. Кнопка ламаецца. Старонка загружаецца павольна. Нешта выходзіць з ладу, і ўсе стогнуць.
Задачы генератыўнага штучнага інтэлекту могуць быць рознымі. Яны могуць быць тонкімі.
Мадэль можа гучаць упэўнена, але памыляцца. Профіль NIST GenAI. Яна можа прайграваць прадузятасць без відавочных папераджальных прыкмет. Профіль NIST GenAI. Яна можа раскрываць канфідэнцыйныя дадзеныя, калі выкарыстоўваецца нядбайна. OWASP Топ-10 для прыкладанняў LLM. Восем пытанняў ICO для генератыўнага штучнага інтэлекту. Яна можа ствараць код, які працуе, пакуль не дасць збой у вытворчасці нейкім вельмі няёмкім чынам. OWASP Топ-10 для прыкладанняў LLM. Гэта як наняць вельмі захопленага стажора, які ніколі не спіць і час ад часу выдумляе факты з ашаламляльнай упэўненасцю.
Вось чаму адказнасць распрацоўшчыкаў, якія выкарыстоўваюць генератыўны штучны інтэлект, выходзіць за рамкі простай рэалізацыі. Распрацоўшчыкі больш не проста ствараюць лагічныя сістэмы. Яны ствараюць імавернасныя сістэмы з размытымі краямі, непрадказальнымі вынікамі і рэальнымі сацыяльнымі наступствамі. NIST AI RMF
Гэта азначае, што адказнасць уключае ў сябе:
-
разуменне абмежаванняў мадэлі NIST AI RMF
-
абарона прыватнасці карыстальнікаў, рэкамендацыі ICO па штучным інтэлекце і абароне дадзеных
-
зніжэнне шкодных вынікаў NIST GenAI Profile
-
праверка дакладнасці перад тым, як давер надаецца NIST GenAI Profile
-
вызначэнне чалавечай ролі Прынцыпы АЭСР па штучным інтэлекце
-
распрацоўка рэзервовых шляхоў у выпадку няўдачы штучнага інтэлекту Прынцыпы АЭСР па штучным рэкамендацыі NCSC па бяспечным штучным інтэлекце
-
зразумелае дакументаванне сістэмы Прынцыпы АЭСР
Ведаеце, як гэта бывае — калі інструмент здаецца чароўным, людзі перастаюць сумнявацца ў ім. Распрацоўшчыкі не могуць дазволіць сабе быць такімі расслабленымі.
Што робіць добрую версію адказнасці распрацоўшчыкаў, якія выкарыстоўваюць генератыўны штучны інтэлект? 🛠️
Добрая версія адказнасці не з'яўляецца перфарматыўнай. Гэта не проста даданне адмовы ад адказнасці ўнізе і назва этыкай. Яна адлюстроўваецца ў выбары дызайну, звычках тэсціравання і паводзінах прадукту.
Вось як звычайна выглядае адказнасці распрацоўшчыкаў, якія выкарыстоўваюць генератыўны штучны інтэлект
-
Наўмыснае выкарыстанне NIST AI RMF
-
Штучны інтэлект выкарыстоўваецца для вырашэння рэальнай праблемы, а не ўбудоўваецца ў прадукт толькі таму, што гэта гучыць модна.
-
-
Чалавечы кантроль Прынцыпы АЭСР па штучным інтэлекце
-
Людзі могуць праглядаць, выпраўляць, пераазначаць або адхіляць вынікі.
-
-
Бяспека ўжо на этапе распрацоўкі, рэкамендацыі NCSC па бяспечным штучным інтэлекце
-
Кантроль рызык убудоўваецца на ранняй стадыі, а не прыклейваецца скотчам пазней.
-
-
Празрыстасць Прынцыпы АЭСР па штучным інтэлекце Агляд Закона Еўрапейскай камісіі аб штучным інтэлекце
-
Карыстальнікі разумеюць, калі кантэнт створаны штучным інтэлектам, а калі — з дапамогай штучнага інтэлекту.
-
-
Восем пытанняў ICO па доглядзе за дадзенымі
-
Канфідэнцыйная інфармацыя апрацоўваецца старанна, а доступ да яе абмежаваны.
-
-
Праверкі справядлівасці Профіль NIST GenAI Кіраўніцтва ICO па штучным інтэлекце і абароне дадзеных
-
Сістэма правяраецца на наяўнасць прадузятасці, нераўнамернай прадукцыйнасці і шкодных заканамернасцей.
-
-
Пастаянны маніторынг NIST AI RMF NCSC рэкамендацыі па бяспечным штучным інтэлекце
-
Запуск — гэта не фінішная прамая. Гэта хутчэй стартавы свісток.
-
Калі гэта гучыць як шмат, што ж... так і ёсць. Але ў гэтым і заключаецца справа, калі вы працуеце з тэхналогіямі, якія могуць уплываць на рашэнні, перакананні і паводзіны ў вялікіх маштабах. Прынцыпы штучнага інтэлекту АЭСР
Параўнальная табліца - асноўная адказнасць распрацоўшчыкаў, якія выкарыстоўваюць генератыўны штучны інтэлект, з першага погляду 📋
| Зона адказнасці | На каго гэта ўплывае | Штодзённая практыка распрацоўшчыка | Чаму гэта важна |
|---|---|---|---|
| Дакладнасць і праверка | карыстальнікі, каманды, кліенты | Праглядзіце вынікі, дадайце валідацыйныя пласты, праверце памежныя выпадкі | Штучны інтэлект можа свабодна валодаць інфармацыяй і пры гэтым моцна памыляцца — што з'яўляецца прыблізным спалучэннем NIST GenAI Profile |
| Абарона прыватнасці | карыстальнікі, кліенты, унутраны персанал | Мінімізуйце выкарыстанне канфідэнцыйных дадзеных, ачышчайце падказкі, кантралюйце журналы | Як толькі ўцечка прыватных дадзеных з'яўляецца прычынай уцечкі зубной пасты 😬 Восем пытанняў ICO для генератыўнага штучнага інтэлекту OWASP Топ-10 для прыкладанняў LLM |
| Прадузятасць і справядлівасць | недастаткова прадстаўленыя групы, усе карыстальнікі сапраўды | Вынікі аўдыту, тэставанне разнастайных уваходных дадзеных, наладжванне мер бяспекі | Шкода не заўсёды гучная — часам яна сістэматычная і ціхая. NIST GenAI Profile ICO па штучным інтэлекце і абароне дадзеных. |
| Бяспека | сістэмы кампаніі, карыстальнікі | Абмежаваць доступ да мадэлі, абараніць ад імгненных укараненняў, рызыкоўныя дзеянні ў пясочніцы | Адзін хітры эксплойт можа хутка падарваць давер OWASP Топ-10 для прыкладанняў LLM NCSC па штучным інтэлекце і кібербяспецы |
| Празрыстасць | канчатковыя карыстальнікі, рэгулятары, каманды падтрымкі | Зразумела пазначайце паводзіны штучнага інтэлекту, растлумачце абмежаванні, задакументуйце выкарыстанне | Людзі заслугоўваюць ведаць, калі машына дапамагае Кодэкс практыкі АЭСР па прынцыпах штучнага інтэлекту |
| Падсправаздачнасць | уладальнікі прадуктаў, юрыдычныя спецыялісты, каманды распрацоўшчыкаў | Вызначыць адказнасць, апрацоўку інцыдэнтаў, шляхі эскалацыі | «Штучны інтэлект зрабіў гэта» — гэта не дарослы адказ Прынцыпы АЭСР па штучным інтэлекце |
| Надзейнасць | кожны, хто дакранаецца да прадукту | Маніторынг збояў, усталёўка парогаў даверу, стварэнне рэзервовай логікі | Мадэлі дрэйфуюць, даюць збоі нечаканым чынам і час ад часу маюць невялікі драматычны эпізод. Рэкамендацыі па бяспечным штучным інтэлекце NIST AI RMF |
| Дабрабыт карыстальнікаў | асабліва ўразлівыя карыстальнікі | Пазбягайце маніпулятыўнага дызайну, абмяжуйце шкодныя вынікі, праглядзіце выпадкі выкарыстання з высокай рызыкай | Тое, што нешта можна згенераваць, не азначае, што гэта павінна быць АЭСР, прынцыпы штучнага інтэлекту NIST AI RMF |
Трохі няроўны стол, вядома, але гэта падыходзіць да тэмы. Сапраўдная адказнасць таксама няроўная.
Адказнасць пачынаецца яшчэ да першага падказкі — выбар правільнага варыянту выкарыстання 🎯
Адна з найважнейшых адказнасцей распрацоўшчыкаў — гэта рашэнне аб тым, ці варта ўвогуле выкарыстоўваць генератыўны штучны інтэлект . NIST AI RMF
Гэта гучыць відавочна, але гэта пастаянна ігнаруецца. Каманды бачаць мадэль, радуюцца і пачынаюць укараняць яе ў працоўныя працэсы, якія лепш апрацоўваюцца правіламі, пошукам або звычайнай праграмнай логікай. Не кожнай праблеме патрэбна моўная мадэль. Некаторым праблемам патрэбна база дадзеных і ціхі дзень.
Перад будаўніцтвам забудоўшчыкі павінны спытаць:
-
Ці з'яўляецца задача адкрытай ці дэтэрмінаванай?
-
Ці можа няправільны вынік нанесці шкоду?
-
Ці патрэбныя карыстальнікам крэатыўнасць, прагназаванне, рэзюмэ, аўтаматызацыя — ці проста хуткасць?
-
Ці будуць людзі занадта давяраць вынікам? Профіль NIST GenAI
-
Ці можа чалавек рэалістычна ацаніць вынікі? Прынцыпы штучнага інтэлекту АЭСР
-
Што адбываецца, калі мадэль няправільная? Прынцыпы АЭСР па штучным інтэлекце
Адказны распрацоўшчык не проста пытаецца: «Ці можам мы гэта пабудаваць?» Ён пытаецца: «Ці варта гэта будаваць такім чынам?» NIST AI RMF
Гэтае пытанне само па сабе прадухіляе шмат бліскучай лухты.
Дакладнасць — гэта абавязак, а не бонус ✅
Давайце ўдакладнім — адна з найбуйнейшых пастак генератыўнага штучнага інтэлекту — гэта памылковае ўспрыманне красамоўства як праўды. Мадэлі часта даюць адказы, якія гучаць адшліфавана, структуравана і вельмі пераканаўча. Што цудоўна, пакуль змест не ператвараецца ў лухту, загорнутую ў канфідэнцыяльнасць. Профіль NIST GenAI
Такім чынам, адказнасць распрацоўшчыкаў, якія выкарыстоўваюць генератыўны штучны інтэлект, уключае стварэнне для праверкі.
Гэта азначае:
-
выкарыстоўваючы пошук або зазямленне, дзе гэта магчыма, профіль NIST GenAI
-
аддзяленне згенераванага кантэнту ад пацверджаных фактаў Прынцыпы АЭСР па штучным інтэлекце
-
старанна дадаючы парогі даверу NIST AI RMF
-
стварэнне працоўных працэсаў агляду для вынікаў з высокімі стаўкамі Прынцыпы АЭСР па штучным інтэлекце
-
прадухіленне імправізацыі мадэлі ў крытычных кантэкстах NIST GenAI Profile
-
тэставыя падказкі, якія спрабуюць узламаць або ўвесці ў зман сістэму OWASP Top 10 для прыкладанняў LLM
Гэта мае вялікае значэнне ў такіх галінах, як:
-
ахова здароўя
-
фінансы
-
юрыдычныя рабочыя працэсы
-
адукацыя
-
падтрымка кліентаў
-
аўтаматызацыя прадпрыемства
-
генерацыя кода
Напрыклад, згенераваны код можа выглядаць акуратна, хаваючы пры гэтым недахопы бяспекі або лагічныя памылкі. Распрацоўшчык, які капіюе яго сляпо, неэфектыўны — ён проста пераносіць рызыкі на аўтсорсінг у больш прыгожым фармаце. OWASP Топ-10 для прыкладанняў LLM NCSC па штучным інтэлекце і кібербяспецы
Мадэль можа дапамагчы. Распрацоўшчык усё яшчэ валодае вынікам. Прынцыпы штучнага інтэлекту АЭСР
Канфідэнцыяльнасць і абарона дадзеных не падлягаюць абмеркаванню 🔐
Вось тут усё хутка становіцца сур'ёзным. Сістэмы генератыўнага штучнага інтэлекту часта абапіраюцца на падказкі, журналы, кантэкстныя вокны, пласты памяці, аналітыку і інфраструктуру трэціх бакоў. Гэта стварае мноства шанцаў для ўцечкі канфідэнцыйных дадзеных, іх захавання або паўторнага выкарыстання нечаканымі для карыстальнікаў спосабамі. Восем пытанняў ICO для генератыўнага штучнага інтэлекту OWASP Топ-10 для прыкладанняў LLM
Распрацоўшчыкі нясуць адказнасць за абарону:
-
асабістая інфармацыя
-
фінансавыя запісы
-
медыцынскія падрабязнасці
-
унутраныя дадзеныя кампаніі
-
камерцыйныя сакрэты
-
токены аўтэнтыфікацыі
-
камунікацыі з кліентамі
Адказныя практыкі ўключаюць:
-
мінімізацыя дадзеных, якія ўваходзяць у восем пытанняў мадэльнага ICO для генератыўнага штучнага інтэлекту
-
маскіроўка або выдаленне ідэнтыфікатараў NIST GenAI Profile
-
абмежаванне захоўвання журналаў, рэкамендацыі ICO па штучным інтэлекце і абароне дадзеных
-
кантроль доступу да падказак і вывадаў OWASP Top 10 для прыкладанняў LLM
-
уважліва праглядзіце налады пастаўшчыка, рэкамендацыі NCSC па бяспечным штучным інтэлекце
-
ізаляцыя высокарызыкоўных працоўных працэсаў, рэкамендацыі NCSC па бяспечным штучным інтэлекце
-
зрабіць паводзіны карыстальнікаў у дачыненні да прыватнасці бачнымі, восем пытанняў ICO для генератыўнага штучнага інтэлекту
Гэта адна з тых абласцей, дзе «мы забыліся пра гэта падумаць» — гэта не дробная памылка. Гэта правал, які падрывае давер.
А давер, калі ён трэснуў, распаўсюджваецца, як упалае шкло. Магчыма, не самая акуратная метафара, але вы разумееце.
Прадузятасць, справядлівасць і прадстаўніцтва — больш ціхія абавязкі ⚖️
Прадузятасць у генератыўным штучным інтэлекце рэдка бывае мульцяшным злыднем. Звычайна яна больш слізкая. Мадэль можа ствараць стэрэатыпныя апісанні пасад, неадпаведныя рашэнні мадэрацыі, аднабаковыя рэкамендацыі або культурна вузкія здагадкі, не выклікаючы відавочных трывог. Профіль NIST GenAI
Вось чаму адказнасць распрацоўшчыкаў, якія выкарыстоўваюць генератыўны штучны інтэлект, уключае актыўную працу па забеспячэнні справядлівасці.
Распрацоўшчыкі павінны:
-
тэставыя падказкі з розных дэмаграфічных груп і кантэкстаў NIST GenAI Profile
-
Агляд вынікаў для стэрэатыпаў і выключэнняў NIST GenAI Profile
-
улічваць розныя пункты гледжання падчас ацэнкі NIST AI RMF
-
сачыце за нераўнамернымі схемамі адмоваў NIST GenAI Profile
-
пазбягайце меркавання, што адзін моўны стыль або культурная норма падыходзіць усім; рэкамендацыі ICO па штучным інтэлекце і абароне дадзеных
-
стварыць каналы справаздачнасці аб шкоднай прадукцыі NIST AI RMF
Сістэма можа здавацца добрай у цэлым, але пры гэтым пастаянна абслугоўваць некаторых карыстальнікаў горш, чым іншых. Гэта недапушчальна толькі таму, што сярэдняя прадукцыйнасць добра выглядае на прыборнай панэлі. Рэкамендацыі ICO па штучным інтэлекце і абароне дадзеных NIST GenAI Profile
І так, справядлівасць складанейшая за акуратны кантрольны спіс. У ёй ёсць меркаванне. Кантэкст. Кампрамісы. Таксама ёсць доля дыскамфорту. Але гэта не здымае адказнасці — наадварот, пацвярджае яе. Рэкамендацыі ICO па штучным інтэлекце і абароне дадзеных
Бяспека цяпер — гэта часткова хуткае праектаванне, часткова інжынерная дысцыпліна 🧱
Бяспека генератыўнага штучнага інтэлекту — гэта нешта асаблівае. Традыцыйная бяспека праграм, вядома, усё яшчэ мае значэнне, але сістэмы штучнага інтэлекту дадаюць незвычайныя паверхні для атак: увядзенне запытаў, ускоснае маніпуляванне запытамі, небяспечнае выкарыстанне інструментаў, выцясненне дадзеных праз кантэкст і няправільнае выкарыстанне мадэлі праз аўтаматызаваныя працоўныя працэсы. OWASP Топ-10 для прыкладанняў LLM NCSC па штучным інтэлекце і кібербяспецы
Распрацоўшчыкі нясуць адказнасць за бяспеку ўсёй сістэмы, а не толькі інтэрфейсу. Рэкамендацыі NCSC па бяспечным штучным інтэлекце
Ключавыя абавязкі тут ўключаюць:
-
ачыстка ненадзейных уводных дадзеных OWASP Топ-10 для прыкладанняў LLM
-
абмежаванне таго, якія інструменты мадэль можа выклікаць OWASP Top 10 для прыкладанняў LLM
-
абмежаванне доступу да файлаў і сеткі, рэкамендацыі NCSC па бяспечным штучным інтэлекце
-
выразнае падзеленне дазволаў Рэкамендацыі NCSC па бяспечным штучным інтэлекце
-
маніторынг мадэляў злоўжыванняў рэкамендацыі NCSC па бяспечным штучным інтэлекце
-
абмяжоўваючы хуткасць дарагія або рызыкоўныя дзеянні OWASP Топ-10 для заявак на магістра права
-
Тэставанне спаборніцкіх падказак OWASP Топ-10 для заявак на атрыманне магістра права
-
стварэнне бяспечных рэзервовых варыянтаў, калі інструкцыі супярэчаць прынцыпам АЭСР па штучным інтэлекце
Адна нязручная праўда заключаецца ў тым, што карыстальнікі — і зламыснікі — абавязкова паспрабуюць тое, чаго распрацоўшчыкі не чакалі. Хтосьці з цікаўнасці, хтосьці са злосці, а хтосьці таму, што націснулі не на тую рэч а другой гадзіне ночы. Такое здараецца.
Бяспека для генератыўнага штучнага інтэлекту — гэта не столькі ўзвядзенне сцяны, колькі кіраванне вельмі балбатлівым вартаўніком, якога часам падманваюць фразіроўкай.
Празрыстасць і згода карыстальнікаў важнейшыя за яркі карыстальніцкі інтэрфейс 🗣️
Калі карыстальнікі ўзаемадзейнічаюць са штучным інтэлектам, яны павінны пра гэта ведаць. Кодэкс практыкі АЭСР па прынцыпах штучнага інтэлекту
Не расплывіста. Не схавана ў тэрмінах. Зразумела.
Асноўная частка адказнасці распрацоўшчыкаў, якія выкарыстоўваюць генератыўны штучны інтэлект, заключаецца ў тым, каб карыстальнікі разумелі:
-
калі выкарыстоўваецца штучны інтэлект Прынцыпы АЭСР па штучным інтэлекце
-
што можа і не можа рабіць штучны інтэлект (ШІ) Прынцыпы АЭСР па ШІ
-
ці правяраюцца вынікі людзьмі Прынцыпы АЭСР па штучным інтэлекце
-
як апрацоўваюцца іх дадзеныя, восем пытанняў ICO для генератыўнага штучнага інтэлекту
-
які ўзровень упэўненасці ў іх павінен быць NIST AI RMF
-
як паведамляць пра праблемы або абскарджваць рашэнні Прынцыпы АЭСР па штучным інтэлекце NIST AI RMF
Празрыстасць — гэта не запалохванне карыстальнікаў. Гаворка ідзе пра павагу да іх.
Добрая празрыстасць можа ўключаць у сябе:
-
такія пазнакі, як « Кодэкс практыкі па маркіроўцы і этыкетцы кантэнту, створанага
-
тлумачэнні па зразумелых мовах Прынцыпы АЭСР па штучным інтэлекце
-
бачныя гісторыі рэдагаванняў, дзе гэта неабходна
-
опцыі для адключэння функцый штучнага інтэлекту
-
эскалацыя да чалавека пры неабходнасці Прынцыпы АЭСР па штучным інтэлекце
-
кароткія папярэджанні для задач высокай рызыкі Агляд Закона Еўрапейскай камісіі аб штучным інтэлекце
Шмат якія каманды распрацоўшчыкаў прадуктаў баяцца, што сумленнасць зробіць функцыю менш чароўнай. Магчыма. Але ілжывая ўпэўненасць горш. Гладкі інтэрфейс, які хавае рызыку, — гэта па сутнасці адпаліраваная блытаніна.
Распрацоўшчыкі нясуць адказнасць — нават калі мадэль «вырашае» 👀
Гэтая частка мае вялікае значэнне. Адказнасць нельга перакласці на пастаўшчыка мадэлі, картку мадэлі, шаблон запыту або таямнічую атмасферу машыннага навучання. Прынцыпы штучнага інтэлекту АЭСР, NIST, RMF штучнага інтэлекту.
Распрацоўшчыкі ўсё яшчэ нясуць адказнасць. Прынцыпы АЭСР па штучным інтэлекце
Гэта азначае, што хтосьці з каманды павінен валодаць:
-
выбар мадэлі NIST AI RMF
-
стандарты тэсціравання NIST GenAI Profile
-
крытэрыі выпуску NIST GenAI Profile
-
рэагаванне на інцыдэнты рэкамендацыі NCSC па бяспечным штучным інтэлекце
-
апрацоўка скаргаў карыстальнікаў NIST AI RMF
-
працэдуры адкату Прынцыпы АЭСР па штучным інтэлекце
-
адсочванне змяненняў Прынцыпы АЭСР па штучным інтэлекце
-
дакументацыя Прынцыпы АЭСР па штучным інтэлекце
Павінны быць выразныя адказы на такія пытанні, як:
-
Хто ўхваляе разгортванне? Профіль NIST GenAI
-
Хто разглядае інцыдэнты са шкоднымі вынікамі? Профіль NIST GenAI
-
Хто можа адключыць функцыю? Прынцыпы АЭСР па штучным інтэлекце
-
Хто сочыць за рэгрэсіямі? NIST AI RMF
-
Хто звязваецца з карыстальнікамі, калі нешта ламаецца? Прынцыпы АЭСР па штучным інтэлекце
Без уласнасці адказнасць ператвараецца ў туман. Усе мяркуюць, што гэтым займаецца хтосьці іншы... а потым ніхто гэтага не робіць.
Насамрэч, гэтая мадэль старэйшая за штучны інтэлект. Штучны інтэлект проста робіць яе больш небяспечнай.
Адказныя распрацоўшчыкі ствараюць для выпраўленняў, а не для дасканаласці 🔄
Вось невялікі нюанс: адказная распрацоўка штучнага інтэлекту — гэта не спроба зрабіць выгляд, што сістэма будзе ідэальнай. Гаворка ідзе пра меркаванне, што яна неяк пацерпіць няўдачу, і распрацоўку з улікам гэтай рэальнасці. NIST AI RMF
Гэта азначае стварэнне прадуктаў, якія з'яўляюцца:
-
аўдытаваныя прынцыпы АЭСР па штучным інтэлекце
-
рашэнні і вынікі можна будзе перагледзець пазней
-
-
перапыняемыя прынцыпы штучнага інтэлекту АЭСР
-
людзі могуць спыніць або пераадолець дрэнныя паводзіны
-
-
аднаўляльныя прынцыпы АЭСР па штучным інтэлекце
-
ёсць рэзервовы варыянт, калі вынік штучнага інтэлекту няправільны
-
-
кантраляваныя рэкамендацыі NCSC па бяспечным штучным інтэлекце NIST AI RMF
-
каманды могуць заўважыць заканамернасці, перш чым яны ператворацца ў катастрофы
-
-
паляпшаны профіль NIST GenAI
-
існуюць цыклы зваротнай сувязі, і хтосьці іх чытае
-
Вось як выглядае сталасць. Не бліскучыя дэманстрацыі. Не задыханыя маркетынгавыя тэксты. Рэальныя сістэмы з агароджамі, журналамі, падсправаздачнасцю і дастатковай пакорай, каб прызнаць, што машына — не чарадзей. Рэкамендацыі NCSC па бяспечным штучным інтэлекце. Прынцыпы АЭСР па штучным інтэлекце.
Таму што гэта не так. Гэта інструмент. Магутны, так. Але ўсё ж інструмент.
Заключныя разважанні пра адказнасць распрацоўшчыкаў, якія выкарыстоўваюць генератыўны штучны інтэлект 🌍
Дык якая адказнасць распрацоўшчыкаў, якія выкарыстоўваюць генератыўны штучны інтэлект ?
Гэта значыць будаваць з асцярожнасцю. Стаўіць на сумнеў, дзе сістэма дапамагае, а дзе шкодзіць. Абараняць прыватнасць. Правяраць на наяўнасць прадузятасці. Правяраць вынікі. Бяспека працоўнага працэсу. Быць празрыстым з карыстальнікамі. Забяспечваць значны кантроль з боку людзей. Несці адказнасць, калі нешта ідзе не так. Прынцыпы NIST AI RMF
Гэта можа здацца складаным — і гэта так. Але гэта таксама тое, што адрознівае прадуманую распрацоўку ад неабдуманай аўтаматызацыі.
Найлепшыя распрацоўшчыкі, якія выкарыстоўваюць генератыўны штучны інтэлект, — гэта не тыя, хто прымушае мадэль выконваць найбольшую колькасць хітрыкаў. Гэта тыя, хто разумее наступствы гэтых хітрыкаў і распрацоўвае праекты адпаведна. Яны ведаюць, што хуткасць мае значэнне, але давер — гэта сапраўдны прадукт. Дзіўна, але гэтая старамодная ідэя ўсё яшчэ актуальная. NIST AI RMF
У рэшце рэшт, адказнасць — гэта не перашкода для інавацый. Гэта тое, што не дазваляе інавацыям ператварыцца ў дарагое, турбулентнае разрастанне з адшліфаваным інтэрфейсам і праблемай даверу 😬✨
І, магчыма, гэта самы просты варыянт.
Будуйце смела, вядома, але будуйце так, быццам гэта можа паўплываць на людзей, бо яны сапраўды пацярпелі. Прынцыпы АЭСР па штучным інтэлекце
Часта задаваныя пытанні
Якая адказнасць распрацоўшчыкаў, якія выкарыстоўваюць генератыўны штучны інтэлект на практыцы?
Адказнасць распрацоўшчыкаў, якія выкарыстоўваюць генератыўны штучны інтэлект, выходзіць далёка за рамкі хуткага ўкаранення функцый. Яна ўключае ў сябе выбар правільнага сцэнарыя выкарыстання, тэставанне вынікаў, абарону прыватнасці, скарачэнне шкоднай паводзін і забеспячэнне зразумеласці сістэмы для карыстальнікаў. На практыцы распрацоўшчыкі нясуць адказнасць за тое, як інструмент распрацаваны, кантралюецца, выпраўляецца і кіруецца ў выпадку збою.
Чаму генератыўны штучны інтэлект патрабуе большай адказнасці распрацоўшчыка, чым звычайнае праграмнае забеспячэнне?
Традыцыйныя памылкі часта відавочныя, але генератыўныя збоі штучнага інтэлекту могуць здавацца адшліфаванымі, але пры гэтым заставацца памылковымі, прадузятымі або рызыкоўнымі. Гэта ўскладняе выяўленне праблем і робіць іх больш даверлівымі для карыстальнікаў па памылцы. Распрацоўшчыкі працуюць з імавернаснымі сістэмамі, таму адказнасць уключае ў сябе кіраванне нявызначанасцю, абмежаванне шкоды і падрыхтоўку да непрадказальных вынікаў перад запускам.
Як распрацоўшчыкі ведаюць, калі не варта выкарыстоўваць генератыўны штучны інтэлект?
Звычайна пачынаецца пытанне, ці з'яўляецца задача адкрытай, ці лепш яе выконваць з дапамогай правілаў, пошуку або стандартнай праграмнай логікі. Распрацоўшчыкі таксама павінны ўлічваць, якую шкоду можа прычыніць няправільны адказ і ці можа чалавек рэалістычна ацаніць вынікі. Адказнае выкарыстанне часам азначае рашэнне зусім не выкарыстоўваць генератыўны штучны інтэлект.
Як распрацоўшчыкі могуць паменшыць галюцынацыі і няправільныя адказы ў генератыўных сістэмах штучнага інтэлекту?
Дакладнасць павінна быць задумана, а не меркавана. У многіх канвеерах гэта азначае абапірацца на надзейныя крыніцы, аддзяляць згенераваны тэкст ад правераных фактаў і выкарыстоўваць працоўныя працэсы праверкі для задач з падвышанай рызыкай. Распрацоўшчыкі таксама павінны тэставаць падказкі, прызначаныя для таго, каб заблытаць або ўвесці ў зман сістэму, асабліва ў такіх галінах, як код, падтрымка, фінансы, адукацыя і ахова здароўя.
Якая адказнасць нясуць распрацоўшчыкі, якія выкарыстоўваюць генератыўны штучны інтэлект, за канфідэнцыяльнасць і канфідэнцыйныя дадзеныя?
Абавязкі распрацоўшчыкаў, якія выкарыстоўваюць генератыўны штучны інтэлект, уключаюць мінімізацыю дадзеных, якія паступаюць у мадэль, і апрацоўку падказак, журналаў і вывадаў як канфідэнцыйных. Распрацоўшчыкі павінны выдаляць ідэнтыфікатары, дзе гэта магчыма, абмяжоўваць захоўванне, кантраляваць доступ і ўважліва правяраць налады пастаўшчыкоў. Карыстальнікі таксама павінны разумець, як апрацоўваюцца іх дадзеныя, а не выяўляць рызыкі пазней.
Як распрацоўшчыкі павінны рэагаваць на прадузятасць і справядлівасць у генератыўных выніках штучнага інтэлекту?
Праца з прадузятасцю патрабуе актыўнай ацэнкі, а не здагадак. Практычны падыход заключаецца ў праверцы падказак у розных дэмаграфічных групах, на розных мовах і ў розных кантэкстах, а затым у праверцы вынікаў на наяўнасць стэрэатыпаў, выключэнняў або нераўнамерных мадэляў памылак. Распрацоўшчыкі таксама павінны ствараць спосабы для карыстальнікаў або каманд паведамляць аб шкодных паводзінах, бо сістэма можа здавацца моцнай у цэлым, але пры гэтым пастаянна падводзіць пэўныя групы.
Якія рызыкі бяспекі павінны ўлічваць распрацоўшчыкі пры выкарыстанні генератыўнага штучнага інтэлекту?
Генератыўны штучны інтэлект уводзіць новыя паверхні для атак, у тым ліку імгненнае ўвядзенне дадзеных, небяспечнае выкарыстанне інструментаў, уцечку дадзеных праз кантэкст і злоўжыванне аўтаматызаванымі дзеяннямі. Распрацоўшчыкі павінны ачышчаць ненадзейны ўвод, абмяжоўваць дазволы інструментаў, абмежаваць доступ да файлаў і сеткі, а таксама сачыць за схемамі злоўжывання. Бяспека тычыцца не толькі інтэрфейсу; яна распаўсюджваецца на ўвесь працоўны працэс, звязаны з мадэллю.
Чаму празрыстасць важная пры стварэнні з дапамогай генератыўнага штучнага інтэлекту?
Карыстальнікі павінны выразна разумець, калі ўдзельнічае штучны інтэлект, што ён можа рабіць і дзе яго межы. Добрая празрыстасць можа ўключаць такія пазнакі, як «стварана штучным інтэлектам» або «з дапамогай штучнага інтэлекту», простыя тлумачэнні і зразумелыя шляхі атрымання падтрымкі ад чалавека. Такая шчырасць не аслабляе прадукт; яна дапамагае карыстальнікам адкалібраваць давер і прымаць лепшыя рашэнні.
Хто нясе адказнасць, калі генератыўная функцыя штучнага інтэлекту прычыняе шкоду або робіць нешта не так?
Распрацоўшчыкі і каманды распрацоўшчыкаў прадуктаў усё яшчэ нясуць адказнасць за вынік, нават калі мадэль дае адказ. Гэта азначае, што павінна быць выразная адказнасць за зацвярджэнне разгортвання, апрацоўку інцыдэнтаў, адкат, маніторынг і камунікацыю з карыстальнікамі. «Мадэль вырашыла» недастаткова, таму што адказнасць павінна заставацца за людзьмі, якія распрацоўвалі і запускалі сістэму.
Як выглядае адказная распрацоўка генератыўнага штучнага інтэлекту пасля запуску?
Адказная распрацоўка працягваецца і пасля выпуску шляхам маніторынгу, зваротнай сувязі, праверкі і карэкцыі. Моцныя сістэмы можна аўдытаваць, перапыняць, аднаўляць і распрацоўваць з рэзервовымі шляхамі ў выпадку збою штучнага інтэлекту. Мэта не ў дасканаласці; гэта стварэнне чагосьці, што можна бяспечна праверыць, палепшыць і адрэгуляваць па меры ўзнікнення рэальных праблем.
Спасылкі
-
Нацыянальны інстытут стандартаў і тэхналогій (NIST) - Профіль NIST GenAI - nvlpubs.nist.gov
-
OWASP - Топ-10 праграм OWASP для атрымання ступені магістра права (LLM) - owasp.org
-
Офіс інфармацыйнага камісара (ICO) - Восем пытанняў ICO для генератыўнага штучнага інтэлекту - ico.org.uk