Як стварыць агента са штучным інтэлектам

Як стварыць агента са штучным інтэлектам

Кароткі адказ: каб стварыць агента штучнага інтэлекту, які працуе на практыцы, разглядайце яго як кіраваны цыкл: прымайце ўваходныя дадзеныя, вызначайце наступнае дзеянне, выклікайце вузка абмежаваны інструмент, назірайце за вынікам і паўтарайце, пакуль не пройдзе выразная праверка «гатовага». Гэта апраўдвае сябе, калі задача шматэтапная і кіруецца інструментамі; калі яе вырашае адзін запыт, прапусціце агента. Дадайце строгія схемы інструментаў, абмежаванні крокаў, рэгістрацыю і валідатар/крытык, каб у выпадку збою інструментаў або неадназначнасці ўваходных дадзеных агент эскалаваў замест цыкла.

Асноўныя высновы:

Цыкл кантролера : рэалізаваць паўтарэнне ўводу → дзеяння → назірання з відавочнымі ўмовамі прыпынку і максімальнай колькасцю крокаў.

Распрацоўка інструментаў : Забяспечце вузкасць інструментаў, тыпізацыю, правы доступу і праверку, каб пазбегнуць хаосу тыпу «зрабіць што заўгодна».

Гігіена памяці : выкарыстоўвайце кампактны кароткатэрміновы стан плюс доўгатэрміновы пошук; пазбягайце выкіду поўных транскрыптаў.

Супраціў злоўжыванням : дадайце спісы дазволеных дзеянняў, абмежаванні хуткасці, ідэмпатэнтнасць і «тэсціраванне» рызыкоўных дзеянняў.

Тэставасць : падтрымлівайце набор сцэнарыяў (збоі, неадназначнасці, ін'екцыі) і перазапускайце пры кожным змене.

Як стварыць агента са штучным інтэлектам? Інфаграфіка
Артыкулы, якія вам могуць спадабацца пасля гэтага:

🔗 Як вымераць прадукцыйнасць штучнага інтэлекту
Вывучыце практычныя паказчыкі для параўнання хуткасці, дакладнасці і надзейнасці.

🔗 Як размаўляць са штучным інтэлектам
Выкарыстоўвайце падказкі, кантэкст і наступныя дзеянні, каб атрымаць лепшыя адказы.

🔗 Як ацэньваць мадэлі штучнага інтэлекту
Параўнайце мадэлі, выкарыстоўваючы тэсты, крытэрыі і вынікі рэальных задач.

🔗 Як аптымізаваць мадэлі штучнага інтэлекту
Палепшыце якасць і выдаткі з дапамогай налады, абрэзкі і маніторынгу.

1) Што такое агент штучнага інтэлекту, кажучы словамі звычайнага чалавека 🧠

Агент штучнага інтэлекту — гэта цыкл. Дакументацыя LangChain «Агенты».

Вось і ўсё. Пятля з мозгам пасярэдзіне.

Увод → думаць → дзейнічаць → назіраць → паўтараць . Рэагаваць (разважаць + дзейнічаць)

Дзе:

  • Уваходныя дадзеныя — гэта запыт карыстальніка або падзея (новы ліст, запыт у службу падтрымкі, пінг датчыка).

  • «Think» — гэта моўная мадэль, якая разважае пра наступны крок.

  • Дзеянне выклікае інструмент (пошук унутранай дакументацыі, выкананне кода, стварэнне заяўкі, напісанне адказу). Кіраўніцтва па выкліку функцый OpenAI

  • Назіранне чытае вынік інструмента.

  • Паўтарэнне — гэта тая частка, якая надае яму адчуванне «агентнасці» замест «балбатлівасці». Дакументацыя LangChain «Агенты»

Некаторыя агенты — гэта, па сутнасці, разумныя макрасы. Іншыя дзейнічаюць хутчэй як малодшы аператар, які можа выконваць задачы і аднаўляцца пасля памылак. Абодва ўлічваюцца.

Акрамя таго, вам не патрэбна поўная аўтаномія. Насамрэч… вы, напэўна, яе не хочаце 🙃

2) Калі варта ствараць агента (а калі не варта) 🚦

Стварыце агента, калі:

  • Праца шматэтапная і змяняецца ў залежнасці ад таго, што адбываецца на паўдарозе.

  • Для працы патрабуецца выкарыстанне інструментаў (базы дадзеных, CRM, выкананне кода, стварэнне файлаў, браўзеры, унутраныя API). Дакументацыя па інструментах LangChain.

  • Вы хочаце атрымаць паўтаральныя вынікі з агароджамі, а не толькі аднаразовыя адказы.

  • Вы можаце вызначыць «гатоўнасць» такім чынам, каб камп'ютар мог праверыць, нават прыблізна.

Не стварайце агента, калі:

  • Простая падказка + адказ вырашае праблему (не перашчыруйце з інжынерыяй, бо потым будзеце сябе ненавідзець).

  • Вам патрэбен ідэальны дэтэрмінізм (агенты могуць быць паслядоўнымі, але не рабатызаванымі).

  • У вас няма ніякіх інструментаў ці дадзеных для падключэння — тады гэта ў асноўным проста вібрацыі.

Будзем шчырымі: палова «праектаў агентаў штучнага інтэлекту» можа быць працоўным працэсам з некалькімі правіламі разгалінавання. Але, эй, часам настрой таксама мае значэнне 🤷♂️

3) Што робіць агента са штучным інтэлектам добрай версіяй ✅

Вось раздзел «Што робіць версію добрай», пра які вы прасілі, але я буду крыху рэзкім:

Добрая версія агента штучнага інтэлекту — гэта не тая, якая наймацней думае. Гэта тая, якая:

Калі вашага агента нельга праверыць, гэта ў асноўным вельмі надзейны гульнявы ​​аўтамат. Весела на вечарынках, жахліва ў вытворчасці 😬

4) Асноўныя структурныя элементы агента («анатомія» 🧩)

Большасць надзейных агентаў маюць наступныя элементы:

A) Цыкл кантролера 🔁

Гэта аркестратар:

  • забіць гол

  • спытаць мадэль пра наступныя дзеянні

  • інструмент запуску

  • дадаць назіранне

  • паўтараць, пакуль не скончыце дакументацыю LangChain “Агенты”

Б) Інструменты (г.зн. магчымасці) 🧰

Інструменты робяць агента эфектыўным: дакументацыя па інструментах LangChain

  • запыты да базы дадзеных

  • адпраўка электронных лістоў

  • выцягванне файлаў

  • выконваючы код

  • выклік унутраных API

  • запіс у электронныя табліцы або CRM

C) Памяць 🗃️

Маюць значэнне два віды:

  • кароткатэрміновая памяць : бягучы кантэкст бегу, нядаўнія крокі, бягучы план

  • доўгатэрміновая памяць : перавагі карыстальніка, кантэкст праекта, атрыманыя веды (часта праз убудаванні + вектарнае сховішча) RAG-папера

D) Палітыка планавання і прыняцця рашэнняў 🧭

Нават калі вы не называеце гэта «планаваннем», вам патрэбен метад:

E) Агароджы і ацэнка 🧯

Так, гэта хутчэй інжынерыя, чым падказка. У чым… і сэнс.

5) Параўнальная табліца: папулярныя спосабы стварэння агента 🧾

Ніжэй прыведзена рэалістычная «Параўнальная табліца» — з некалькімі асаблівасцямі, бо сапраўдныя каманды бываюць незвычайнымі 😄

Інструмент / Фрэймворк Аўдыторыя Кошт Чаму гэта працуе Заўвагі (маленькі хаос)
LangChain будаўнікі, якія любяць дэталі ў стылі лега свабодны + інфра вялікая экасістэма для інструментаў, памяці, ланцугоў можна хутка прыгатаваць спагецці, калі не называць рэчы выразна
ЛамаІндэкс Каманды з вялікай колькасцю RAG свабодны + інфра моцныя шаблоны пошуку, індэксаванне, злучальнікі выдатна, калі ваш агент працуе па прынцыпе «пошук + дзеянне»... што звычайна з'яўляецца
Падыход у стылі OpenAI Assistants каманды, якія жадаюць хутчэйшай налады на аснове выкарыстання убудаваныя шаблоны выкліку інструментаў і стан выканання менш гнуткі ў некаторых кутах, але акуратны для многіх прыкладанняў OpenAI запускае API, выклік функцый OpenAI Assistants
Семантычнае ядро распрацоўшчыкі, якія жадаюць структураванай аркестроўкі свабодны акуратная абстракцыя для навыкаў/функцый адчуваецца «карпаратыўная акуратнасць» — часам гэта камплімент 😉
Аўтагенератар шматагентныя эксперыментатары свабодны мадэлі супрацоўніцтва паміж агентамі можа перашчыраваць; усталёўваць строгія правілы спынення сувязі
CrewAI фанатаў «каманд агентаў» свабодны ролі + задачы + перадачы даручэнняў лёгка выказаць працуе найлепш, калі задачы выразныя, а не мяккія
Стог сена пошук + людзі з канвеерамі свабодны цвёрдыя трубаправоды, здабыванне, кампаненты менш «тэатра агентаў», больш «практычнай фабрыкі»
Стварыце свой уласны (карыстальніцкі цыкл) кантролер-фрыкі (ласкавыя) твой час мінімальная магія, максімальная яснасць звычайна лепшы доўгатэрміновы... пакуль не пераасэнсуеш усё 😅

Няма адназначнага пераможцы. Найлепшы выбар залежыць ад таго, ці з'яўляецца асноўнай задачай вашага агента пошук , выкананне інструментаў , каардынацыя некалькіх агентаў або аўтаматызацыя працоўных працэсаў .

6) Як стварыць агента са штучным інтэлектам крок за крокам (сам рэцэпт) 🍳🤖

Гэта тая частка, якую большасць людзей прапускае, а потым здзіўляюцца, чаму агент паводзіць сябе як янот у кладоўцы.

Крок 1: Дайце азначэнне працы адным сказам 🎯

Прыклады:

  • «Стварыце чарнавік адказу кліента, выкарыстоўваючы палітыку і кантэкст заяўкі, а затым папрасіце адабрэння»

  • «Даследуйце паведамленне аб памылцы, узнагародзьце яго і прапануйце выпраўленне»

  • «Ператварыце недасканалыя запісы сустрэч у задачы, уладальнікаў і тэрміны выканання»

Калі вы не можаце даць гэтаму простае вызначэнне, ваш агент таксама не зможа. Я маю на ўвазе, што ён можа, але будзе імправізаваць, а імправізацыя — гэта тое, на чым гінуць бюджэты.

Крок 2: Вызначце ўзровень аўтаноміі (нізкі, сярэдні, востры) 🌶️

  • Нізкая аўтаномія : прапануе крокі, чалавек націскае кнопку «ўхваліць»

  • Сярэдні : запускае інструменты, складае чарнавікі, пагаршае нявызначанасць

  • Высокі : выконваецца ад пачатку да канца, ping-апытвае людзей толькі ў выпадку выключэнняў.

Пачніце з меншага, чым хочаце. Пазней вы заўсёды зможаце павялічыць яго.

Крок 3: Выберыце стратэгію сваёй мадэлі 🧠

Звычайна вы выбіраеце:

  • адна моцная мадэль для ўсяго (простая)

  • адна моцная мадэль + меншая мадэль для недарагіх крокаў (класіфікацыя, маршрутызацыя)

  • спецыялізаваныя мадэлі (зрок, код, маўленне) пры неабходнасці

Таксама вырашыце:

  • максімальная колькасць токенаў

  • тэмпература

  • ці дазваляеце вы ўнутранае выкарыстанне доўгіх слядоў разважанняў (можна, але не раскрывайце неапрацаваны ланцужок думак канчатковым карыстальнікам)

Крок 4: Вызначце інструменты са строгімі схемамі 🔩

Інструменты павінны быць:

Замест інструмента пад назвай do_anything(input: string) зрабіце:

Калі вы дасце агенту бензапілу, не здзіўляйцеся, калі яна падстрыжэ жывую загарадзь, прыбраўшы і саму агароджу.

Крок 5: Стварэнне цыкла кантролера 🔁

Мінімальны цыкл:

  1. Пачніце з мэты + пачатковага кантэксту

  2. Спытайце ў мадэлі: «Наступнае дзеянне?»

  3. Калі выклік інструмента - выканаць інструмент

  4. Дадаць назіранне

  5. Праверце ўмову прыпынку

  6. Паўтарыць (з максімальнай колькасцю крокаў) дакументацыю LangChain “Агенты”

Дадаць:

Крок 6: Акуратна дадавайце памяць 🗃️

Кароткатэрміновае: захоўваць кампактны «звод стану», які абнаўляецца на кожным кроку. LangChain «Агляд памяці».
Доўгатэрміновае: захоўваць трывалыя факты (налады карыстальнікаў, правілы арганізацыі, стабільную дакументацыю).

Эмпірычнае правіла:

  • калі яно часта змяняецца — рабіце гэта кароткатэрмінова

  • калі стабільны — захоўваць доўгатэрмінова

  • калі гэта адчувальна — захоўвайце мінімальна (ці не захоўвайце зусім)

Крок 7: Дадайце праверку і прапуск «крытыка» 🧪

Недарагая, практычная мадэль:

  • агент генеруе вынік

  • валідатар правярае структуру і абмежаванні

  • дадатковыя агляды мадэляў крытыкаў на наяўнасць адсутных крокаў або парушэнняў палітыкі NIST AI RMF 1.0

Не ідэальна, але ловіць шакавальную колькасць глупства.

Крок 8: Запішыце ўсё, пра што вы пашкадуеце, што не запісалі 📜

Журнал:

Будучыня — ты будзеш удзячны. Сучаснасць — ты забудзеш. Гэта проста жыццё 😵💫

7) Выклік інструмента, які не ламае душу 🧰😵

Выклік інструментаў — гэта тое, дзе «Як стварыць агента са штучным інтэлектам» становіцца сапраўднай праграмнай інжынерыяй.

Зрабіце інструменты надзейнымі (надзейнасць — гэта добра)

Надзейнымі інструментамі з'яўляюцца:

Дадайце агароджы на ўзроўні інструментаў, а не толькі падказкі

Падказкі — гэта ветлівыя прапановы. Праверка інструментаў — гэта замкнёныя дзверы. Структураваныя вынікі OpenAI

Зрабіць:

  • спісы дазволеных праграм (якія інструменты можна запускаць)

  • праверка ўводу

  • абмежаванні хуткасці Кіраўніцтва па абмежаваннях хуткасці OpenAI

  • праверкі дазволаў для кожнага карыстальніка/арганізацыі

  • «рэжым тэставання» для рызыкоўных дзеянняў

Праектаванне з улікам частковага разбурэння

Інструменты даюць збой. Сеткі хістаюцца. Тэрмін дзеяння аўтарызацыі мінае. Агент павінен:

Ціхі эфектыўны прыём: вярнуць структураваныя памылкі, такія як:

  • тып: памылка_аўтэнтыфікацыі

  • тып: не знойдзена

  • тып: rate_limited
    Такім чынам, мадэль можа рэагаваць разумна, а не панікаваць.

8) Памяць, якая дапамагае, а не пераследуе 👻🗂️

Памяць — гэта магутная рэч, але яна таксама можа стаць месцам, дзе можна захоўваць смецце.

Кароткатэрміновая памяць: захоўвайце яе кампактнай

Выкарыстанне:

  • апошнія N крокаў

  • бягучая зводка (абнаўляецца кожны цыкл)

  • бягучы план

  • бягучыя абмежаванні (бюджэт, час, палітыка)

Калі ўсё раскласці па кантэксце, атрымаецца:

  • больш высокі кошт

  • павольнейшая затрымка

  • большая блытаніна (так, нават тады)

Доўгатэрміновая памяць: аднаўленне, а не «набіванне»

Большая частка «доўгатэрміновай памяці» больш падобная на:

  • убудаванні

  • вектарная крама

  • пошук дапоўненай генерацыі (RAG) RAG-папера

Агент не запамінае. Ён атрымлівае найбольш рэлевантныя фрагменты падчас выканання. LlamaIndex «Уводзіны ў RAG»

Правілы практычнай памяці

  • Захоўвайце «налады» як відавочныя факты: «Карыстальніку падабаюцца кароткія зместы і ён ненавідзіць эмодзі» (ха-ха, але не тут 😄)

  • Захоўвайце «рашэнні» з часовымі меткамі або версіямі (інакш назапашваюцца супярэчнасці)

  • Ніколі не захоўвайце сакрэты, калі ў гэтым няма сапраўднай неабходнасці

А вось мая недасканалая метафара: памяць падобная да халадзільніка. Калі вы яго ніколі не чысціце, у рэшце рэшт ваш бутэрброд будзе мець смак цыбулі і шкадавання.

9) Схема планавання (ад простых да мудрагелістых) 🧭✨

Планаванне — гэта проста кантраляванае раскладанне. Не рабіце з гэтага містыку.

Схема А: Планер кантрольнага спісу ✅

  • Мадэль выводзіць спіс крокаў

  • Выконваецца крок за крокам

  • Стан кантрольнага спісу абнаўленняў

Выдатна падыходзіць для ўкаранення. Просты, лёгка тэстуецца.

Шаблон B: цыкл ReAct (прычына + дзеянне) 🧠→🧰

  • мадэль вызначае наступны выклік інструмента

  • назірае за вынікам

  • паўтарае дакумент ReAct

Гэта класічнае пачуццё агента.

Шаблон C: Кіраўнік-работнік 👥

Гэта карысна, калі задачы можна паралельна выконваць або калі вам патрэбныя розныя «ролі», напрыклад:

  • даследчык

  • праграміст

  • рэдактар

  • Праверка якасці

Схема D: Плануй, а потым выконвай з перапланаваннем 🔄

  • стварыць план

  • выканаць

  • калі вынікі выкарыстання інструмента змяняюць рэальнасць, пераплануйце

Гэта не дазваляе агенту ўпарта прытрымлівацца дрэннага плана. Людзі таксама робяць гэта, калі толькі яны не стаміліся, і ў такім выпадку яны таксама прытрымліваюцца дрэнных планаў.

10) Бяспека, надзейнасць і каб цябе не звольнілі 🔐😅

Калі ваш агент можа прымаць меры, вам патрэбны дызайн бяспекі. Не тое, што «прыемна мець». Патрэбна. NIST AI RMF 1.0

Жорсткія абмежаванні

  • максімум крокаў за бег

  • максімум выклікаў інструментаў у хвіліну

  • максімальныя выдаткі за сесію (бюджэт токенаў)

  • абмежаваныя інструменты, якія стаяць за адабрэннем

Апрацоўка дадзеных

  • рэдагаваць канфідэнцыйныя дадзеныя перад уваходам у сістэму

  • асобныя асяроддзі (распрацоўка і вытворчасць)

  • дазволы інструмента з найменшымі прывілеямі

Паводніцкія абмежаванні

  • прымусіць агента цытаваць унутраныя фрагменты доказаў (не знешнія спасылкі, толькі ўнутраныя спасылкі)

  • патрабаваць сцяжкоў нявызначанасці пры нізкай давернасці

  • патрабаваць «задаць удакладняльнае пытанне», калі ўваходныя дадзеныя неадназначныя

Надзейны агент — гэта не самы ўпэўнены ў сабе агент. Гэта той, хто ведае, калі здагадваецца... і кажа пра гэта.

11) Тэставанне і ацэнка (частка, якой усе пазбягаюць) 🧪📏

Нельга палепшыць тое, што нельга вымераць. Так, гэтая фраза выглядае банальна, але яна, на жаль, праўдзівая.

Стварыце набор сцэнарыяў

Стварыце 30-100 тэставых выпадкаў:

Вынікі ацэнкі

Выкарыстоўвайце такія паказчыкі, як:

  • паказчык поспеху ў задачы

  • час выканання

  • хуткасць аднаўлення ад памылак інструмента

  • частата галюцынацый (сцвярджэнні без доказаў)

  • узровень адабрэння чалавекам (у кантраляваным рэжыме)

Рэгрэсійныя тэсты для падказак і інструментаў

Кожны раз, калі вы змяняеце:

  • схема інструмента

  • сістэмныя інструкцыі

  • логіка пошуку

  • фарматаванне памяці
    Запусціце пакет яшчэ раз.

Агенты — адчувальныя істоты. Як пакаёвыя расліны, але даражэйшыя.

12) Схема разгортвання, якая не спустошыць ваш бюджэт 💸🔥

Пачніце з адной паслугі

Дадайце кантроль выдаткаў загадзя

  • вынікі пошуку з кэшавання

  • сцісканне стану размовы з рэзюмэ

  • выкарыстанне меншых мадэляў для маршрутызацыі і здабычы

  • абмежаванне «рэжыму глыбокага мыслення» самымі складанымі крокамі

Агульны выбар архітэктуры

  • кантролер без захавання стану + знешняе сховішча стану (БД/Redis)

  • выклікі інструментаў ідэмпатэнтныя, дзе гэта магчыма; Stripe «Ідэмпатэнтныя запыты»

  • чарга для доўгіх задач (каб вэб-запыт не заставаўся адкрытым вечна)

Акрамя таго: стварыце «аварыйны выключальнік». Ён вам не спатрэбіцца, пакуль ён вам сапраўды не спатрэбіцца 😬

13) Заключныя нататкі - кароткая версія таго, як стварыць агента са штучным інтэлектам 🎁🤖

Калі вы больш нічога не памятаеце, то ўспомніце вось гэта:

Агент — гэта не магія. Гэта сістэма, якая прымае правільныя рашэнні дастаткова часта, каб быць каштоўнай... і прызнае паразу, перш чым яна прычыніць шкоду. Ціха суцяшае, у пэўным сэнсе 😌

І так, калі ўсё правільна пабудаваць, гэта будзе падобна на найманне маленькага лічбавага стажора, які ніколі не спіць, часам панікуе і любіць папяровую працу. Такім чынам, па сутнасці, стажор.

Часта задаваныя пытанні

Што такое агент штучнага інтэлекту, кажучы простай мовай?

Агент са штучным інтэлектам — гэта, па сутнасці, цыкл, які паўтараецца: прымае ўвод, вызначае наступны крок, выкарыстоўвае інструмент, чытае вынік і паўтарае, пакуль не будзе зроблена. «Агентская» частка складаецца з дзеянняў і назірання, а не проста з размовы. Многія агенты — гэта проста разумная аўтаматызацыя з доступам да інструментаў, у той час як іншыя паводзяць сябе хутчэй як малодшы аператар, які можа аднаўляцца пасля памылак.

Калі мне варта стварыць агента са штучным інтэлектам, а не проста выкарыстоўваць падказку?

Стварыце агента, калі праца шматэтапная, змяняецца ў залежнасці ад прамежкавых вынікаў і патрабуе надзейнага выкарыстання інструментаў (API, базы дадзеных, сістэма тыкетаў, выкананне кода). Агенты таксама карысныя, калі вам патрэбныя паўтаральныя вынікі з ахоўнымі панэлямі і спосабам праверкі «гатоўнасці». Калі просты хуткі адказ працуе, агент звычайна з'яўляецца непатрэбным і стварае дадатковыя рэжымы збояў.

Як стварыць агента штучнага інтэлекту, які не захрасае ў цыклах?

Выкарыстоўвайце жорсткія ўмовы прыпынку: максімальную колькасць крокаў, максімальную колькасць выклікаў інструментаў і выразныя праверкі завяршэння. Дадайце структураваныя схемы інструментаў, тайм-аўты і паўторныя спробы, якія не будуць паўтарацца бясконца. Рэгіструйце рашэнні і вынікі інструментаў, каб бачыць, дзе яны збіваюцца з шляху. Распаўсюджаным засцерагальным клапанам з'яўляецца эскалацыя: калі агент няўпэўнены або паўтарае памылкі, ён павінен звярнуцца па дапамогу, а не імправізаваць.

Якая мінімальная архітэктура для стварэння агента са штучным інтэлектам?

Як мінімум, вам патрэбен цыкл кантролера, які перадае мадэлі мэту і кантэкст, запытвае наступнае дзеянне, выконвае інструмент па запыце, дадае назіранне і паўтарае. Вам таксама патрэбныя інструменты са строгімі формамі ўводу/вываду і праверкай "гатоўнасці". Нават цыкл "згортванне ўласнага цыкла" можа добра працаваць, калі вы падтрымліваеце чысты стан і выконваеце абмежаванні крокаў.

Як мне распрацаваць выклік інструментаў, каб ён быў надзейным у прадукцыйнасці?

Захоўвайце інструменты вузкімі, тыпізаванымі, з дазволамі і праверанымі — пазбягайце агульных інструментаў тыпу «зрабі што заўгодна». Аддавайце перавагу строгім схемам (напрыклад, структураваным вынікам/выкліку функцый), каб агент не мог уручную кантраляваць уваходныя дадзеныя. Дадавайце белыя спісы, абмежаванні хуткасці і праверкі дазволаў карыстальнікаў/арганізацый на ўзроўні інструментаў. Распрацоўвайце інструменты так, каб іх можна было бяспечна паўторна запускаць, калі гэта магчыма, выкарыстоўваючы шаблоны ідэмпатэнтнасці.

Які найлепшы спосаб дадаць памяць, не пагаршаючы працу агента?

Разглядайце памяць як дзве часткі: кароткатэрміновы стан выканання (нядаўнія крокі, бягучы план, абмежаванні) і доўгатэрміновы пошук (налады, стабільныя правілы, адпаведная дакументацыя). Захоўвайце кароткатэрміновую кампактнасць з бягучымі зводкамі, а не поўнымі транскрыптамі. Для доўгатэрміновай памяці пошук (убудоўванне + вектарнае сховішча/шаблоны RAG) звычайна лепшы за «ўпісванне» ўсяго ў кантэкст і заблытванне мадэлі.

Які шаблон планавання мне выкарыстоўваць: кантрольны спіс, ReAct ці «супрацоўнік-кіраўнік»?

Планавальнік кантрольных спісаў выдатна падыходзіць, калі задачы прадказальныя, і вам патрэбна нешта лёгкае для тэставання. Цыклы ў стылі ReAct выдатна падыходзяць, калі вынікі інструментаў змяняюць вашы наступныя дзеянні. Шаблоны падзелу роляў кіраўнік-супрацоўнік (напрыклад, падзел роляў у стылі AutoGen) дапамагаюць, калі задачы можна паралельна выконваць або атрымліваць выгаду ад розных роляў (даследчык, праграміст, спецыяліст па кантролі якасці). «Плануй, а потым выканай» з перапланаваннем — гэта практычны залатой сярэдзіны для пазбягання ўпарта дрэнных планаў.

Як зрабіць агента бяспечным, калі ён можа здзяйсняць рэальныя дзеянні?

Выкарыстоўвайце правы з найменшымі прывілеямі і абмяжуйце рызыкоўныя інструменты рэжымамі зацвярджэння або «пробнага запуску». Дадайце бюджэты і абмежаванні: максімальную колькасць крокаў, максімальныя выдаткі і абмежаванні выклікаў інструментаў у хвіліну. Выдаліце ​​канфідэнцыйныя дадзеныя перад рэгістрацыяй і аддзяліце асяроддзе распрацоўкі ад вытворчага. Патрабуйце сцяжкі нявызначанасці або ўдакладняльныя пытанні, калі ўваходныя дадзеныя неадназначныя, замест таго, каб дазваляць упэўненасці замяняць доказы.

Як мне пратэставаць і ацаніць агента штучнага інтэлекту, каб ён з часам паляпшаўся?

Стварыце набор сцэнарыяў са шчаслівымі шляхамі, памежнымі выпадкамі, збоямі інструментаў, неадназначнымі запытамі і спробамі ўвядзення запытаў (у стылі OWASP). Ацэньвайце такія вынікі, як поспех задачы, час выканання, аднаўленне пасля памылак інструментаў і прэтэнзіі без доказаў. Кожны раз, калі вы змяняеце схемы інструментаў, запыты, атрыманне або фарматаванне памяці, перазапусціце набор. Калі вы не можаце яго праверыць, вы не можаце надзейна яго адправіць.

Як разгарнуць агента без павелічэння затрымкі і выдаткаў?

Распаўсюджаная схема — гэта кантролер без захавання стану з знешнім сховішчам стану (БД/Redis), службамі інструментаў за ім і надзейным рэгістраваннем/маніторынгам (часта OpenTelemetry). Кантралюйце выдаткі з дапамогай кэшавання пошуку, кампактных зводак стану, меншых мадэляў для маршрутызацыі/вымання і абмежавання «глыбокага мыслення» самымі складанымі крокамі. Выкарыстоўвайце чэргі для доўгіх задач, каб не трымаць вэб-запыты адкрытымі. Заўсёды ўключайце аварыйны выключальнік.

Спасылкі

  1. Нацыянальны інстытут стандартаў і тэхналогій (NIST) - NIST AI RMF 1.0 (надзейнасць і празрыстасць) - nvlpubs.nist.gov

  2. OpenAI - Структураваныя вынікі - platform.openai.com

  3. OpenAI - Кіраўніцтва па выкліку функцый - platform.openai.com

  4. OpenAI - Кіраўніцтва па абмежаваннях хуткасці - platform.openai.com

  5. OpenAI - запускае API - platform.openai.com

  6. OpenAI - Выклік функцый памочнікаў - platform.openai.com

  7. LangChain - Дакументацыя агентаў (JavaScript) - docs.langchain.com

  8. LangChain - Дакументацыя па інструментах (Python) - docs.langchain.com

  9. LangChain - Агляд памяці - docs.langchain.com

  10. arXiv - артыкул па ReAct (разуменне + дзеянне) - arxiv.org

  11. arXiv - артыкул RAG - arxiv.org

  12. Бібліятэка канструктараў Amazon Web Services (AWS) - Тайм-аўты, паўторныя спробы і адтэрміноўка з-за ваганняў - aws.amazon.com

  13. OpenTelemetry - Асновы назіральнасці - opentelemetry.io

  14. Stripe - Ідэмпатэнтныя запыты - docs.stripe.com

  15. Google Cloud - Стратэгія паўторных спроб (адтэрміноўка + ваганні) - docs.cloud.google.com

  16. OWASP - Топ-10 для прыкладанняў з мадэлямі вялікіх моў - owasp.org

  17. OWASP - LLM01 Запыт на ўвядзенне - genai.owasp.org

  18. LlamaIndex - Уводзіны ў RAG - developers.llamaindex.ai

  19. Microsoft - Семантычнае ядро ​​- learn.microsoft.com

  20. Microsoft AutoGen - Мультыагентная платформа (дакументацыя) - microsoft.github.io

  21. CrewAI - Канцэпцыі агентаў - docs.crewai.com

  22. Haystack (глыбокі) - Дакументацыя па рэтрыверах - docs.haystack.deepset.ai

Знайдзіце найноўшы штучны інтэлект у афіцыйнай краме памочнікаў штучнага інтэлекту

Пра нас

Назад да блога