Што такое базавыя мадэлі ў генератыўным штучным інтэлекце?

Што такое базавыя мадэлі ў генератыўным штучным інтэлекце?

Кароткі адказ: базавыя мадэлі — гэта вялікія мадэлі штучнага інтэлекту агульнага прызначэння, навучаныя на велізарных наборах дадзеных, а затым адаптаваныя да розных задач (напісанне, пошук, кадаванне, выявы) з дапамогай падказак, тонкай налады, інструментаў або пошуку. Калі вам патрэбныя надзейныя адказы, спалучайце іх з зазямленнем (напрыклад, RAG), выразнымі абмежаваннямі і праверкамі, а не дазваляйце ім імправізаваць.

Асноўныя высновы:

Вызначэнне : Адна шырока навучаная базавая мадэль, якая паўторна выкарыстоўваецца ў многіх задачах, а не адна задача на мадэль.

Адаптацыя : выкарыстоўвайце падказкі, тонкую наладу, LoRA/адаптары, RAG і інструменты для кіравання паводзінамі.

Генератыўная адпаведнасць : яны забяспечваюць стварэнне тэксту, малюнкаў, аўдыё, кода і мультымадальнага кантэнту.

Якасныя сігналы : прыярытэтызацыя кіравальнасці, меншай колькасці галюцынацый, шматмадальнасці і эфектыўнасці высноў.

Кантроль рызык : Плануйце выключэнне галюцынацый, прадузятасці, уцечкі прыватнасці і своечасовага ўвядзення праз кіраванне і тэставанне.

Што такое базавыя мадэлі ў генератыўным штучным інтэлекце? Інфаграфіка

Артыкулы, якія вам могуць спадабацца пасля гэтага:

🔗 Што такое кампанія штучнага інтэлекту
Зразумейце, як кампаніі, якія займаюцца штучным інтэлектам, ствараюць прадукты, каманды і мадэлі даходу.

🔗 Як выглядае код штучнага інтэлекту
Глядзіце прыклады кода штучнага інтэлекту, ад мадэляў Python да API.

🔗 Што такое алгарытм штучнага інтэлекту
Даведайцеся, што такое алгарытмы штучнага інтэлекту і як яны прымаюць рашэнні.

🔗 Што такое тэхналогія штучнага інтэлекту
Даследуйце асноўныя тэхналогіі штучнага інтэлекту, якія забяспечваюць аўтаматызацыю, аналітыку і інтэлектуальныя праграмы.

1) Мадэлі падмурка - вызначэнне без туману 🧠

Базавая мадэль — гэта вялікая мадэль штучнага інтэлекту агульнага прызначэння, навучаная на шырокіх дадзеных (звычайна на вялікай колькасці дадзеных), таму яе можна адаптаваць да многіх задач, а не толькі да адной ( NIST , Stanford CRFM ).

Замест таго, каб ствараць асобную мадэль для:

  • напісанне электронных лістоў

  • адказваючы на ​​пытанні

  • рэзюмэ PDF-файлаў

  • стварэнне малюнкаў

  • класіфікацыя запытаў падтрымкі

  • пераклад моў

  • прапаноўваць код

…вы навучаеце адну вялікую базавую мадэль, якая «вывучае свет» невыразным статыстычным спосабам, а затым адаптуеце яе да канкрэтных задач з дапамогай падказак, тонкай налады або дадатковых інструментаў ( Bommasani et al., 2021 ).

Іншымі словамі: гэта агульны рухавік , якім можна кіраваць.

І так, ключавое слова — «агульнае». У гэтым і ўся хітрасць.

2) Што такое базавыя мадэлі ў генератыўным штучным інтэлекце? (Як яны канкрэтна падыходзяць) 🎨📝

Дык што ж такое базавыя мадэлі ў генератыўным штучным інтэлекце? Гэта базавыя мадэлі, якія забяспечваюць працу сістэм, здольных генераваць новы кантэнт — тэкст, выявы, аўдыё, код, відэа і ўсё часцей… іх сумесі ( NIST , NIST Generative AI Profile ).

Генератыўны штучны інтэлект — гэта не проста прагназаванне такіх пазнак, як «спам / не спам». Ён пра стварэнне вынікаў, якія выглядаюць так, быццам іх зрабіў чалавек.

  • абзацы

  • вершы

  • апісанні прадуктаў

  • ілюстрацыі

  • мелодыі

  • прататыпы праграм

  • сінтэтычныя галасы

  • а часам непраўдападобна ўпэўненая лухта 🙃

Мадэлі падмурка асабліва добрыя тут, таму што:

  • яны ўвабралі шырокія заканамернасці з велізарных набораў дадзеных ( Bommasani et al., 2021 )

  • яны могуць абагульняць на новыя падказкі (нават незвычайныя) ( Brown et al., 2020 )

  • іх можна перапрафіляваць для дзясяткаў вынікаў без неабходнасці перавучвання з нуля ( Bommasani et al., 2021 )

Яны — «асноўны пласт» — як цеста для хлеба. З яго можна спячы багет, піцу ці булачкі з карыцай... не ідэальная метафара, але вы мяне разумееце 😄

3) Чаму яны ўсё змянілі (і чаму людзі не перастаюць пра іх казаць) 🚀

Да стварэння базавых мадэляў шмат штучнага інтэлекту было арыентавана на канкрэтныя задачы:

  • навучыць мадэль для аналізу настрояў

  • навучыць іншага перакладчыцкую дзейнасць

  • навучыць іншага класіфікацыі малюнкаў

  • навучыць іншага распазнаванню названых аб'ектаў

Гэта спрацавала, але было павольна, дорага і неяк… нетрывала.

Мадэлі фонду перавярнулі сітуацыю:

  • аднаразовая папярэдняя трэніроўка (вялікія намаганні)

  • паўторнае выкарыстанне паўсюдна (вялікі прыбытак) ( Bommasani et al., 2021 )

Гэта паўторнае выкарыстанне і з'яўляецца множнікам. Кампаніі могуць стварыць 20 функцый на аснове аднаго сямейства мадэляў, замест таго, каб 20 разоў вынаходзіць ровар.

Акрамя таго, карыстальніцкі досвед стаў больш натуральным:

  • вы не «карыстаецеся класіфікатарам»

  • ты размаўляеш з мадэллю, як з карыснай калегай, якая ніколі не спіць ☕🤝

Часам гэта падобна на калегу, які самаўпэўнена ўсё разумее няправільна, але што ж. Рост.

4) Асноўная ідэя: папярэдняя падрыхтоўка + адаптацыя 🧩

Амаль усе мадэлі падмуркаў прытрымліваюцца пэўнай схемы ( Стэнфардскі CRFM , NIST ):

Перадпадрыхтоўка (этап «паглынання інтэрнэту») 📚

Мадэль навучаецца на велізарных, шырокіх наборах дадзеных з выкарыстаннем саманавучання ( NIST ). Для моўных мадэляў гэта звычайна азначае прагназаванне прапушчаных слоў або наступнага токена ( Devlin et al., 2018 , Brown et al., 2020 ).

Сэнс не ў тым, каб навучыць яго адной задачы. Сэнс у тым, каб навучыць яго агульным прадстаўленням :

  • граматыка

  • факты (нейкага кшталту)

  • мадэлі разважанняў (часам)

  • стылі пісьма

  • структура кода

  • агульны чалавечы намер

Адаптацыя (этап «зрабі гэта практычным») 🛠️

Затым вы адаптуеце яго, выкарыстоўваючы адзін або некалькі з наступных варыянтаў:

  • падказкі (інструкцыі простай мовай)

  • налада інструкцый (навучанне выконваць інструкцыі) ( Wei et al., 2021 )

  • тонкая налада (навучанне на дадзеных вашага дамена)

  • LoRA / адаптары (лёгкія метады налады) ( Hu et al., 2021 )

  • RAG (генерацыя з пашыраным пошукам — мадэль звяртаецца да вашай дакументацыі) ( Lewis et al., 2020 )

  • выкарыстанне інструментаў (выклік функцый, прагляд унутраных сістэм і г.д.)

Вось чаму тая ж базавая мадэль можа напісаць рамантычную сцэну... а потым праз пяць секунд дапамагчы адладзіць SQL-запыт 😭

5) Што робіць мадэль падмурка добрай? ✅

Гэта той раздзел, які людзі прапускаюць, а потым шкадуюць.

«Добрая» мадэль падмурка — гэта не проста «большая». Вядома, большы памер дапамагае… але гэта не адзінае, што мае значэнне. Добрая версія мадэлі падмурка звычайна мае:

Моцнае абагульненне 🧠

Ён добра спраўляецца з многімі задачамі без неабходнасці перападрыхтоўкі для канкрэтных задач ( Bommasani et al., 2021 ).

Кіраванне і кіравальнасць 🎛️

Ён можа надзейна выконваць інструкцыі, такія як:

  • «Будзьце лаканічнымі»

  • «выкарыстоўвайце маркіраваныя спісы»

  • «Пішыце ў прыязным тоне»

  • «Не раскрывайце канфідэнцыйную інфармацыю»

Некаторыя мадэлі разумныя, але слізкія. Як спрабаваць утрымаць кавалак мыла ў душы. Карысныя, але непрадказальныя 😅

Нізкая схільнасць да галюцынацый (ці прынамсі адкрытая няўпэўненасць) 🧯

Ніводная мадэль не застрахаваная ад галюцынацый, акрамя добрых:

  • менш галюцынаваць

  • часцей прызнаваць няўпэўненасць

  • пры выкарыстанні пошуку інфармацыі бліжэй да прадастаўленага кантэксту ( Ji et al., 2023 , Lewis et al., 2020 )

Добрая мультымадальная здольнасць (пры неабходнасці) 🖼️🎧

Калі вы ствараеце памочнікаў, якія чытаюць выявы, інтэрпрэтуюць дыяграмы або разумеюць аўдыё, шматмадальнасць мае вялікае значэнне ( Radford et al., 2021 ).

Эфектыўны вывад ⚡

Затрымка і кошт маюць значэнне. Мадэль, якая магутная, але павольная, падобная да спартыўнага аўтамабіля з прабітай шынай.

Бяспека і паводзіны пры выраўноўванні 🧩

Не проста «адмаўляцца ад усяго», а:

  • пазбягайце шкодных інструкцый

  • паменшыць прадузятасць

  • асцярожна абыходзьцеся з далікатнымі тэмамі

  • супраціўляцца спробам базавага джейлбрэйка (у пэўнай ступені…) ( NIST AI RMF 1.0 , NIST Generative AI Profile )

Дакументацыя + экасістэма 🌱

Гучыць сухо, але гэта праўда:

  • інструменты

  • ацэначныя рамяні

  • варыянты разгортвання

  • кантроль прадпрыемства

  • падтрымка тонкай налады

Так, «экасістэма» — гэта расплывістае слова. Я таксама яго ненавіджу. Але яно мае значэнне.

6) Параўнальная табліца - распаўсюджаныя варыянты мадэляў падмуркаў (і для чаго яны падыходзяць) 🧾

Ніжэй прыведзена практычная, крыху недасканалая параўнальная табліца. Гэта не «адзіны праўдзівы спіс», а хутчэй тое, што людзі выбіраюць у дзікай прыродзе.

тып інструмента / мадэлі аўдыторыя адносна дарагі чаму гэта працуе
Уласная ступень магістра права (у стылі чата) каманды, якія жадаюць хуткасці і адпрацоўкі на аснове выкарыстання / падпіскі Выдатнае выкананне інструкцый, высокая агульная праца, звычайна лепшае "з скрынкі" 😌
Адкрыты LLM (самастойна размяшчаемы) будаўнікі, якія жадаюць кантролю кошт інфраструктуры (і галаўны боль) Наладжвальны, бяспечны для прыватнасці, можа працаваць лакальна… калі вам падабаецца важдацца ў поўнач
Генератар дыфузійных малюнкаў творчыя асобы, дызайнерскія каманды ад бясплатнага да платнага Выдатны сінтэз малюнкаў, разнастайнасць стыляў, ітэратыўныя працоўныя працэсы (таксама: пальцы могуць быць недарэчнымі) ✋😬 ( Ho et al., 2020 , Rombach et al., 2021 )
Мультымадальная мадэль «візуальная мова» праграмы, якія чытаюць выявы + тэкст на аснове выкарыстання Дазваляе задаваць пытанні пра выявы, скрыншоты, дыяграмы — нечакана зручна ( Radford et al., 2021 )
Мадэль падмурка ўбудавання пошук + сістэмы RAG нізкі кошт за званок Пераўтварае тэкст у вектары для семантычнага пошуку, кластэрызацыі, рэкамендацый - ціхая энергія MVP ( Карпухін і інш., 2020 , Дуз і інш., 2024 )
Мадэль асновы пераўтварэння маўлення ў тэкст кол-цэнтры, стваральнікі на аснове выкарыстання / лакальна Хуткая транскрыпцыя, шматмоўная падтрымка, дастаткова добра для шумнага аўдыё (звычайна) 🎙️ ( Шэпт )
Мадэль асновы пераўтварэння тэксту ў маўленне каманды па развіцці прадуктаў, СМІ на аснове выкарыстання Натуральная генерацыя голасу, стылі маўлення, апавяданне — могуць стаць жудасна рэалістычнымі ( Shen et al., 2017 )
Магістр права, арыентаваны на код распрацоўшчыкі на аснове выкарыстання / падпіскі Лепш разбіраецца ў шаблонах кода, адладцы, рэфактарынгу... хоць усё яшчэ не чытае думкі 😅

Звярніце ўвагу, што «базавая мадэль» азначае не толькі «чат-бот». Убудаванні і мадэлі маўлення таксама могуць быць базавымі, бо яны шырокія і могуць выкарыстоўвацца паўторна ў розных задачах ( Bommasani et al., 2021 , NIST ).

7) Падрабязней: як вучацца мадэлі моўнай асновы (версія Vibe) 🧠🧃

Мадэлі асновы мовы (часта званыя LLM) звычайна навучаюцца на велізарных калекцыях тэксту. Яны вучацца, прадказваючы токены ( Brown et al., 2020 ). Вось і ўсё. Ніякага сакрэтнага пылу фей.

Але магія ў тым, што прагназаванне токенаў прымушае мадэль вывучаць структуру ( CSET ):

  • граматыка і сінтаксіс

  • тэматычныя сувязі

  • падобныя на разважанні мадэлі (часам)

  • распаўсюджаныя паслядоўнасці думак

  • як людзі тлумачаць рэчы, спрачаюцца, прабачаюцца, дамаўляюцца, вучаць

Гэта як вучыцца імітаваць мільёны размоў, не «разумеючы» таго, як гэта робяць людзі. Здаецца, што гэта не павінна працаваць... і ўсё ж гэта працягвае працаваць.

Адно лёгкае перабольшанне: гэта ў асноўным як сцісканне чалавечага пісьма ў гіганцкі імавернасны мозг.
З іншага боку, гэтая метафара трохі праклятая. Але мы рухаемся 😄

8) Больш уважліва: мадэлі дыфузіі (чаму выявы працуюць па-рознаму) 🎨🌀

Мадэлі асновы выявы часта выкарыстоўваюць дыфузіі ( Ho et al., 2020 , Rombach et al., 2021 ).

Прыблізная ідэя:

  1. дадаваць шум да выяваў, пакуль яны не стануць фактычна статычнымі

  2. навучыць мадэль паступова змяняць гэты шум

  3. падчас генерацыі пачніце з шуму і «падаўце шум» у выяву пад кіраўніцтвам ( Ho et al., 2020 )

Вось чаму стварэнне выявы падобна на «праяўку» фатаграфіі, толькі на ёй намаляваны цмок у красоўках у праходзе супермаркета 🛒🐉

Дыфузійныя мадэлі добрыя, таму што:

  • яны ствараюць высакаякасныя візуальныя эфекты

  • яны могуць моцна кіравацца тэкстам

  • яны падтрымліваюць ітэрацыйнае ўдасканаленне (варыяцыі, дамалёўку, маштабаванне) ( Rombach et al., 2021 )

Яны таксама часам сутыкаюцца з:

  • рэндэрынг тэксту ўнутры малюнкаў

  • дробныя анатомічныя дэталі

  • паслядоўная ідэнтычнасць персанажаў ва ўсіх сцэнах (яна паляпшаецца, але ўсё ж)

9) Больш падрабязны разгляд: шматмадальныя мадэлі падмуркаў (тэкст + выявы + аўдыё) 👀🎧📝

Мультымадальныя асноўныя мадэлі накіраваны на разуменне і генерацыю дадзеных для розных тыпаў дадзеных:

Чаму гэта важна ў рэальным жыцці:

  • служба падтрымкі кліентаў можа інтэрпрэтаваць скрыншоты

  • інструменты даступнасці могуць апісваць выявы

  • адукацыйныя праграмы могуць тлумачыць дыяграмы

  • стваральнікі могуць хутка рабіць рэміксы фарматаў

  • бізнес-інструменты могуць «чытаць» скрыншот панэлі кіравання і рэзюмаваць яго

Пад капотам мультымадальныя сістэмы часта сумяшчаюць прадстаўленні:

  • ператварыць выяву ва ўбудаванні

  • ператварыць тэкст ва ўбудаванні

  • вывучыце агульную прастору, дзе «кот» адпавядае пікселям котак 😺 ( Radford et al., 2021 )

Гэта не заўсёды элегантна. Часам гэта пашыта як коўдра. Але гэта працуе.

10) Дакладная налада супраць падказак супраць RAG (як адаптаваць базавую мадэль) 🧰

Калі вы спрабуеце зрабіць базавую мадэль практычнай для пэўнай вобласці (юрыдычнай, медыцынскай, абслугоўвання кліентаў, унутраных ведаў), у вас ёсць некалькі рычагоў:

Падказка 🗣️

Найхутчэйшы і найпрасцейшы.

  • плюсы: нулявое навучанне, імгненная ітэрацыя

  • мінусы: можа быць непаслядоўным, абмяжоўвае кантэкст, выклікае нестабільнасць

Даводка 🎯

Далей навучайце мадэль на вашых прыкладах.

  • плюсы: больш паслядоўная паводзіны, лепшая мова дамена, можа скараціць даўжыню запыту

  • мінусы: кошт, патрабаванні да якасці дадзеных, рызыка перанавучання, абслугоўванне

Лёгкі цюнінг (LoRA / адаптары) 🧩

Больш эфектыўная версія тонкай налады ( Hu et al., 2021 ).

  • плюсы: танней, модульны, лягчэй замяняць

  • мінусы: усё яшчэ патрэбны навучальны канвеер і ацэнка

RAG (пашыраная генерацыя з пошукам) 🔎

Мадэль атрымлівае адпаведныя дакументы з вашай базы ведаў і выкарыстоўвае іх для адказаў ( Lewis et al., 2020 ).

  • плюсы: актуальныя веды, цытаты ўнутры кампаніі (калі вы гэта ўкараніце), менш перападрыхтоўкі

  • мінусы: якасць пошуку можа як вырашыць праблему, так і сапсаваць яе, патрабуецца добрае разбіццё на часткі + убудаванні

Праўда: шмат паспяховых сістэм спалучаюць падказкі + RAG. Дакладная налада — гэта магутна, але не заўсёды неабходна. Людзі занадта хутка да яе далучаюцца, бо яна гучыць уражліва 😅

11) Рызыкі, абмежаванні і раздзел «калі ласка, не разгортвайце гэта ўсляпую» 🧯😬

Базавыя мадэлі магутныя, але яны не стабільныя, як традыцыйнае праграмнае забеспячэнне. Яны больш падобныя на… таленавітага стажора з праблемай упэўненасці ў сабе.

Асноўныя абмежаванні, якія трэба ўлічваць пры планаванні:

Галюцынацыі 🌀

Мадэлі могуць вынаходзіць:

  • фальшывыя крыніцы

  • няправільныя факты

  • праўдападобныя, але няправільныя крокі ( Ji et al., 2023 )

Змякчэнне наступстваў:

  • RAG з абгрунтаваным кантэкстам ( Lewis et al., 2020 )

  • абмежаваныя выхады (схемы, выклікі інструментаў)

  • відавочная інструкцыя «не здагадвацца»

  • ўзроўні праверкі (правілы, перакрыжаваныя праверкі, праверка чалавекам)

Прадузятасць і шкодныя мадэлі паводзін ⚠️

Паколькі дадзеныя навучання адлюстроўваюць людзей, вы можаце атрымаць:

  • стэрэатыпы

  • нераўнамерная прадукцыйнасць паміж групамі

  • небяспечнае завяршэнне ( NIST AI RMF 1.0 , Bommasani et al., 2021 )

Змякчэнне наступстваў:

Канфідэнцыяльнасць і ўцечка дадзеных 🔒

Калі вы перадаеце канфідэнцыйныя дадзеныя ў канчатковую кропку мадэлі, вам неабходна ведаць:

  • як гэта захоўваецца

  • ці выкарыстоўваецца яно для трэніровак

  • якая лесанарыхтоўка існуе

  • што кантралюе патрэбы вашай арганізацыі ( NIST AI RMF 1.0 )

Змякчэнне наступстваў:

  • варыянты прыватнага разгортвання

  • моцнае кіраванне

  • мінімальнае ўздзеянне дадзеных

  • толькі ўнутраны RAG са строгім кантролем доступу ( NIST Generative AI Profile , Carlini et al., 2021 )

Хуткая ін'екцыя (асабліва з RAG) 🕳️

Калі мадэль чытае ненадзейны тэкст, гэты тэкст можа паспрабаваць маніпуляваць ёю:

Змякчэнне наступстваў:

Не спрабую цябе напалохаць. Проста… лепш ведаць, дзе рыпяць падлогавыя дошкі.

12) Як выбраць мадэль падмурка для вашага выпадку выкарыстання 🎛️

Калі вы выбіраеце мадэль падмурка (ці будуеце на ім), пачніце з наступных падказак:

Вызначце, што вы ствараеце 🧾

  • толькі тэкст

  • выявы

  • аўдыё

  • змешаны мультымадальны

Усталюйце планку факталагічнасці 📌

Калі вам патрэбна высокая дакладнасць (фінансы, ахова здароўя, юрыдычныя пытанні, бяспека):

  • вам спатрэбіцца RAG ( Lewis et al., 2020 )

  • вам спатрэбіцца пацверджанне

  • вам спатрэбіцца праверка чалавекам (прынамсі часам) ( NIST AI RMF 1.0 )

Вызначце мэтавую затрымку ⚡

Чат імгненны. Пакетнае падвядзенне вынікаў можа быць павольнейшым.
Калі вам патрэбны імгненны адказ, памер мадэлі і хостынг маюць значэнне.

Патрабаванні да прыватнасці і адпаведнасці картам 🔐

Некаторым камандам патрабуецца:

  • лакальнае разгортванне / разгортванне VPC

  • без захоўвання дадзеных

  • строгія журналы аўдыту

  • кантроль доступу для кожнага дакумента ( NIST AI RMF 1.0 , NIST Generative AI Profile )

Збалансаваны бюджэт - і, ап, цярпення 😅

Самастойны хостынг дае кантроль, але дадае складанасці.
Кіраваныя API простыя, але могуць быць дарагімі і менш наладжвальнымі.

Невялікая практычная парада: спачатку стварыце прататып з чагосьці простага, а потым ужо загартоўвайце. Пачатак з «ідэальнай» налады звычайна ўсё запавольвае.

13) Што такое базавыя мадэлі ў генератыўным штучным інтэлекце? (Хуткая ментальная мадэль) 🧠✨

Давайце вернем гэта. Што такое базавыя мадэлі ў генератыўным штучным інтэлекце?

Яны:

  • вялікія, агульныя мадэлі, навучаныя на шырокіх дадзеных ( NIST , Stanford CRFM )

  • здольны генераваць кантэнт (тэкст, выявы, аўдыё і г.д.) ( профіль генератыўнага штучнага інтэлекту NIST )

  • адаптуецца да многіх задач з дапамогай падказак, тонкай налады і пошуку ( Bommasani et al., 2021 )

  • базавы ўзровень, які забяспечвае працу большасці сучасных прадуктаў генератыўнага штучнага інтэлекту

Яны не з'яўляюцца адной асобнай архітэктурай або брэндам. Гэта катэгорыя мадэляў, якія паводзяць сябе як платформа.

Фундаментальная мадэль не такая, як калькулятар, і хутчэй як кухня. У ёй можна прыгатаваць шмат страў. Таксама можна падпаліць тосты, калі вы не ўважлівыя... але кухня ўсё роўна даволі зручная 🍳🔥

14) Кароткі змест і высновы ✅🙂

Базавыя мадэлі — гэта шматразовыя рухавікі генератыўнага штучнага інтэлекту. Яны навучаюцца шырока, а затым адаптуюцца да канкрэтных задач праз падказкі, тонкую наладу і пошук ( NIST , Stanford CRFM ). Яны могуць быць дзіўнымі, неакуратнымі, магутнымі, а часам і недарэчнымі — усё адначасова.

Кароткі змест:

Калі вы будуеце што-небудзь з дапамогай генератыўнага штучнага інтэлекту, разуменне мадэляў падмуркаў неабавязковае. Гэта ўся падлога, на якой стаіць будынак... і так, часам падлога трохі хістаецца 😅

Часта задаваныя пытанні

Мадэлі падмуркаў, простай мовай

Базавая мадэль — гэта вялікая універсальная мадэль штучнага інтэлекту, навучаная на шырокіх дадзеных, таму яе можна выкарыстоўваць паўторна для многіх задач. Замест таго, каб ствараць адну мадэль для кожнай задачы, вы пачынаеце з моцнай «базавай» мадэлі і адаптуеце яе па меры неабходнасці. Гэтая адаптацыя часта адбываецца праз падказкі, тонкую наладу, пошук (RAG) або інструменты. Цэнтральная ідэя — шырыня і кіравальнасць.

Чым адрозніваюцца базавыя мадэлі ад традыцыйных мадэляў штучнага інтэлекту, арыентаваных на канкрэтныя задачы

Традыцыйны штучны інтэлект часта навучае асобную мадэль для кожнай задачы, напрыклад, аналізу настрояў або перакладу. Базавыя мадэлі адварочваюць гэты шаблон: папярэдне навучаюць адзін раз, а потым выкарыстоўваюць паўторна для многіх функцый і прадуктаў. Гэта можа паменшыць дубліраванне намаганняў і паскорыць распрацоўку новых магчымасцей. Кампраміс у тым, што яны могуць быць менш прадказальнымі, чым класічнае праграмнае забеспячэнне, калі не дадаць абмежаванні і тэсціраванне.

Базавыя мадэлі ў генератыўным штучным інтэлекце

У генератыўным штучным інтэлекце базавыя мадэлі — гэта базавыя сістэмы, якія могуць ствараць новы кантэнт, напрыклад, тэкст, выявы, аўдыё, код або мультымадальныя выхады. Яны не абмяжоўваюцца маркіроўкай або класіфікацыяй; яны генеруюць адказы, якія нагадваюць працу, створаную чалавекам. Паколькі яны вывучаюць шырокія заканамернасці падчас папярэдняга навучання, яны могуць апрацоўваць многія тыпы і фарматы падказак. Яны з'яўляюцца «базавым узроўнем» большасці сучасных генератыўных досведаў.

Як вучацца мадэлі падмуркаў падчас папярэдняга навучання

Большасць мадэляў моўных асноў вучацца, прадказваючы токены, такія як наступнае слова або прапушчаныя словы ў тэксце. Гэтая простая мэта падштурхоўвае іх да інтэрналізацыі структуры, такой як граматыка, стыль і распаўсюджаныя мадэлі тлумачэння. Яны таксама могуць засвойваць вялікую колькасць ведаў пра свет, хоць і не заўсёды надзейна. У выніку атрымліваецца моцнае агульнае ўяўленне, якое пазней можна накіраваць на канкрэтную працу.

Розніца паміж падказкамі, тонкай наладкай, LoRA і RAG

Падказкі — гэта самы хуткі спосаб кіраваць паводзінамі з дапамогай інструкцый, але ён можа быць далікатным. Дакладная налада дадаткова навучае мадэль на вашых прыкладах для больш паслядоўнай паводзін, але яна павялічвае выдаткі і абслугоўванне. LoRA/адаптары — гэта больш лёгкі падыход да дакладнай налады, які часта таннейшы і больш модульны. RAG атрымлівае адпаведныя дакументы і мае адказ мадэлі, выкарыстоўваючы гэты кантэкст, што дапамагае са свежасцю і абгрунтаванасцю.

Калі выкарыстоўваць RAG замест тонкай налады

RAG часта з'яўляецца добрым выбарам, калі вам патрэбныя адказы, заснаваныя на вашых бягучых дакументах або ўнутранай базе ведаў. Ён можа паменшыць «здагадак», забяспечваючы мадэль адпаведным кантэкстам падчас генерацыі. Дакладная налада лепш падыходзіць, калі вам патрэбен паслядоўны стыль, фармулёўка прадметнай вобласці або паводзіны, якія падказкі не могуць надзейна стварыць. Многія практычныя сістэмы спалучаюць падказкі + RAG, перш чым звяртацца да дакладнай налады.

Як паменшыць галюцынацыі і атрымаць больш надзейныя адказы

Распаўсюджаны падыход заключаецца ў тым, каб мадэль грунтавалася на пошуку (RAG), каб яна заставалася блізкай да прадастаўленага кантэксту. Вы таксама можаце абмежаваць выхадныя дадзеныя з дапамогай схем, патрабаваць выклікаў інструментаў для ключавых крокаў і дадаваць відавочныя інструкцыі «не здагадвацца». Таксама важныя ўзроўні праверкі, такія як праверкі правілаў, перакрыжаваная праверка і праверка чалавекам для выпадкаў выкарыстання з больш высокімі стаўкамі. Разглядайце мадэль як імавернасны памочнік, а не як крыніцу праўды па змаўчанні.

Найбольшыя рызыкі, звязаныя з мадэлямі падмуркаў у вытворчасці

Да распаўсюджаных рызык адносяцца галюцынацыі, прадузятасць або шкоднасныя шаблоны з навучальных дадзеных і ўцечка прыватнасці, калі канфідэнцыйныя дадзеныя апрацоўваюцца няправільна. Сістэмы таксама могуць быць уразлівыя да ўвядзення падказак, асабліва калі мадэль счытвае ненадзейны тэкст з дакументаў або вэб-кантэнту. Да мер па змякчэнні рызык звычайна адносяцца кіраванне, аб'яднанне ў каманды, кантроль доступу, больш бяспечныя шаблоны падказак і структураваная ацэнка. Плануйце гэтыя рызыкі загадзя, а не ўсталёўвайце патчы пазней.

Хуткае ўпырскванне і чаму гэта важна ў сістэмах RAG

Увядзенне запыту адбываецца, калі ненадзейны тэкст спрабуе адмяніць інструкцыі, такія як «ігнараваць папярэднія ўказанні» або «раскрыць сакрэты». У RAG атрыманыя дакументы могуць утрымліваць гэтыя шкоднасныя інструкцыі, і мадэль можа прытрымлівацца іх, калі вы не будзеце асцярожныя. Распаўсюджаны падыход заключаецца ў ізаляцыі сістэмных інструкцый, дэзінфекцыі атрыманага кантэнту і выкарыстанні палітык на аснове інструментаў, а не толькі запытаў. Тэставанне з выкарыстаннем варожых уводных дадзеных дапамагае выявіць слабыя месцы.

Як выбраць мадэль падмурка для вашага выпадку выкарыстання

Пачніце з вызначэння таго, што вам трэба стварыць: тэкст, выявы, аўдыё, код або мультымадальныя выхады. Затым усталюйце планку фактуальнасці — вобласці высокай дакладнасці часта патрабуюць абгрунтавання (RAG), праверкі, а часам і праверкі чалавекам. Улічвайце затрымку і кошт, бо моцную, павольную або дарагую мадэль можа быць цяжка рэалізаваць. Нарэшце, адлюструйце патрэбы ў прыватнасці і адпаведнасці патрабаванням, а таксама варыянты разгортвання і элементы кіравання.

Спасылкі

  1. Нацыянальны інстытут стандартаў і тэхналогій (NIST) - Мадэль падмурка (слоўнікавы тэрмін) - csrc.nist.gov

  2. Нацыянальны інстытут стандартаў і тэхналогій (NIST) - NIST AI 600-1: Генератыўны профіль штучнага інтэлекту - nvlpubs.nist.gov

  3. Нацыянальны інстытут стандартаў і тэхналогій (NIST) - NIST AI 100-1: Структура кіравання рызыкамі штучнага інтэлекту (AI RMF 1.0) - nvlpubs.nist.gov

  4. Стэнфардскі цэнтр даследаванняў мадэляў падмуркаў (CRFM) - Справаздача - crfm.stanford.edu

  5. arXiv - Аб магчымасцях і рызыках мадэляў заснавання (Bommasani et al., 2021) - arxiv.org

  6. arXiv - Моўныя мадэлі - гэта магчымасць для тых, хто вывучае іх з невялікай колькасцю шанцаў (Браўн і інш., 2020) - arxiv.org

  7. arXiv - Генерацыя з дапоўненым пошукам дадзеных для задач NLP з інтэнсіўным выкарыстаннем ведаў (Lewis et al., 2020) - arxiv.org

  8. arXiv - LoRA: нізкарангавая адаптацыя мадэляў вялікіх моў (Hu et al., 2021) - arxiv.org

  9. arXiv - BERT: Папярэдняе навучанне глыбокіх двухнакіраваных трансфарматараў для разумення мовы (Devlin et al., 2018) - arxiv.org

  10. arXiv - Дасканалыя моўныя мадэлі - гэта навучанне з нулявым шанцам (Wei et al., 2021) - arxiv.org

  11. Лічбавая бібліятэка ACM - Апытанне аб галюцынацыях пры генерацыі натуральнай мовы (Ji et al., 2023) - dl.acm.org

  12. arXiv - Навучанне пераносным візуальным мадэлям з дапамогай кантролю за натуральнай мовай (Radford et al., 2021) - arxiv.org

  13. arXiv - Імавернасныя мадэлі дыфузіі з падаўленнем шуму (Ho et al., 2020) - arxiv.org

  14. arXiv - Сінтэз малюнкаў высокага разрознення з дапамогай мадэляў латэнтнай дыфузіі (Rombach et al., 2021) - arxiv.org

  15. arXiv - Шчыльны пошук пасажаў для адказаў на пытанні ў адкрытай вобласці (Карпухін і інш., 2020) - arxiv.org

  16. arXiv - Бібліятэка Faiss (Douze et al., 2024) - arxiv.org

  17. OpenAI - Прадстаўляем Whisper - openai.com

  18. arXiv - Сінтэз натуральных TTS шляхам апрацоўкі WaveNet на аснове прагнозаў Mel-спектраграмы (Shen et al., 2017) - arxiv.org

  19. Цэнтр бяспекі і новых тэхналогій (CSET), Джорджтаўнскі ўніверсітэт - Дзіўная сіла прагназавання наступнага слова: тлумачэнне мадэляў вялікіх моў (частка 1) - cset.georgetown.edu

  20. USENIX - Выманне навучальных дадзеных з вялікіх моўных мадэляў (Carlini et al., 2021) - usenix.org

  21. OWASP - LLM01: Хуткая ін'екцыя - genai.owasp.org

  22. arXiv - Больш, чым вы прасілі: комплексны аналіз пагроз новых імгненных уставак у інтэграваныя з дадаткамі мадэлі вялікіх моў (Greshake et al., 2023) - arxiv.org

  23. Серыя шпаргалак OWASP - Шпаргалка па прадухіленні ін'екцый LLM - cheatsheetseries.owasp.org

Знайдзіце найноўшы штучны інтэлект у афіцыйнай краме памочнікаў штучнага інтэлекту

Пра нас

Назад да блога