Як працуюць дэтэктары штучнага інтэлекту? [Відэа і віктарына]

Кароткі адказ: дэтэктары штучнага інтэлекту не «даказваюць», хто нешта напісаў; яны ацэньваюць, наколькі блізка ўрывак адпавядае знаёмым шаблонам моўнай мадэлі. Большасць з іх абапіраецца на спалучэнне класіфікатараў, сігналаў прадказальнасці (збянтэжанасць/парыўнасць), стыляметрыі і, у рэдкіх выпадках, праверкі вадзяных знакаў. Калі ўзор кароткі, вельмі фармальны, тэхнічны або напісаны аўтарам, які не знаёмы з англійскай як іншай мовай, разглядайце партытуру як падказку для агляду, а не як вердыкт.

Асноўныя высновы:

Верагоднасць, а не доказ: разглядайце працэнты як сігналы рызыкі, падобныя да штучнага інтэлекту, а не як упэўненасць.

Ілжывапазітыўныя вынікі: фармальнае, тэхнічнае, шаблоннае або ненатыўнае напісанне часта пазначаецца няправільна.

Спалучэнне метадаў: інструменты спалучаюць класіфікатары, праверкі на складанасць/разрыўнасць, стыляметрыю і незвычайныя праверкі вадзяных знакаў.

Празрыстасць: аддавайце перавагу дэтэктарам, якія ахопліваюць паверхневыя прамежкі, асаблівасці і нявызначанасць, а не толькі адзін лік.

Спрэчнасць: Трымайце чарнавікі/нататкі і працэсуальныя доказы пад рукой на выпадак спрэчак і апеляцый.

Артыкулы, якія вам могуць спадабацца пасля гэтага:

🔗 Які лепшы дэтэктар штучнага інтэлекту?
Найлепшыя інструменты выяўлення штучнага інтэлекту ў параўнанні па дакладнасці, функцыянальнасці і варыянтах выкарыстання.

🔗 Ці надзейныя дэтэктары штучнага інтэлекту?
Тлумачыць надзейнасць, ілжывапазітыўныя вынікі і тое, чаму вынікі часта адрозніваюцца.

🔗 Ці можа Turnitin выявіць штучны інтэлект?
Поўнае кіраўніцтва па выяўленні, абмежаваннях і найлепшых практыках з дапамогай штучнага інтэлекту Turnitin.

🔗 Ці дакладны дэтэктар QuillBot са штучным інтэлектам?
Падрабязны агляд дакладнасці, моцных і слабых бакоў, а таксама рэальных выпрабаванняў.

1) Кароткая ідэя — што насамрэч робіць дэтэктар штучнага інтэлекту ⚙️

Большасць дэтэктараў штучнага інтэлекту не «ловяць штучны інтэлект», як сетка ловіць рыбу. Яны робяць нешта больш празаічнае:

• Яны ацэньваюць верагоднасць таго, што фрагмент тэксту выглядае так, быццам ён паходзіць з моўнай мадэлі (або быў значна падтрыманы такой мадэллю). (Апытанне па выяўленні тэксту, згенераванага LLM; OpenAI)

• Яны параўноўваюць ваш тэкст з заканамернасцямі, якія назіраюцца ў навучальных дадзеных (пісьмо чалавека супраць пісьма, згенераванага мадэллю). (Апытанне па выяўленні тэксту, згенераванага LLM)

• Яны выдаюць бал (часта ў працэнтах), які здаецца канчатковым... але звычайна такім не з'яўляецца. (Кіраўніцтва па Turnitin)

Будзем шчырымі — інтэрфейс напіша нешта накшталт «92% штучнага інтэлекту», і ваш мозг падумае: «Ну, здаецца, гэта факт». Гэта не факт. Гэта здагадка мадэлі пра адбіткі пальцаў іншай мадэлі. Што даволі смешна, як сабакі, якія нюхаюць сабак 🐕🐕

2) Як працуюць дэтэктары штучнага інтэлекту: найбольш распаўсюджаныя «рухавікі выяўлення» 🔍

Дэтэктары звычайна выкарыстоўваюць адзін (або спалучэнне) з гэтых падыходаў: (Апытанне па выяўленні тэксту, згенераванага LLM)

А) Мадэлі класіфікатараў (найбольш распаўсюджаныя)

Класіфікатар навучаецца на пазначаных прыкладах:

• Узоры, напісаныя чалавекам

• Узоры, згенераваныя штучным інтэлектам

• Часам «гібрыдныя» ўзоры (адрэдагаваны чалавекам тэкст з дапамогай штучнага інтэлекту)

Затым яно вывучае шаблоны, якія падзяляюць групы. Гэта класічны падыход машыннага навучання, і ён можа быць нечакана прыстойным... пакуль не перастане ім быць. (Апытанне па выяўленні тэксту, згенераванага LLM)

Б) Ацэнка збянтэжанасці і «выбуховасці» 📈

Некаторыя дэтэктары вылічваюць, наколькі «прадказальны» тэкст.

• Збянтэжанасць: прыкладна, наколькі здзіўлена моўная мадэль наступным словам. (Бостанскі ўніверсітэт - паведамленні пра збянтэжанасць)

• Меншая ступень збянтэжанасці можа сведчыць аб тым, што тэкст вельмі прадказальны (што можа здарыцца з вынікамі штучнага інтэлекту). (DetectGPT)

• «Burstiness» спрабуе вымераць, наколькі варыятыўная складанасць і рытм сказаў. (GPTZero)

Гэты падыход просты і хуткі. Яго таксама лёгка заблытаць, бо людзі таксама могуць пісаць прадказальна (прывітанне, карпаратыўныя электронныя лісты). (OpenAI)

C) Стыламетрыя (зняцце адбіткаў пальцаў пры пісьме) ✍️

Стыламетрыя разглядае такія ўзоры, як:

• сярэдняя даўжыня сказа

• стыль пунктуацыі

• частата функцыянальных слоў (the, and, but…)

• разнастайнасць лексікі

• балы чытальнасці

Гэта як «аналіз почырку», толькі для тэксту. Часам гэта дапамагае. Часам гэта як дыягнаставаць прастуду, гледзячы на ​​чыйсьці абутак. (Стыламетрыя і судова-медыцынская навука: агляд літаратуры; Службовыя словы ў аўтарстве)

D) Выяўленне вадзянога знака (калі ён існуе) 🧩

Некаторыя пастаўшчыкі мадэляў могуць убудоўваць у згенераваны тэкст нязначныя ўзоры («вадзяныя знакі»). Калі дэтэктар ведае схему вадзянога знака, ён можа паспрабаваць яе праверыць. (Вадзяны знак для мадэляў вялікіх моў; SynthID тэкст)

Але… не ўсе мадэлі дадаюць вадзяныя знакі, не ўсе выхады захоўваюць вадзяныя знакі пасля рэдагавання, і не ўсе дэтэктары маюць доступ да сакрэтнага інгрэдыента. Таму гэта не ўніверсальнае рашэнне. (Аб надзейнасці вадзяных знакаў для мадэляў з вялікімі мовамі праграмавання; OpenAI)

3) Што робіць добрую версію дэтэктара са штучным інтэлектам ✅

«Добры» дэтэктар (паводле майго досведу тэставання некалькіх такіх дэтэктараў побач для рэдакцыйных працэсаў) — гэта не той, які крычыць гучней за ўсё. Гэта той, які паводзіць сябе адказна.

Вось што робіць дэтэктар штучнага інтэлекту надзейным:

• Калібраваная ўпэўненасць: 70% павінны азначаць нешта паслядоўнае, а не маханне рукой. (Апытанне па выяўленні тэксту, згенераванага LLM)

• Нізкі ўзровень ілжывых спрацоўванняў: не варта пазначаць неродную англійскую мову, юрыдычныя тэксты або тэхнічныя кіраўніцтвы як «штучны інтэлект» толькі таму, што яны чыстыя. (Стэнфард HAI; Лян і інш. (arXiv))

• Празрыстыя межы: ён павінен дапускаць нявызначанасць і паказваць дыяпазоны, а не рабіць выгляд, што ён усёведаючы. (OpenAI; Turnitin)

• Усведамленне дамена: дэтэктары, навучаныя на звычайных блогах, часта маюць праблемы з акадэмічным тэкстам і наадварот. (Апытанне па выяўленні тэксту, згенераванага LLM).

• Апрацоўка кароткіх тэкстаў: добрыя інструменты дазваляюць пазбегнуць празмерна ўпэўненых вынікаў на малых выбарках (абзац — гэта не сусвет). (OpenAI; Turnitin)

• Адчувальнасць да рэдагавання: павінна апрацоўваць рэдагаванне чалавекам, не прыводзячы імгненна да бессэнсоўных вынікаў. (Апытанне па выяўленні тэксту, згенераванага LLM).

Найлепшыя з тых, каго я бачыў, звычайна крыху сціплыя. Найгоршыя паводзяць сябе так, быццам чытаюць думкі 😬

4) Параўнальная табліца — распаўсюджаныя тыпы дэтэктараў штучнага інтэлекту і іх перавагі 🧾

Ніжэй прыведзена практычнае параўнанне. Гэта не назвы брэндаў — гэта асноўныя катэгорыі, з якімі вы сутыкнецеся. (Апытанне па выяўленні тэксту, згенераванага LLM)

Звярніце ўвагу на калонку «адчуванне цаны». Так, гэта не навукова. Але гэта шчыра 😄

5) Асноўныя сігналы, якія шукаюць дэтэктары — «падказкі» 🧠

Вось што многія дэтэктары спрабуюць вымераць "пад капотам":

Прадказальнасць (верагоднасць токена)

Моўныя мадэлі генеруюць тэкст, прадказваючы верагодныя наступныя токены. Гэта, як правіла, стварае:

• больш плаўныя пераходы

• менш нечаканых варыянтаў слоў

• менш дзіўных адхіленняў (калі не будзе прапанавана)

• паслядоўны тон (Бостанскі ўніверсітэт - паведамленні пра збянтэжанасць; DetectGPT)

Людзі ж часцей за ўсё дзейнічаюць зігзагамі. Мы супярэчым самі сабе, дадаем выпадковыя пабочныя каментарыі, выкарыстоўваем крыху недарэчныя метафары — напрыклад, параўноўваем дэтэктар штучнага інтэлекту з тостарам, які ацэньвае паэзію. Гэтая метафара дрэнная, але вы яе разумееце.

Паўтарэнне і структурныя заканамернасці

Штучны інтэлект можа паказваць нязначныя паўторы:

• паўтаральныя скаванні сказаў («У заключэнне…», «Акрамя таго…», «Акрамя таго…»)

• падобная даўжыня абзацаў

• паслядоўны тэмп (апытанне па выяўленні тэксту, згенераванага LLM)

Але таксама — многія людзі пішуць так, асабліва ў школе ці на карпаратыўным узроўні. Таму паўтарэнне — гэта падказка, а не доказ.

Залішняя яснасць і «занадта чыстая» проза ✨

Гэта своеасаблівая асаблівасць. Некаторыя дэтэктары ўскосна ўспрымаюць «вельмі чысты почырк» як падазроны. (OpenAI)

Што няёмка, бо:

• добрыя пісьменнікі існуюць

• рэдактары існуюць

• праверка правапісу існуе

Такім чынам, калі вы думаеце пра тое, як працуюць дэтэктары штучнага інтэлекту, часткова адказ такі: часам яны ўзнагароджваюць шурпатасць. Што... крыху наадварот.

Семантычная шчыльнасць і агульная фраза

Дэтэктары могуць пазначаць тэкст, які выглядае як:

• занадта агульны

• мала канкрэтных жыццёвых дэталяў

• пераважна збалансаваныя, нейтральныя сцвярджэнні (Апытанне па выяўленні тэксту, згенераванага LLM)

Штучны інтэлект часта стварае кантэнт, які гучыць разумна, але злёгку адрэдагаваны. Напрыклад, гасцінічны нумар, які выглядае прыгожа, але не мае ніякай індывідуальнасці 🛏️

6) Падыход з класіфікатарам — як ён навучаецца (і чаму ён ламаецца) 🧪

Дэтэктар класіфікатара звычайна навучаецца наступным чынам:

1. Збярыце набор дадзеных тэксту, напісанага чалавекам (эсэ, артыкулы, форумы і г.д.)

2. Генерацыя тэксту з дапамогай штучнага інтэлекту (некалькі падказак, стыляў, даўжыні)

3. Пазначце ўзоры

4. Навучыце мадэль, каб аддзяліць іх з дапамогай функцый або ўбудаванняў

5. Праверце гэта на ўтоеных дадзеных

6. Адпраўце яго... а потым рэальнасць б'е яго па твары (Апытанне па выяўленні тэксту, згенераванага LLM)

Чаму рэальнасць перамагае:

• Змена дамена: навучальныя дадзеныя не адпавядаюць тэксту рэальнага карыстальніка

• Змена мадэлі: мадэлі новага пакалення паводзяць сябе не так, як тыя, што ў наборы дадзеных

• Эфекты рэдагавання: рэдагаванне чалавекам можа выдаліць відавочныя заканамернасці, але захаваць нязначныя

• Моўныя варыяцыі: дыялекты, пісьмо на англійскай як другой мове як другой мовы і фармальныя стылі няправільна інтэрпрэтуюцца (Апытанне па выяўленні тэксту, згенераванага LLM; Лян і інш. (arXiv))

Я бачыў дэтэктары, якія былі «выдатнымі» на ўласным дэманстрацыйным наборы, а потым развальваліся на рэальным працоўным месцы. Гэта як навучыць сабаку-шукача знаходзіць толькі адну марку печыва і чакаць, што ён знойдзе ўсе закускі ў свеце 🍪

7) Разгубленасць і парывістасць — матэматычны скарачэнне 📉

Гэтае сямейства дэтэктараў, як правіла, абапіраецца на ацэнку моўнай мадэлі:

• Яны прапускаюць ваш тэкст праз мадэль, якая ацэньвае верагоднасць кожнага наступнага токена.

• Яны вылічваюць агульнае «здзіўленне» (разгубленасць). (Бостанскі ўніверсітэт - Паведамленні пра разгубленасць)

• Яны могуць дадаваць метрыкі варыяцый («імпульсіўнасць»), каб убачыць, ці адчуваецца рытм па-чалавечы. (GPTZero)

Чаму гэта часам працуе:

• неапрацаваны тэкст штучнага інтэлекту можа быць надзвычай гладкім і статыстычна прадказальным (DetectGPT)

Чаму гэта не атрымліваецца:

• кароткія ўзоры шумныя

• фармальнае пісьмо прадказальнае

• тэхнічнае напісанне прадказальнае

• неносьбіты мовы могуць быць прадказальнымі

• моцна адрэдагаваны тэкст, створаны штучным інтэлектам, можа выглядаць падобным да чалавечага (OpenAI; Turnitin)

Такім чынам, як працуюць датчыкі штучнага інтэлекту, часам гэта нагадвае хуткасны пісталет, які блытае ровары і матацыклы. Адна дарога, розныя рухавікі 🚲🏍️

8) Вадзяныя знакі — ідэя «адбіткаў пальцаў на чарнілах» 🖋️

Вадзяныя знакі гучаць як простае рашэнне: пазначаць тэкст штучнага інтэлекту падчас генерацыі, а потым выяўляць яго. (Вадзяны знак для вялікіх моўных мадэляў; SynthID тэкст)

На практыцы вадзяныя знакі могуць быць далікатнымі:

• перафразаванне можа аслабіць іх

• пераклад можа іх парушыць

• частковае цытаванне можа іх выдаліць

• змешванне некалькіх крыніц можа размыць заканамернасць (Аб надзейнасці вадзяных знакаў для вялікіх моўных мадэляў)

Акрамя таго, выяўленне вадзяных знакаў працуе толькі ў тым выпадку, калі:

• выкарыстоўваецца вадзяны знак

• дэтэктар ведае, як гэта праверыць

• тэкст амаль не змяніўся (OpenAI; SynthID Text)

Так, вадзяныя знакі могуць быць магутнымі, але яны не з'яўляюцца універсальным паліцэйскім значком.

9) Ілжывапазітыўныя вынікі і чаму яны здараюцца (балючая частка) 😬

Гэта заслугоўвае асобнага раздзела, бо менавіта тут узнікае найбольш спрэчак.

Распаўсюджаныя ілжыва станоўчыя сігналы:

• Вельмі фармальны тон (акадэмічны, юрыдычны, камплаенс-напісанне)

• Неродная англійская мова (прасцейшыя структуры сказаў могуць выглядаць «ўзорнымі»)

• Напісанне на аснове шаблонаў (суправаджальныя лісты, стандартныя аперацыйныя працэдуры, лабараторныя справаздачы)

• Кароткія тэкставыя ўзоры (недастаткова сігналу)

• Тэматычныя абмежаванні (некаторыя тэмы прымушаюць паўтараць фразы) (Liang et al. (arXiv); Turnitin)

Калі вы калі-небудзь бачылі, як кагосьці паскардзілі за занадта добры тэкст... так. Такое здараецца. І гэта жорстка.

Вынік дэтэктара павінен апрацоўвацца наступным чынам:

• пажарная сігналізацыя, а не прысуд суда 🔥
  Яна кажа вам «магчыма, праверыць», а не «справа закрыта». (OpenAI; Turnitin)

10) Як інтэрпрэтаваць вынікі дэтэктара па-даросламу 🧠🙂

Вось практычны спосаб прачытаць вынікі:

Калі інструмент дае адзін працэнт

Успрымайце гэта як прыблізны сігнал рызыкі:

• 0-30%верагодна, чалавек або моцна адрэдагаваны

• 30-70%: неадназначная зона — нічога не мяркуйце

• 70-100%: хутчэй за ўсё, гэта шаблоны, падобныя да штучнага інтэлекту, але ўсё яшчэ не доказ (кіраўніцтвы Turnitin)

Нават высокія балы могуць быць няправільнымі, асабліва для:

• стандартызаванае пісьмо

• пэўныя жанры (рэзюмэ, азначэнні)

• Напісанне на англійскай як другой мове (Liang et al. (arXiv))

Шукайце тлумачэнні, а не толькі лічбы

Лепшыя дэтэктары забяспечваюць:

• вылучаныя прамежкі

• асаблівасці (прадказальнасць, паўтарэнне і г.д.)

• даверныя інтэрвалы або мова нявызначанасці (Апытанне па выяўленні тэксту, згенераванага LLM)

Калі інструмент адмаўляецца што-небудзь тлумачыць і проста паказвае вам лічбу па лбе... я яму не давяраю. Вам таксама не варта.

11) Як працуюць дэтэктары штучнага інтэлекту: простая ментальная мадэль 🧠🧩

Калі вы хочаце атрымаць чысты вынік, выкарыстоўвайце гэтую ментальную мадэль:

1. Дэтэктары штучнага інтэлекту шукаюць статыстычныя і стылістычныя заканамернасці, распаўсюджаныя ў машынна-згенераваным тэксце. (Апытанне па выяўленні тэксту, згенераванага LLM)

2. Яны параўноўваюць гэтыя заканамернасці з тым, што яны даведаліся з навучальных прыкладаў. (Апытанне па выяўленні тэксту, згенераванага LLM).

3. Яны выдаюць імавернасную здагадку, а не фактычную гісторыю паходжання. (OpenAI)

4. Здагадка залежыць ад жанру, тэмы, працягласці, рэдагаванняў і дадзеных навучання дэтэктара. (Апытанне па выяўленні тэксту, згенераванага LLM)

Іншымі словамі, прынцып працы дэтэктараў штучнага інтэлекту заключаецца ў тым, што яны «ацэньваюць падабенства», а не аўтарства. Гэта як сказаць, што хтосьці падобны на свайго стрыечнага брата. Гэта не тое ж самае, што тэст ДНК... ​​і нават у тэстах ДНК ёсць парогавыя выпадкі.

12) Практычныя парады па зніжэнні колькасці выпадковых сцяжкоў (без гульні) ✍️✅

Не «як падмануць дэтэктары». Хутчэй, як пісаць так, каб адлюстроўваць сапраўднае аўтарства і пазбягаць дзіўных памылак чытання.

• Дадайце канкрэтныя звесткі: назвы канцэпцый, якія вы фактычна выкарыстоўвалі, крокі, якія вы зрабілі, кампрамісы, якія вы ўлічвалі

• Выкарыстоўвайце натуральныя варыяцыі: спалучайце кароткія і доўгія сказы (як гэта робяць людзі, калі думаюць)

• Уключыце рэальныя абмежаванні: часовыя абмежаванні, выкарыстоўваныя інструменты, што пайшло не так, што б вы зрабілі інакш

• Пазбягайце празмерна шаблонных фармулёвак: заменіце «Больш за тое» на тое, што вы б сапраўды сказалі

• Захоўвайце чарнавікі і нататкі: калі ўзнікне спрэчка, доказы працэсу важнейшыя за інтуіцыю

Па праўдзе кажучы, найлепшая абарона — гэта проста… быць шчырым. Недасканалым шчырым, а не шчырым, як у «ідэальнай брашуры».

Заключныя нататкі 🧠✨

Дэтэктары штучнага інтэлекту могуць быць карыснымі, але яны не з'яўляюцца машынамі для пошуку праўдзівасці. Гэта супастаўляльнікі шаблонаў, навучаныя на недасканалых дадзеных, якія працуюць у свеце, дзе стылі пісьма пастаянна перасякаюцца. (OpenAI; Апытанне аб выяўленні тэксту, згенераванага LLM)

Карацей кажучы:

• Дэтэктары абапіраюцца на класіфікатары, складанасць/пакетнасць, стыляметрыю і часам вадзяныя знакі 🧩 (Апытанне па выяўленні тэксту, згенераванага LLM)

• Яны ацэньваюць «падабенства да штучнага інтэлекту», а не ўпэўненасць (OpenAI)

• Ілжывапазітыўныя вынікі часта здараюцца ў фармальным, тэхнічным або не-носьбітным пісьме 😬 (Liang et al. (arXiv); Turnitin)

• Выкарыстоўвайце вынікі дэтэктара як падказку для агляду, а не як вердыкт (Turnitin)

І так… калі хтосьці зноў спытае, як працуюць дэтэктары штучнага інтэлекту, вы можаце сказаць яму: «Яны здагадваюцца на аснове заканамернасцей — часам разумных, часам дурных, заўсёды абмежаваных». 

Прыклад з рэальнага жыцця: Прагляд адхіленага студэнцкага эсэ без паспешлівых высноў 🧑🏫

Сцэнар

Уявіце, што выкладчык па пісьме ва ўніверсітэце атрымлівае эсэ па гісторыі на 1200 слоў, якое дэтэктар штучнага інтэлекту пазначае як «86% верагоднасці штучнага інтэлекту». Эсэ фармальнае, акуратна структураванае і абапіраецца на паўтаральныя фразы, такія як «гэта сведчыць аб тым, што» і «можна спрачацца». На першы погляд гэта можа выглядаць падазрона.

Але студэнт — аўтар, які вывучае англійскую як другую мову як другую, выкарыстаў строгі шаблон эсэ з класа і адрэдагаваў чарнавік з дапамогай праграмы для праверкі граматыкі. Іншымі словамі, гэта менавіта той выпадак, калі ацэнка з дапамогай дэтэктара павінна выклікаць перагляд, а не пакаранне.

Мэта не ў тым, каб «падлавіць» студэнта. Мэта ў тым, каб вызначыць, ці падмацаваны яго бал іншымі доказамі.

Што трэба рэцэнзенту

Перш чым вынесці якое-небудзь рашэнне, выкладчык збірае:

• Справаздача дэтэктара, у тым ліку вылучаныя ўрыўкі, калі такія маюцца

• Кароткі змест эсэ і рубрыка для ацэньвання

• Чарнавік гісторыі, нататкі, план або бібліяграфія студэнта

• Любыя дазволеныя інструменты падтрымкі пісьма, пералічаныя ў правілах курса

• Адзін ці два папярэднія ўзоры пісьмовых работ ад таго ж студэнта, калі гэта дазваляе палітыка

• Кароткае тлумачэнне студэнта аб працэсе напісання

Гэта важна, бо дэтэктар бачыць толькі канчатковы тэкст. Ён не ведае, ці патраціў студэнт чатыры дні на напісанне чарнавіка, выкарыстоўваў шаблон, капіяваў фразы класа, перакладаў нататкі ці пераглядаў іх з улікам водгукаў.

Прыклад інструкцыі

Пры ацэнцы справы выкладчык можа выкарыстоўваць гэтую інструкцыю па аглядзе:

Разгледзьце гэтае эсэ як праверку працэсу напісання, а не як доказ выкарыстання штучнага інтэлекту. Параўнайце асноўныя моманты дэтэктара з нататкамі студэнта, гісторыяй чарнавікоў, спісам крыніц і папярэднім узорам пісьма. Вызначце, якія ўрыўкі сапраўды падазроныя, а якія могуць быць проста фармальнымі, шаблоннымі або пад уплывам англійскай мовы як другой. Падзяліце доказы на тры групы: сігнал дэтэктара, доказы працэсу напісання і меркаванне чалавека. Не рэкамендуйце дысцыплінарныя меры, калі няма відавочных пацвярджальных доказаў, акрамя балаў дэтэктара.

Як гэта праверыць

Справядлівы працэс разгляду можа ўключаць тры простыя праверкі:

1. Папрасіце студэнта вусна растлумачыць два абзацы.
   Калі ён можа растлумачыць аргумент, крыніцы і чаму ён сфармуляваў яго менавіта так, гэта з'яўляецца каштоўным доказам працэсу.

2. Параўнайце пазначаныя раздзелы з шаблонам эсэ.
   Калі дэтэктар вылучае ў асноўным фразы ў стылі шаблонаў, ацэнка можа рэагаваць на структуру, а не на аўтарства.

3. Перачытвайце толькі больш доўгія раздзелы, а не маленькія фрагменты
   . Адзін абзац можа быць шумным. Узор з 600-900 слоў звычайна дае больш значны сігнал, чым тры асобныя сказы.

Вынік

Ілюстрацыйны вынік: у практыкаванні па аглядзе пяці эсэ выкладчык замярае час працэсу да і пасля выкарыстання гэтага працоўнага працэсу.

Да пачатку працоўнага працэсу праверка кожнага адзначанага эсэ займала каля 35 хвілін, бо выкладчыку даводзілася вырашаць, што праверыць, з нуля.

Пасля выкарыстання працоўнага працэсу кожны агляд займаў каля 18 хвілін:

• 5 хвілін, каб прачытаць асноўныя характарыстыкі дэтэктара

• 6 хвілін на праверку чарнавікоў, нататак і крыніц

• 4 хвіліны на параўнанне ранейшых тэкстаў або шаблонаў

• 3 хвіліны, каб напісаць кароткі агляд

Гэта ацэньваецца як эканомія 17 хвілін на адно эсэ або 85 хвілін на пяць пазначаных эсэ. Паказчык лёгка праверыць: засечыце час кожнага разгляду, падлічыце, колькі выпадкаў патрабавала эскалацыі, і зафіксуйце, ці было канчатковае рашэнне прынята толькі на падставе балаў дэтэктара, ці на падставе пацвярджальных доказаў.

Лепшым паказчыкам поспеху з'яўляецца не «колькі студэнтаў было злоўлена». А колькі сумніўных вынікаў было перагледжана паслядоўна, з відавочнымі доказамі і меншай колькасцю паспешных здагадак.

Што можа пайсці не так

Найбольшая памылка — гэта ўспрымаць працэнт дэтэктара як рашэнне. «86% верагоднасці штучнага інтэлекту» гучыць афіцыйна, але гэта ўсё роўна можа быць памылковым.

Іншыя распаўсюджаныя памылкі ўключаюць:

• Праверка толькі канчатковага эсэ і ігнараванне чарнавікоў

• Штраф за адшліфаванае пісьмо на англійскай як другой мове як за тое, што яно выглядае «занадта гладкім»

• Выкарыстанне аднаго дэтэктара як інструмента судовай экспертызы

• Выкананне невялікіх фрагментаў і ўспрыманне бала як надзейнага

• Непатлумачылі студэнтам, якія доказы яны могуць прадставіць

• Забыццё пра тое, што граматычныя інструменты, шаблоны і зваротная сувязь могуць змяніць стыль

Добрая працэдура рэцэнзавання павінна таксама абараняць прыватнасць. Студэнтаў нельга прасіць загружаць асабістыя нататкі, асабістыя паведамленні або не звязаныя з імі дакументы, калі гэта выразна не дазваляецца палітыкай.

Практычны вывад

Выкарыстоўвайце дэтэктары штучнага інтэлекту як інструмент трыяжу, а не як машыну для пошуку праўды. Моцны працэс спалучае ацэнку з чарнавікамі, праверкай крыніц, гісторыяй напісання, тлумачэннямі студэнтаў і меркаваннем чалавека. Гэта дае школам, рэдактарам і рэцэнзентам нешта значна больш каштоўнае, чым страшны працэнт: рашэнне, якое яны могуць упэўнена абараніць.

Часта задаваныя пытанні

Як працуюць датчыкі штучнага інтэлекту на практыцы?

Большасць дэтэктараў штучнага інтэлекту не «даказваюць» аўтарства. Яны ацэньваюць, наколькі ваш тэкст нагадвае шаблоны, якія звычайна ствараюцца моўнымі мадэлямі, а затым выдаюць імавернасны бал. Унутры яны могуць выкарыстоўваць класіфікацыйныя мадэлі, ацэнку прадказальнасці ў стылі разгубленасці, стыліметрычныя функцыі або праверкі вадзяных знакаў. Вынік лепш разглядаць як сігнал рызыкі, а не як канчатковы вердыкт.

Якія сігналы шукаюць дэтэктары штучнага інтэлекту ў пісьмовай форме?

Да распаўсюджаных сігналаў адносяцца прадказальнасць (наколькі мадэль «здзіўлена» вашымі наступнымі словамі), паўтарэнне ў схілах сказаў, незвычайна паслядоўны тэмп і агульныя фразіроўкі з нізкай колькасцю канкрэтных дэталяў. Некаторыя інструменты таксама даследуюць стылістычныя маркеры, такія як даўжыня сказаў, звычкі пунктуацыі і частата службовых слоў. Гэтыя сігналы могуць перасякацца з пісьмом чалавека, асабліва ў фармальных, акадэмічных або тэхнічных жанрах.

Чаму дэтэктары штучнага інтэлекту пазначаюць чалавечы тэкст як тэкст, напісаны штучным інтэлектам?

Ілжывапазітыўныя вынікі здараюцца, калі чалавечы тэкст выглядае статыстычна «гладкім» або падобным на шаблон. Фармальны тон, фармулёўкі ў стылі адпаведнасці, тэхнічныя тлумачэнні, кароткія прыклады і неродная англійская мова могуць быць памылкова інтэрпрэтаваны як падобныя на тэксты штучнага інтэлекту, бо яны памяншаюць варыятыўнасць. Вось чаму чысты, добра адрэдагаваны абзац можа выклікаць высокі бал. Дэтэктар параўноўвае падабенства, а не пацвярджае паходжанне.

Ці надзейныя датчыкі збянтэжанасці і "імпульсаў"?

Метады, заснаваныя на разгубленасці, могуць працаваць, калі тэкст — гэта сыры, вельмі прадказальны вынік штучнага інтэлекту. Але яны далікатныя: кароткія ўрыўкі шумныя, а многія законныя чалавечыя жанры натуральным чынам прадказальныя (рэзюмэ, азначэнні, карпаратыўныя электронныя лісты, інструкцыі). Рэдагаванне і паліроўка таксама могуць істотна змяніць ацэнку. Гэтыя інструменты падыходзяць для хуткай сартавання, а не для прыняцця рашэнняў з высокімі стаўкамі самі па сабе.

У чым розніца паміж дэтэктарамі-класіфікатарамі і інструментамі стыламетрыі?

Дэтэктары класіфікатараў вучацца на пазначаных наборах дадзеных чалавечага тэксту ў параўнанні з тэкстам штучнага інтэлекту (а часам і гібрыдным) і прадказваюць, на які сегмент найбольш падобны ваш тэкст. Інструменты стыляметрыі сканцэнтраваны на напісанні «адбіткаў пальцаў», такіх як шаблоны выбару слоў, службовыя словы і сігналы чытальнасці, якія могуць быць больш інфарматыўнымі пры аналізе доўгіх формаў. Абодва падыходы пакутуюць ад зруху прадметнай вобласці і могуць мець праблемы, калі стыль або тэма пісьма адрозніваюцца ад іх навучальных дадзеных.

Ці вырашаюць вадзяныя знакі задачу выяўлення штучным інтэлектам назаўсёды?

Вадзяныя знакі могуць быць моцнымі, калі мадэль выкарыстоўвае іх, і дэтэктар ведае схему вадзяных знакаў. Насамрэч, не ўсе пастаўшчыкі выкарыстоўваюць вадзяныя знакі, і распаўсюджаныя пераўтварэнні - перафразаванне, пераклад, частковае цытаванне або змешванне крыніц - могуць аслабіць або парушыць шаблон. Выяўленне вадзяных знакаў эфектыўнае ў вузкіх выпадках, калі ўвесь ланцужок супадае, але гэта не ўніверсальнае пакрыццё.

Як мне інтэрпрэтаваць паказчык «X% AI»?

Разглядайце адзін працэнт як прыблізны паказчык «падабенства да штучнага інтэлекту», а не як доказ аўтарства штучнага інтэлекту. Сярэднія балы асабліва неадназначныя, і нават высокія балы могуць быць памылковымі ў стандартызаваным або фармальным пісьме. Лепшыя інструменты прапануюць тлумачэнні, такія як вылучаныя прамежкі, заўвагі да асаблівасцей і мову нявызначанасці. Калі дэтэктар не тлумачыць сам сябе, не ўспрымайце лічбу як аўтарытэтную.

Што робіць дэтэктар штучнага інтэлекту добрым для школ або рэдакцыйных працоўных працэсаў?

Надзейны дэтэктар адкалібраваны, мінімізуе колькасць ілжывых спрацоўванняў і выразна паведамляе аб межах. Ён павінен пазбягаць празмерна самаўпэўненых заяў на кароткіх выбарках, апрацоўваць розныя вобласці (акадэмічную, блогерскую і тэхнічную) і заставацца стабільным, калі людзі пераглядаюць тэкст. Найбольш адказныя інструменты паводзяць сябе сціпла: яны прапануюць доказы і нявызначанасць, а не дзейнічаюць як чытачы думак.

Як я магу паменшыць колькасць выпадковых сцяжкоў штучнага інтэлекту, не "маніпулюючы" сістэмай?

Засяродзьцеся на сапраўдных сігналах аўтарства, а не на хітрасцях. Дадайце канкрэтныя дэталі (робленыя вамі крокі, абмежаванні, кампрамісы), натуральным чынам змяняйце рытм сказаў і пазбягайце празмерна шаблонных пераходаў, якія вы звычайна не выкарыстоўваеце. Захоўвайце чарнавікі, нататкі і гісторыю пераглядаў — у спрэчках доказы апрацоўкі часта маюць большае значэнне, чым балы дэтэктара. Мэта — яснасць з індывідуальнасцю, а не ідэальная проза брашуры.

Спасылкі

1. Асацыяцыя камп'ютэрнай лінгвістыкі (ACL Anthology) - Апытанне па выяўленні тэксту, згенераванага LLM - aclanthology.org

2. OpenAI - Новы класіфікатар штучнага інтэлекту для абазначэння тэксту, напісанага штучным інтэлектам - openai.com

3. Кіраўніцтва па Turnitin - выяўленне напісання з дапамогай штучнага інтэлекту ў класічным рэжыме справаздачы - guides.turnitin.com

4. Кіраўніцтва Turnitin - Мадэль распазнавання напісання з дапамогай штучнага інтэлекту - guides.turnitin.com

5. Turnitin - Разуменне ілжывых спрацоўванняў у межах нашых магчымасцей выяўлення напісання з дапамогай штучнага інтэлекту - turnitin.com

6. arXiv - Выяўленне GPT - arxiv.org

7. Бостанскі ўніверсітэт - Паведамленні пра збянтэжанасць - cs.bu.edu

8. GPTZero - Разгубленасць і парывістасць: што гэта такое? - gptzero.me

9. PubMed Central (NCBI) - Стыламетрыя і судова-медыцынская экспертыза: агляд літаратуры - ncbi.nlm.nih.gov

10. Асацыяцыя камп'ютэрнай лінгвістыкі (ACL Anthology) - Службовыя словы ў атрыбуцыі аўтарства - aclanthology.org

11. arXiv - Вадзяны знак для вялікіх моўных мадэляў - arxiv.org

12. Штучны інтэлект Google для распрацоўшчыкаў - тэкст SynthID - ai.google.dev

13. arXiv - Аб надзейнасці вадзяных знакаў для вялікіх моўных мадэляў - arxiv.org

14. OpenAI - Разуменне крыніцы таго, што мы бачым і чуем у інтэрнэце - openai.com

15. Стэнфардскі інстытут хірургіі - Дэтэктары штучнага інтэлекту прадузятыя супраць аўтараў, для якіх англійская мова не з'яўляецца носьбітамі - hai.stanford.edu

16. arXiv - Лян і інш. - arxiv.org

Знайдзіце найноўшы штучны інтэлект у афіцыйнай краме памочнікаў штучнага інтэлекту

Пра нас