Як штучны інтэлект прадказвае тэндэнцыі?

Штучны інтэлект можа заўважаць заканамернасці, якія прапускае няўзброенае вока, выяўляючы сігналы, якія на першы погляд выглядаюць як шум. Калі ўсё зроблена правільна, гэта ператварае бязладную паводзіны ў карыснае прадбачанне — продажы ў наступным месяцы, трафік заўтра, адток кліентаў у канцы гэтага квартала. Калі ўсё зроблена няправільна, гэта проста ўпэўненае пацісканне плячыма. У гэтым кіраўніцтве мы разгледзім дакладныя механізмы таго, як штучны інтэлект прагназуе тэндэнцыі, адкуль бяруцца выйгрышы і як не паддацца падману прыгожымі графікамі. Я буду прытрымлівацца практычнага падыходу, з некалькімі рэальнымі размовамі і выпадковым узняццем броваў 🙃.

Артыкулы, якія вам могуць спадабацца пасля гэтага:

🔗 Як вымераць прадукцыйнасць штучнага інтэлекту
Ключавыя паказчыкі для ацэнкі дакладнасці, эфектыўнасці і надзейнасці сістэм штучнага інтэлекту.

🔗 Як размаўляць са штучным інтэлектам
Практычныя парады па зносінах са штучным інтэлектам для паляпшэння якасці адказаў.

🔗 Што падказвае штучны інтэлект
Зразумелае тлумачэнне таго, як падказкі ўплываюць на паводзіны і вынік штучнага інтэлекту.

🔗 Што такое маркіроўка дадзеных з дапамогай штучнага інтэлекту
Уводзіны ў эфектыўную маркіроўку дадзеных для навучання мадэляў машыннага навучання.

Што робіць прагназаванне тэндэнцый з дапамогай штучнага інтэлекту добрым ✅

Калі людзі пытаюцца, як штучны інтэлект прадказвае тэндэнцыі, яны звычайна маюць на ўвазе: як ён прадказвае нешта нявызначанае, але паўтаральнае. Добрае прагназаванне тэндэнцый мае некалькі сумных, але прыгожых інгрэдыентаў:

• Дадзеныя з сігналам — з каменя апельсінавы сок не выціснеш. Патрэбныя мінулыя значэнні і кантэкст.

• Асаблівасці, якія адлюстроўваюць рэальнасць — сезоннасць, святы, акцыі, макракантэкст, нават надвор'е. Не ўсё, а толькі тыя, якія вас зацікавяць.

• Мадэлі, якія адпавядаюць гадзінніку — метады, якія ўлічваюць час і паважаюць парадак, прабелы і дрэйф.

• Ацэнка, якая адлюстроўвае разгортванне — бэктэсты, якія імітуюць тое, як вы сапраўды будзеце прагназаваць. Ніякага падглядвання [2].

• Маніторынг змен — свет змяняецца; ваша мадэль таксама павінна змяняцца [5].

Гэта шкілет. Астатняе — мышцы, сухажыллі і трохі кафеіну.

Асноўны канвеер: як штучны інтэлект прадказвае тэндэнцыі з неапрацаваных дадзеных для прагнозу 🧪

1. Збірайце і ўзгадняйце дадзеныя.
   Аб'ядноўвайце мэтавыя серыі і знешнія сігналы. Тыповыя крыніцы: каталогі прадуктаў, выдаткі на рэкламу, цэны, макраіндэксы і падзеі. Узгадняйце часовыя меткі, апрацоўвайце адсутныя значэнні, стандартызуйце адзінкі вымярэння. Гэта непрывабна, але вельмі важна.

2. Інжынерныя функцыі
   Стварэнне затрымак, слізгальных сярэдніх, рухомых квантыляў, сцяжкоў дня тыдня і спецыфічных для даменаў індыкатараў. Для сезоннай карэкціроўкі многія спецыялісты раскладаюць шэраг на трэндавыя, сезонныя і рэшткавыя кампаненты перад мадэляваннем; праграма X-13 Бюро перапісу насельніцтва ЗША з'яўляецца кананічнай спасылкай на тое, як і чаму гэта працуе [1].

3. Выберыце мадэльнае сямейства.
   У вас ёсць тры вялікія вядра:

• Класічная статыстыка : ARIMA, ETS, прастора станаў/Калмана. Інтэрпрэтабельная і хуткая.

• Машыннае навучанне : градыентнае ўзмацненне, выпадковыя лясы з функцыямі ўліку часу. Гнуткае ў многіх серыях.

• Глыбокае навучанне : LSTM, часовыя CNN, трансфарматары. Карысна, калі ў вас шмат дадзеных і складаная структура.

4. тэставанне на бэкграўндзе. Пры перакрыжаванай
   праверцы часовых шэрагаў выкарыстоўваецца слізгальнае пачатак каардынат, таму вы ніколі не трэніруецеся на будучыні падчас тэставання мінулага. У гэтым розніца паміж сумленнай дакладнасцю і прыняццем жаданага за рэальнае [2].

5. Прагназуйце, колькасна ацэньвайце нявызначанасць і адпраўляйце
   прагнозы вяртання з інтэрваламі, кантралюйце памылкі і перавучвайцеся па меры змены сітуацыі. Кіраваныя сэрвісы звычайна выкарыстоўваюць метрыкі дакладнасці (напрыклад, MAPE, WAPE, MASE) і вокны тэставання на папярэднім этапе, што спрашчае кіраванне і стварэнне панэляў кіравання [3].

Кароткая гісторыя вайны: падчас аднаго запуску мы выдаткавалі дадатковы дзень на каляндарныя функцыі (рэгіянальныя святы + рэкламныя сцягі) і значна скарацілі памылкі на раннім гарызонце, чым на замену мадэляў. Якасць функцый пераўзышла навізну мадэлі — тэма, якую вы ўбачыце зноў.

Параўнальная табліца: інструменты, якія дапамагаюць штучнаму інтэлекту прагназаваць тэндэнцыі 🧰

Недасканалы наўмысна — сапраўдны стол з некалькімі чалавечымі асаблівасцямі.

Так, фармулёўка няроўная. Гэта рэальнае жыццё.

Інжынерыя функцый, якая сапраўды рухае іголку 🧩

Найпрасцейшы карысны адказ на пытанне, як штучны інтэлект прадказвае тэндэнцыі, такі: мы ператвараем серыю ў табліцу навучання з кантраляваным кіраваннем, якая памятае час. Некалькі асноўных крокаў:

• Затрымкі і вокны : уключаюць y[t-1], y[t-7], y[t-28], а таксама качэнне і стандартнае адхіленне. Улічвае імпульс і інерцыю.

• Сігналы сезоннасці : месяц, тыдзень, дзень тыдня, гадзіна сутак. Члены Фур'е даюць плаўныя сезонныя крывыя.

• Каляндар і падзеі : святы, прэзентацыі прадуктаў, змены цэн, акцыі. Святочныя эфекты ў стылі прарока — гэта проста функцыі з папярэднімі публікацыямі.

• Дэкампазіцыя : адняць сезонны кампанент і мадэляваць астатнюю частку, калі заканамернасці моцныя; X-13 з'яўляецца добра правераным базавым прыкладам для гэтага [1].

• Знешнія рэгрэсары : надвор'е, макраіндэксы, прагляды старонак, цікавасць да пошуку.

• Падказкі па ўзаемадзеянні : простыя крыжыкі, напрыклад, promo_flag × day_of_week. Гэта нязручна, але часта працуе.

Калі ў вас ёсць некалькі звязаных серый, напрыклад, тысячы SKU, вы можаце аб'яднаць інфармацыю па іх з дапамогай іерархічных або глабальных мадэляў. На практыцы глабальная мадэль з градыентным узмацненнем і функцыямі, якія ўлічваюць час, часта пераўзыходзіць сваю вагу.

Выбар узорных сем'яў: сяброўская бойка 🤼♀️

• ARIMA/ETS
  : інтэрпрэтавальныя, хуткія, надзейныя базавыя лініі. Мінусы: налада для кожнай серыі можа быць складанай пры вялікім маштабе. Частковая аўтакарэляцыя можа дапамагчы выявіць парадкі, але не чакайце цудаў.

• Узмацненне градыенту.
  Перавагі: апрацоўвае таблічныя характарыстыкі, устойлівы да змешаных сігналаў, выдатна працуе з многімі падобнымі серыямі. Недахопы: неабходна добра спраектаваць часовыя характарыстыкі і паважаць прычыннасць.

• Глыбокае навучанне.
  Плюсы: фіксуе нелінейнасць і міжсерыйныя заканамернасці. Мінусы: патрабуе шмат дадзеных, складаней адладжваць. Калі ў вас ёсць багаты кантэкст або доўгая гісторыя, яно можа бліснуць; у адваротным выпадку гэта спартыўны аўтамабіль у гадзіну пік.

• Гібрыд і ансамблі.
  Будзем шчырымі, спалучэнне сезоннай базавай лініі з градыентным бустэрам і змешванне з лёгкім LSTM — гэта даволі распаўсюджанае вінаватае задавальненне. Я адмаўляўся ад «чысціні адной мадэлі» часцей, чым прызнаюся.

Прычыннасць супраць карэляцыі: асцярожна 🧭

Тое, што дзве лініі збліжаюцца, не азначае, што адна з іх уплывае на другую. прычыннасці па Грэнджэру правярае, ці паляпшае даданне кандыдата на ўплыў прагноз для мэты, улічваючы яе ўласную гісторыю. Гаворка ідзе пра прагнастычную карыснасць пры лінейных аўтарэгрэсійных здагадках, а не пра філасофскую прычыннасць — тонкае, але важнае адрозненне [4].

У прадукцыйным рэжыме вы ўсё яшчэ правяраеце наяўнасць здаровага сэнсу з дапамогай ведаў прадметнай вобласці. Напрыклад: уплыў будніх дзён мае значэнне для рознічнага гандлю, але даданне клікаў па рэкламе за мінулы тыдзень можа быць лішнім, калі выдаткі ўжо ёсць у мадэлі.

Тэставанне на бэк-старонках і метрыкі: дзе хаваецца большасць памылак 🔍

Каб ацаніць рэалістычнасць прагназавання тэндэнцый штучным інтэлектам, імітуйце тое, як вы будзеце прагназаваць у рэальных умовах:

• Перакрыжаваная праверка з паступовым паходжаннем : паўторнае навучанне на папярэдніх дадзеных і прагназаванне наступнага фрагмента. Гэта рэгулюе парадак часу і прадухіляе будучыя ўцечкі [2].

• Паказчыкі памылак : выбірайце тое, што адпавядае вашым рашэнням. Працэнтныя паказчыкі, такія як MAPE, папулярныя, але ўзважаныя паказчыкі (WAPE) або безмасштабныя (MASE) часта лепш падыходзяць для партфеляў і агрэгатаў [3].

• Інтэрвалы прагназавання : не проста выказвайце меркаванне. Паведамляйце пра нявызначанасць. Кіраўнікі рэдка любяць дыяпазоны, але яны любяць менш сюрпрызаў.

Невялікая загвоздка: калі элементы могуць быць роўныя нулю, працэнтныя паказчыкі становяцца дзіўнымі. Аддавайце перавагу абсалютным або маштабаваным памылкам, альбо дадайце невялікае зрушэнне — проста будзьце паслядоўнымі.

Дрэйф здараецца: выяўляем змены і адаптуемся да іх 🌊

Рынкі змяняюцца, перавагі дрэйфуюць, датчыкі старэюць. Дрэйф канцэпцый — гэта агульны паказчык таго, калі змяняецца сувязь паміж уваходнымі дадзенымі і мэтай. Вы можаце сачыць за дрэйфам з дапамогай статыстычных тэстаў, памылак слізгальнага акна або праверак размеркавання дадзеных. Затым выберыце стратэгію: больш кароткія вокны навучання, перыядычнае перанавучанне або адаптыўныя мадэлі, якія абнаўляюцца ў рэжыме анлайн. Даследаванні ў гэтай галіне паказваюць мноства тыпаў дрэйфу і палітык адаптацыі; ніводная адна палітыка не падыходзіць усім [5].

Практычны дапаможнік: усталяваць парогі папярэджання аб памылках прагнозу ў рэжыме рэальнага часу, перавучвацца па раскладзе і падтрымліваць напагатове рэзервовы базавы ўзровень. Не вельмі гламурна, але вельмі эфектыўна.

Тлумачнасць: адкрыць чорную скрыню, не парушаючы яе 🔦

Зацікаўленыя бакі пытаюцца, чаму прагноз вырас. Гэта лагічна. Інструменты, якія не залежаць ад мадэлі, такія як SHAP, тэарэтычна абгрунтавана прыпісваюць прагноз да асаблівасцей, дапамагаючы ўбачыць, ці паўплывалі на лічбу сезоннасць, цана або статус акцыі. Гэта не дакажа прычынна-выніковую сувязь, але палепшыць давер і адладку.

Паводле маіх уласных тэстаў, штотыднёвая сезоннасць і рэкламныя акцыі, як правіла, дамінуюць у кароткатэрміновых прагнозах рознічнага гандлю, у той час як доўгатэрміновыя зрушваюцца ў бок макра-паказчыкаў. Вашы вынікі будуць адрознівацца — прыемна.

Cloud & MLOps: прагнозы дастаўкі без клейкай стужкі 🚚

Калі вы аддаеце перавагу кіраваным платформам:

• Google Vertex AI Forecast прапануе кіраваны працоўны працэс для атрымання часовых шэрагаў, выканання прагназавання AutoML, тэставання на бэкграўндзе і разгортвання канчатковых кропак. Ён таксама добра працуе з сучасным стэкам дадзеных.

• Amazon Forecast сканцэнтраваны на маштабным разгортванні са стандартызаваным тэставаннем на папярэдніх дадзеных і паказчыкамі дакладнасці, якія можна атрымаць праз API, што дапамагае ў кіраванні і панэлях кіравання [3].

Абодва варыянты памяншаюць шаблонныя рамкі. Проста адным вокам сачыце за выдаткамі, а другім — за паходжаннем дадзеных. Абодва вокі — складана, але магчыма.

Міні-агляд кейса: ад неапрацаваных клікаў да трэндавых сігналаў 🧭✨

Давайце ўявім, што вы прагназуеце штодзённую колькасць рэгістрацый для бясплатнай праграмы:

1. Дадзеныя : атрыманне штодзённых рэгістрацый, выдаткаў на рэкламу па каналах, збояў на сайце і просты каляндар акцый.

2. Асаблівасці : затрымкі 1, 7, 14; 7-дзённае слізгальнае сярэдняе; сцягі дня тыдня; бінарны рэкламны сцяг; сезонны член Фур'е; і раскладзены сезонны астатак, таму мадэль факусуецца на непераўтваральнай частцы. Сезоннае раскладанне — гэта класічны крок у афіцыйнай статыстыцы з нуднай назвай і вялікім выйгрышам [1].

3. Мадэль : пачніце з рэгрэсара з градыентным узмацненнем у якасці глабальнай мадэлі для ўсіх геаграфічных зон.

4. Тэставанне на бэкграўнд : слізгальнае паходжанне з штотыднёвымі згорткамі. Аптымізуйце WAPE на вашым асноўным сегменце бізнесу. Тэставанне на бэкграўнд з улікам часу не падлягае абмеркаванню для атрымання надзейных вынікаў [2].

5. Тлумачэнне : штотыдзень правярайце атрыбуцыі функцый, каб убачыць, ці сапраўды рэкламны сцяжок робіць што-небудзь, акрамя таго, што выглядае крута на слайдах.

6. Маніторынг : калі эфект ад рэкламнай акцыі знікае або пасля змены прадукту змяняюцца шаблоны будніх дзён, запусціце перападрыхтоўку. Дрэйф — гэта не памылка, гэта серада [5].

Вынік: надзейны прагноз з дыяпазонамі даверу, а таксама панэль кіравання, якая паказвае, што зрушыла стрэлку з месца. Менш дэбатаў, больш дзеянняў.

Пасткі і міфы, якіх трэба ціха абысці 🚧

• Міф: больш функцый — гэта заўсёды лепш. Не. Занадта шмат неістотных функцый прыводзіць да перанавучання. Захоўвайце тое, што дапамагае правесці тэставанне на папярэдніх дадзеных і адпавядае разуменню прадметнай вобласці.

• Міф: глыбокія сеткі пераўзыходзяць усё. Часам так, часта не. Калі дадзеныя кароткія або зашумленыя, класічныя метады перамагаюць дзякуючы стабільнасці і празрыстасці.

• Пастка: уцечка. Выпадковае ўключэнне заўтрашняй інфармацыі ў сённяшняе навучанне пагоршыць вашы паказчыкі і пакарае вашу прадукцыйнасць [2].

• Пастка: пагоня за апошнім знакам пасля коскі. Калі ваш ланцужок паставак няроўны, спрэчка паміж памылкамі ў 7,3 і 7,4 працэнта — гэта тэатральная драма. Засяродзьцеся на парогах прыняцця рашэнняў.

• Міф: прычыннасць з карэляцыі. Тэсты Грэйнджэра правяраюць прагнастычную карыснасць, а не філасофскую ісціну — выкарыстоўвайце іх як агароджу, а не як Евангелле [4].

Кантрольны спіс рэалізацыі, які можна скапіяваць і ўставіць 📋

• Вызначце гарызонты, узроўні агрэгацыі і рашэнне, якое вы будзеце прымаць.

• Стварыце чысты індэкс часу, запоўніце або пазначце прабелы і выраўнуйце экзагенныя дадзеныя.

• Лагі ў вырабе, статыстыка, сезонныя сцягі і некалькі функцый дамена, якім вы давяраеце.

• Пачніце з моцнай базавай мадэлі, а затым, пры неабходнасці, перайдзіце да больш складанай мадэлі.

• Выкарыстоўвайце бэк-тэсты з паступовым паходжаннем з метрыкай, якая адпавядае вашаму бізнесу [2][3].

• Дадаць інтэрвалы прагназавання — неабавязкова.

• Адпраўляйце, сачыце за дрэйфам і перавучвайцеся па раскладзе, а таксама па папярэджаннях [5].

Занадта доўга, я не чытаў гэта - Заключныя заўвагі 💬

Простая праўда пра тое, як штучны інтэлект прадказвае тэндэнцыі: гэта не столькі магічныя алгарытмы, колькі дысцыплінаваны дызайн, які ўлічвае час. Атрымлівайце дадзеныя і функцыі правільна, ацэньвайце сумленна, тлумачце проста і адаптуйцеся да зменаў рэальнасці. Гэта як наладжваць радыё з дапамогай злёгку затлушчаных ручак — трохі складана, часам са статычнымі перашкодамі, але калі станцыя пачынае дзейнічаць, усё дзіўна чыста.

Калі вы адбярэце адну рэч: паважайце час, ацэньвайце як скептык і пастаянна кантралюйце. Астатняе — гэта проста інструменты і густ.

Спасылкі

1. Бюро перапісу насельніцтва ЗША — праграма сезоннай карэкціроўкі X-13ARIMA-SEATS . Спасылка

2. Хайндман і Атанасопулас - Прагназаванне: прынцыпы і практыка (FPP3), §5.10 Перакрыжаваная праверка часовых шэрагаў . Спасылка

3. Amazon Web Services - Ацэнка дакладнасці прагназатара (Amazon Forecast) . Спасылка

4. Х'юстанскі ўніверсітэт - Прычыннасць па Грэнджэру (канспекты лекцый) . Спасылка

5. Гама і інш. - Апытанне па адаптацыі дрэйфу канцэпцый (адкрытая версія). Спасылка

Знайдзіце найноўшы штучны інтэлект у афіцыйнай краме памочнікаў штучнага інтэлекту

Пра нас