Што такое цэнтр апрацоўкі дадзеных са штучным інтэлектам? [Відэа і віктарына]

Кароткі адказ: цэнтр апрацоўкі дадзеных са штучным інтэлектам — гэта з высокай шчыльнасцю, дзе харчаванне, астуджэнне, фабрыка і сховішча дадзеных сканцэнтраваны на навучанні і абслугоўванні мадэляў, а не серверная з дадатковымі графічнымі працэсарамі. Чыпы атрымліваюць вядомасць; будынак вырашае , ці будуць яны працаваць. Калі выявы не могуць быць выдалены, мадэрнізуйце невялікую ячэйку; большасці каманд варта арандаваць памяшканне.

Асноўныя высновы:

Чыпы супраць зборкі: харчаванне, астуджэнне, матэрыял і назапашвальнікі вызначаюць, ці будуць працаваць паскаральнікі.

Месцы, а не палацы: мадэрнізуйце дзве стойкі, калі дадзеныя не могуць выводзіцца; не купляйце кампус.

Сярэдняе значэнне супраць медыяны: пасля васьмі прагонаў медыяна пачынаецца з пачатку; выкарыстоўвайце 18-гадзіннае сярэдняе значэнне.

Устойлівасць да няправільнага выкарыстання: Не ўказвайце PUE для двух стоек у змешанай зале.

Ілюстрацыйныя вынікі: восем прагонаў — гэта невялікая карта, а не 50% эканомія вытворчасці.

Артыкулы, якія вам могуць спадабацца пасля гэтага:

🔗 Ці надзейны штучны інтэлект? Відэа і віктарына
Даследуйце надзейнасць штучнага інтэлекту з дапамогай займальнага відэа і інтэрактыўнай віктарыны.

🔗 Як выкарыстоўваць штучны інтэлект у паўсядзённым жыцці
Адкрыйце для сябе практычныя спосабы, як штучны інтэлект можа спрасціць паўсядзённыя задачы і руціну.

🔗 Як выкарыстоўваць штучны інтэлект на працы
Даведайцеся пра практычныя спосабы выкарыстання штучнага інтэлекту для больш разумнай прадукцыйнасці на працоўным месцы.

🔗 Ці можа штучны інтэлект думаць самастойна?
Зразумейце, ці можа штучны інтэлект сапраўды думаць самастойна або разважаць.

Чым гэта адрозніваецца ад "звычайнага" цэнтра апрацоўкі дадзеных

Традыцыйныя залы аптымізаваны для змешаных нагрузак і бесперабойнай працы мноства дробных паслуг. Вядома, вас хвалюе рэзерваванне і канцэпцыя PUE — дадатковая энергія, якую будынак спальвае для забеспячэння аднаго вата вылічальнай магутнасці. Звычайна вы не праектуеце кожны калідор вакол стойкі, якая паводзіць сябе як партатыўная абагравальная ферма.

Сайты штучнага інтэлекту мяняюць прапорцыі. Шчыльнасць расце. Сетка становіцца тканінай, без якой навучальная праца не можа абыходзіцца. Сховішчы павінны падтрымліваць рух кантрольных пунктаў, альбо паскаральнікі бяздзейныя, як скаковыя коні ў корку.

Існуе таксама культурная розніца. Карпаратыўныя аперацыі думаюць пра заяўкі і час змены. Аперацыі штучнага інтэлекту думаюць пра чэргі заданняў і непрыемнае пачуццё, калі вузел выходзіць з ладу ў доўгатэрміновай перспектыве. Думаю, вы ўсё яшчэ можаце назваць абодва "цэнтрамі апрацоўкі дадзеных", таму што яны такімі і з'яўляюцца. Назва проста хавае сантэхніку.

Не маральная ацэнка. Розныя машыны, аднолькавая назва.

Графічныя працэсары, паскаральнікі і стойка, якая спажывае энергію

Прайдзіцеся па традыцыйнай фальшпадлозе, і стэлажы будуць выглядаць амаль ветліва. Прайдзіцеся па шэрагу штучнага інтэлекту, і яны будуць выглядаць так, быццам хочуць праглынуць будынак.

Выдатнае абсталяванне — гэта не разумны працэсар. Гэта трэйлер паскаральніка: відэакарты або іншыя чыпы штучнага інтэлекту, размешчаныя ў серверах, потым у стойках, а потым у радах, якія маюць агульны высокапрапускны аб'ём сеткі. Відэакарты злучаюць паміж сабой чыпы ў нешта, што можа прэтэндаваць на ролю аднаго гіганцкага паскаральніка; кластарная сетка робіць той жа трук у маштабе радкоў. Паралельнае навучанне працуе толькі ў тым выпадку, калі гэтыя сувязі застаюцца тоўстымі і прадказальнымі. Страціце гэта, і ваш «кластар» ператворыцца ў кучу дарагіх рабочых станцый, якія маюць агульны паштовы індэкс.

Магутнасць ідзе за чыпамі. Не грувасткі офісны блок размеркавання. Мегаваты ІТ-нагрузкі, як толькі зала запоўніцца — я не буду выдумляць лічбы. Шчыльнасць у стойку — вось у чым паварот сюжэта. Менш стоек. Кожная з іх — невялікая печ. Абмежавальным фактарам часта з'яўляецца падстанцыя, а не спіс пажаданняў адносна графічных працэсараў. Вы ведаеце, як гэта бывае: аддзел закупак хоча больш паскаральнікаў; энергакампанія хоча доўгай размовы і вельмі буйнога чэка.

Адна крыху дурная метафара, ад якой я не магу пазбавіцца: дыба — гэта галодная жывёліна. Можна выгадаваць хутчэйшую. Усё роўна трэба яе карміць і ўсё роўна трэба пазбаўляцца ад спякоты. Прапусціце любы з іх, і яна стане вельмі дарагім прэс-пап'е.

Праблемы з электраэнергіяй, цяплом і астуджэннем

Электрычнасць уваходзіць. Цяпло выходзіць. Вось і ўся рэлігія.

Стойкі высокай шчыльнасці адводзяць цяпло такім чынам, якім паветра ніколі не павінна было спраўляцца. Можна падштурхоўваць паветра больш інтэнсіўна — цеплаабменнікі на задніх дзвярах, больш гарачыя праходы, разумная ахоўная сістэма — і гэта працуе да пэўнага моманту. Затым з'яўляецца вадкасць:

• Астуджэнне непасрэдна да чыпа

• Цыркуляры астуджэння, якія надаюць машыннаму пакою выгляд хімічнага завода

• Пагружэнне ў некалькі дызайнаў, што ўсё яшчэ здзіўляе людзей, якія лічаць, што вада і серверы не павінны дзяліцца сказам

Нічога з гэтага не гламурна. Усё гэта прадукт, бо акселератар, які дроселюе, — гэта той, за які вы ўжо заплацілі, і якім вы не можаце паўнавартасна карыстацца.

PUE усё яшчэ мае значэнне. Гэта каэфіцыент, а не індывідуальнасць. Аператары гоняцца за ім, таму што кожны ват, выдаткаваны на вентылятары і помпы, — гэта ват, які не пайшоў на графічны працэсар. Я не буду прыводзіць «тыповую» лічбу; клімат і тое, як вы праводзіце мяжу, зрушваюць яе з месца, і падробленая дакладнасць горш, чым яе адсутнасць. Вада таксама прысутнічае ў гісторыі. Некаторыя расліны п'юць. Некаторыя глытаюць. Выпарнае астуджэнне эфектыўнае, пакуль рака або засуха не зробяць яго палітычным.

Нетворкінг: чаму тканіна гэтак жа важная, як і чыпсы

Людзі фатаграфуюць відэакарты. Яны павінны фатаграфаваць камутатары.

Навучанне — гэта размова. Тысячы акселератараў абменьваюцца градыентамі, параметрамі, фрагментамі мадэлі ў цеснай сінхроннасці. Калі фабрыка дрыжыць, уся праца чакае на самым павольным скачку. Вось чаму залы штучнага інтэлекту апантаныя высокапрапускнымі сеткамі, нізкай затрымкай і тапалогіямі, якія не складаюцца напалову пры збоі злучэння. Фабрыкі ў стылі InfiniBand, Ethernet у той жа ролі, злучэнні GPU ўнутры скрынкі, кабелі, якія павінны быць правільнымі з першага разу.

Высновы — гэта зусім іншая размова. Абслугоўванне мадэлі клапоціцца пра затрымку хваста — павольны адказ, а не сярэдні. Пакетная праца супраць рэальнага часу расшчапляе асобу. Навучальны кластар хоча тоўстага, калектыўнага руху «ўсе да ўсіх». Абслугоўваючы флот хоча шмат меншых запытаў і ізаляцыі, без затораў на балансавальніку нагрузкі.

Прамах, пакуль я тут: людзі ўспрымаюць сетку як сантэхніку, а чыпы як рэстаран. У гэтым будынку сантэхніка — гэта рэстаран. Прамахніцеся гэтага, і вы купіце кухню, якая не можа прымаць дастаўку.

Навучанне супраць высноў: два будынкі, часам літаральна

Навучанне — гэта кампанія. Вы збіраеце кластар, загружаеце яго дадзенымі, рэгулярна праводзіць кантрольныя праверкі, запускаеце яго гадзінамі ці тыднямі і моліцеся, каб інфраструктура заставалася без падзей. Пакетная, пражэрлівая да прапускной здольнасці, ціха цярплівая — пакуль які-небудзь збойны вузел не адкусіць кавалак акселератара ў цесна звязанай задачы можа спыніць увесь хор.

Высновы — гэта вітрына. Мадэлі ўжо навучаныя, цяпер адказваюць на пытанні, класіфікуюць выявы, генеруюць тэкст. Затрымка мае значэнне. Крыху старэйшы акселератар побач з кліентам можа перасягнуць гламурны акселератар на іншым кантыненце.

Такім чынам, атрымліваецца падзел. Навучальныя кампусы гоняцца за ўладай, зямлёй і шчыльнасцю. Месцы вываду гоняцца за затрымкай і прысутнасцю. Існуюць і гібрыдныя залы, бо капітал не бясконцы. Ну — не заўсёды два будынкі. Часам адна зала з аксамітным канатам і двума астуджальнымі пятлямі.

Тут таксама ўзнікаюць калакацыя, гіпермаштабаваныя кампусы і лакальныя сховішчы. Гіпермаштабныя сховішчы будуюцца ў такіх маштабах, што астатнія з нас выглядаюць так, быццам мы расстаўляем мэблю. Каласацыйныя сховішчы прадаюць шчыльнасць стэлажамі. Лакальныя сховішчы ўсё яшчэ адбываюцца, калі дадзеныя не могуць быць выдалены.

Прапускная здольнасць сховішча, кантрольныя кропкі і «галодныя» чыпы

Ніхто не размяшчае паралельную файлавую сістэму на вокладцы брашуры.

Дадзеныя навучання павінны паступаць дастаткова хутка, каб графічныя працэсары не перагружаліся. Кантрольныя кропкі павінны быць усталяваныя, каб збой не згубіў тыдзень. Вагавыя каэфіцыенты мадэлі павінны загружацца да таго, як абслуговая рэпліка стане даступнай. Прапускная здольнасць сховішча, а не толькі ёмістасць, з'яўляецца ціхім вузкім месцам. Можна выдаткаваць цэлае стан на паскаральнікі і недаацэньваць іх з дапамогай ветлівага масіва, прызначанага для віртуальных машын.

Схема знаёмая: бліскучы кластар, чарга заданняў і чаканне ўводу/вываду, якія глядзяць назад, як грубы рахунак-фактура. Кластарызацыя вылічэнняў без кластарызацыі шляху перадачы дадзеных — гэта тое, як атрымаць вельмі дарагі прастой. Падтрымлівайце працу чыпаў або прызнайце, што купілі скульптуру.

Праграмнае забеспячэнне, аркестроўка і непрывабны аперацыйны ўзровень

Галоўнае — абсталяванне. Планіроўшчыкі выконваюць працу.

Цэнтр апрацоўкі дадзеных са штучным інтэлектам бескарысны, калі заданні не могуць знайсці відэакарты, калі дзве каманды не могуць падзяліцца кластарам без бойкі, калі няўдалы ранг нельга замяніць, калі прашыўка дрэйфуе, пакуль не выйдзе з ладу ў запаволеным рэжыме. Аркестроўка, назіральнасць, абмежаванне магутнасці — непрывабны аперацыйны ўзровень, які дазваляе зразумець, што ён важны.

У мяне слабасць да гэтага ўзроўню. Акрамя таго, калі няправільна настроены сеткавы адаптар на працягу цэлага дня стварае праблему з астуджэннем... вы пераконваецеся ў гэтым на ўласным горкім вопыце.

Калі вузел памірае падчас выканання

Вузел памірае. Вокны змяненняў усё яшчэ сутыкаюцца з трэніровачнымі запускамі, якім усё роўна на ваш каляндар. Вы плануеце вялікія заданні групава, адгароджваеце пулы высноў, пішаце наборы задач для збояў, якія выглядаюць як «задача павольная», пакуль не пачынаюць выглядаць як «задача мёртвая». Рэзерваванне ўсё яшчэ мае значэнне — харчаванне, астуджэнне, шляхі, сховішча — але рэжым збояў менш акуратны, чым стары слайд «дзевяць хвілін бесперабойнай працы». Высновы: рэпліка, асушыць хворы вузел, працягваць адказваць. Навучанне патрабуе кантрольных кропак, а не аптымізму.

Месцазнаходжанне, вада, электрасетка і суседзі

Вы ж не кідаеце такую ​​побач з катэджам дзеля выгляду.

Падключэнне да электрасеткі часта з'яўляецца сапраўдным працэсам выбару месца. Зямля прасцейшая ў параўнанні з падстанцыяй і камунальнай службай, у якой ёсць іншыя кліенты. Вада для астуджэння, калі вы яе выкарыстоўваеце, становіцца праблемай суседзяў, як толькі ападкі становяцца невыноснымі. Шум. Візуальная маса. Спёка ля агароджы. Камітэты па планаванні высвятляюць меркаванні пра «воблака» ў той момант, калі яму патрэбныя поле і рака.

Затрымка цягне ў іншы бок. Высновы любяць знаходзіцца побач з карыстальнікамі і ўзаемасувязямі. Навучанне можа хавацца на больш танных рынках электраэнергіі і ў больш прахалодным клімаце. Прамысловасць кажа так, быццам ёсць адно ідэальнае месца. Яго няма. Ёсць кампраміс з прэс-рэлізам.

Рэшткавы жар і няпрошаная печ

Брашуры любяць гэтую частку. Адводзьце адпрацаванае цяпло ў дамы, басейны, цяпліцы; гэта цудоўная фраза. Часам раённы цыкл сапраўдны. Часам кампус знаходзіцца ў няправільным месцы, і цяпло ўсё роўна трапляе ў паветра. Я скептычна стаўлюся да версіі брашуры; я не скептычна стаўлюся да фізікі.

Каму ён патрэбны (і каму варта арандаваць замест гэтага)

Большасці людзей неабавязкова валодаць адной з гэтых залаў.

Тупы спіс:

• Гіпермаштабаванне, таму што прадукт — гэта флот

• Лабараторыі, калі вузкім месцам з'яўляецца час чакання ў чарзе або дадзеныя не могуць быць выдалены

• Банк, бальнічная група, урад або вытворца з сакрэтным наборам дадзеных — лакальным або прыватным кала-клеткай — можа быць рацыянальным, нават калі гэта памылка

Усім астатнім варта арандаваць памяшканне. Калакацыя з шчыльнасцю, гатовай да штучнага інтэлекту. Рэзерваванне ў воблаку. Кіраваны кластар. Вы атрымліваеце паскаральнікі, не становячыся пры гэтым аператарам электрастанцыі. Рамантыка знікае, як толькі хтосьці ўпершыню пытаецца, хто дзяжурыць па контуры астуджэння а 3-й гадзіне ночы.

Прызнаюся, ёсць у гэтым пачуццё гонару. Валоданне кластарам адчуваецца як валоданне сродкамі прагназавання. Потым прыходзіць рахунак за электрычнасць, і гонар знікае.

Для чаго патрэбны будынак

Дык што ж такое цэнтр апрацоўкі дадзеных са штучным інтэлектам? Гэта спецыялізаваны кампус высокай шчыльнасці, дзе паскаральнікі, сілкаванне, астуджэнне, інфраструктура і сховішчы дадзеных арганізаваны вакол мадэляў навучання і абслугоўвання, а не універсальная ІТ-сістэма з графічным працэсарам у куце. Ён выглядае як склад. Ён паводзіць сябе як электрастанцыя, якая займаецца матэматыкай.

Калі вы больш нічога не памятаеце: чыпы атрымліваюць вядомасць; падстанцыя, цепланосбіт і сетка вырашаюць, ці былі гэтыя чыпы добрай ідэяй. Навучанне і высновы могуць дзяліць адзін дах; ім усё роўна патрэбныя розныя манеры. Большасць арганізацый павінны арандаваць. Некалькі павінны будаваць. Суседзі ўсё роўна заўважаць.

У воблака заўсёды быў будынак. Цяпер жа ў будынка ёсць меркаванні.

Прыклад з рэальнага свету: трэніровачная ячэйка з двума стойкамі, калі выявы не могуць сысці

Сцэнар

Томас — кіраўнік інфраструктуры ў Kestrel Precision, вытворцы з 400 супрацоўнікамі ў Уэст-Мідлендсе. У іх ужо ёсць невялікая лакальная зала: ERP, агульныя файлы, віртуальныя машыны, змешаны раён, з якога пачаўся гэты артыкул. Паветранае астуджэнне. Звычайная Ethernet. SAN, якая ідэальна падыходзіць для офісных дыскаў.

Камандзе машыннага зроку трэба навучыць мадэль праверкі на заводскіх здымках. Здымкі нельга пакідаць за межамі аб'екта. Яны паказваюць працэс, які кампанія не размесціць на воблачным дыску, нават на прыватным. Рашэнне аддзела закупак — чатыры серверы з падвойным паскаральнікам і слайд пад назвай «наш цэнтр апрацоўкі дадзеных са штучным інтэлектам». Серверы размяшчаюцца ў дзвюх існуючых стойках, бо ёсць месца, а прастора здавалася абмежаваннем.

Гэта не так. Праз два тыдні відэакарты пачынаюць гучаць занята, а потым ціха тармазяць. Задачы спыняюцца, калі кантрольная кропка дасягае сеткі SAN. Вузел памірае а адзінаццатай гадзіне, і праца проста... знікае. Томас не прапусціў куплю чыпаў. Ён купіў кучу дарагіх рабочых станцый з агульным паштовым індэксам. Будынак усё яшчэ быў карпаратыўнай залай.

Ім не патрэбны кампус, новая падстанцыя ці рака. Ім патрэбна невялікая ячэйка, якая паводзіць сябе як цэнтр апрацоўкі дадзеных штучнага інтэлекту ў мініяцюры: магутнасць, якую стойкі могуць утрымліваць, цяпло, якое выходзіць, не награваючы чыпы, тканіна, якую можа абмяркоўваць навучальная задача, сховішча, якое можа прымаць кантрольную кропку, і набор аперацый на выпадак, калі вузел выйдзе з ладу. Паколькі выявы не могуць выходзіць, арэнда кала-клеткі за сорак хвілін — гэта не рашэнне. Мадэрнізацыя дзвюх стоек — гэта рашэнне.

Што патрэбна клетцы

• Вымераны бюджэт магутнасці ў гэтым радку, з PDU, а не са спісу пажаданняў па GPU. Калі рэзервовая магутнасць не можа забяспечыць чатыры серверы пры трэніровачнай нагрузцы, размова на гэтым спыняецца, і яны разглядаюць больш шчыльную каларадскую абалонку, а не цуд

• Астуджэнне паветра пры такой шчыльнасці ніколі не патрабавалася: замест гэтага выкарыстоўваліся цеплаабменнікі на задніх дзвярах, калі зала іх можа вытрымаць, або невялікі вадкасны контур, калі гэта магчыма. Калі ні тое, ні другое не патрабуецца, серверы не ўсталёўваюцца

• Выдзеленая высокапрапускная сетка паміж чатырма вузламі, а не офісны Ethernet. Калі ў пастаўшчыка ў каталогу ёсць толькі 10-гігабітны камутатар, гэта не кластар

• Лакальнае хуткае сховішча для кантрольных пунктаў і навучальных шардаў, а не SAN віртуальнай машыны

• Планавальнік, кантрольны інтэрвал і запісаны шлях перазапуску. Апаратнае забеспячэнне — гэта знакамітасць. Гэты ўзровень — гэта праца

• Агароджаная скрынка вываду для фабрычнай лініі, асобная ад трэніровачнага чата, бо для абслугоўвання патрэбныя затрымка хваста і ізаляцыя, а не калектыўны працэс

• Дазвол на рэгістрацыю харчавання, гадзіннікаў відэакарты, падзей дросельнай засланкі і насценнага гадзінніка задач. Калі яны не могуць іх праверыць, яны сфатаграфуюць відэакарты і прапусцяць перамыкачы

Прыклад інструкцыі

Томас піша пра гэта ў кароткім апісанні аб'ектаў, простай мовай:

Не называйце гэта кампусам штучнага інтэлекту. Пабудуйце ў існуючай зале двухстойкавую трэніровачную ячэйку для чатырох сервераў з падвойным паскаральнікам. Заводскія вобразы застаюцца на месцы. Поспех такі: чатыры вузлы выконваюць 12-эпахальны рэцэпт інспекцыі і навучання без цеплавога дроселя, запісваюць кантрольную кропку за лічаныя хвіліны, а не за дзясяткі хвілін, і аднаўляюць працу з гэтай кантрольнай кропкі, калі мы наўмысна забіваем ранг. Астуджэнне павінна падтрымліваць графічныя працэсары на іх трэніровачных тактах. Сетка павінна быць агульнай тканінай гэтых чатырох скрынак, а не шляхам праз офісны стэк. Назапашвальнікі павінны сілкаваць чыпы. Калі цеплаабменнікі на задніх дзвярах не падыходзяць, скажыце пра гэта і спыніцеся. Не прыводзьце PUE для дзвюх стоек у змешанай зале. Гэтая лічба была б тэатральнай.

Затым ён змяшчае гэта ў саму навучальную працу:

Кантрольны пункт кожныя 30 хвілін да мясцовага хуткага пула. Калі гіне адзін з гульцоў рангу, пачніце з апошняй поўнай кантрольнай кропкі. Не чакайце на SAN. Не працягвайце трэніроўку, пакуль гадзіннікі скончыліся пасля завяршэння трэніроўкі. Запішыце гэта ў рэгістрацыю і спыніцеся, каб мы маглі ўбачыць стойла.

Добрая гадзіна выглядае наступным чынам: усе восем відэакарт на трэніровачных тактах, файл кантрольнай кропкі дастаўся, заданне ўсё яшчэ ў сінхронным рэжыме. Дрэнная гадзіна выглядае наступным чынам: вентылятары працуюць на поўнай магутнасці, тактавыя частоты зніжаны, праз дзесяць хвілін напісана 2% кантрольнай кропкі, і хтосьці ў офісе кажа: «кластар працуе». Запуск — гэта не навучанне.

Як гэта праверыць

Яны пішуць тэст перад мадэрнізацыяй, і ў гэтым заключаецца ўся сутнасць недаверу да дэма-версіі.

• Той жа рэцэпт 12 эпох, тыя ж 120 000 здымкаў пасля праверкі, восем прагонаў

• Час вымяраецца па насценным гадзінніку да завяршэння рэцэпту, уключаючы любы перазапуск, ад моманту адпраўкі задання да апошняй кантрольнай кропкі эпохі 12

• Прапуск нагрэву: частаты графічнага працэсара застаюцца на трэніровачным мэце падчас выканання. Падзея дроселя лічыцца няўдачай, нават калі задача ў рэшце рэшт завершана

• Прапуск на захоўванне: час запісу ў кантрольнай кропцы, сярэдні і найгоршы, з журнала заданняў

• Прапускаем матэрыял: праца не чакае, пакуль чын здаровы. Калі яны не бачаць гэтага чакання, інструменты не гатовыя

• Два з васьмі прабегаў наўмысна губляюць ранг на фіксаваным этапе, каб праверыць шлях перазапуску

• Выснова — гэта асобны тэст з 200 выявамі ад заводскай лініі да агароджанай скрынкі для падачы. Поспех у навучанні не лічыцца поспехам у падачы

• Яны запісваюць магутнасць стойкі ад блокаў размеркавання, што выпрацоўваецца PDU, у 15-хвілінных узорах, таму нікому не трэба вынаходзіць мегават

Прыняцце рашэння аб тым, што ячэйка гатовая да працы са штучным інтэлектам, дасягнута: 8 з 8 рэцэптаў завершаны; 0 з 8 паказваюць цеплавое дросельнае закрыццё; абодва спыненыя запускі аднаўляюцца; кантрольныя кропкі застаюцца праз некалькі хвілін. Калі яны прапусцяць гэты момант, у іх усё яшчэ ёсць серверная з моднымі відэакартамі.

Вынік

Ілюстрацыйны вынік выдуманага васьміразовага тэсту, а не апублікаваны малюнак Kestrel.

Дапушчэнні: чатыры серверы з падвойным паскаральнікам у дзвюх стойках; адна мадэль інспекцыі; 120 000 здымкаў; восем запускаў фіксаванага 12-эпахальнага рэцэпту; насценны гадзіннік уключае перазапускі, пакуль рэцэпт не будзе завершаны; дросель азначае зарэгістраванае зніжэнне часу навучання; час кантрольнай кропкі - гэта запіс, а не пажаданне; магутнасць стойкі - гэта ўзоры PDU, а не кампусная PUE.

Да мадэрнізацыі відэакарты ў звычайных стойках з паветраным астуджэннем у офіснай сетцы Ethernet і сетцы захоўвання віртуальных машын:

• 5 з 8 прабежак былі завершаны з першай спробы. Сярэдні час на сцэне сярод гэтых пяці: 14 гадзін

• 3 з 8 спроб давялося пачаць спачатку пасля прыпынку прыкладна на 11-й гадзіне (дзве — пасля таго, як вузел спыніўся з-за састарэлай кантрольнай кропкі, адна — пасля таго, як кантрольная кропка запоўніла SAN). Імгненная паўторная спроба, без чакання на працягу ночы: 11 гадзін страчана плюс 14 гадзін на другую спробу, або 25 гадзін да гатовага рэцэпту на гэтых трох спробах

• Сярэдні час да гатоўнасці рэцэпту па ўсіх васьмі, уключаючы перазапускі: 18 гадзін. (Пяць — па 14 гадзін, тры — па 25. Медыяна па ўсіх васьмі па-ранейшаму роўная 14 гадзінам, што не дазваляла б перазапускам. Вось чаму сярэдняе значэнне тут з'яўляецца базавым.)

• Цеплавая дросельная засланка зарэгістравана ў 7 з 8 запускаў. Сярэдні час на паніжаных тактавых гадзінах: 3 гадзіны пры 14-гадзіннай спробе

• Запіс кантрольнай кропкі: у сярэднім 22 хвіліны

• Выпрабаванне на званне пераможцы было немагчыма. У іх не было набору правілаў. Дзве выпадковыя смерці сталі адкрыццём

• Пікавая нагрузка на дзве стойкі падчас трэніроўкі: каля 18 кВт. Шэраг меў дастатковую магутнасць. У яго не было ні астуджэння, ні тканіны

Пасля ўстаноўкі цеплаабменнікаў на задніх дзверцах гэтых двух стоек, спецыяльнай сеткі паміж чатырма вузламі, невялікага пула NVMe для кантрольных кропак, 30-хвіліннай кантрольнай кропкі і набору аперацый для перазапуску:

• 8 з 8 скончылі з першай спробы. Сярэдні час на насценным гадзінніку: 9 гадзін

• Цеплавая дросельная засланка: 0 з 8

• Кантрольная кропка запісу: медыяна 90 секунд. Найгоршы вынік у серыі: 3 хвіліны

• Два наўмысныя забойствы з высокім узроўнем шанцы аднавіліся з апошняга 30-хвіліннага кантрольнага пункта. Дадатковы насценны час на гэтых двух заездах: каля 40 хвілін кожны, уключаючы дыягностыку, таму яны правялі каля 9 гадзін 40 хвілін. Сярэдні паказчык за восем раўндаў сну — 9 гадзін

• Пікавая нагрузка ІТ усё яшчэ каля 18 кВт. Тыя ж чыпы. Іншая паводзіны будынка

У гэтай выбарцы сярэдні час да гатоўнасці рэцэпту скараціўся з 18 гадзін да 9 гадзін, або па 9 гадзін кожны раз, 72 гадзіны за восем запускаў. Паказчык «гатоўнасць з першага разу» скараціўся з 5 з 8 да 8 з 8. Паказчык «дросель» скараціўся з 7 з 8 да 0 з 8. Гэтая апошняя лічба паказвае, ці купілі яны паскаральнікі, ці прэс-пап'е. Яны не назавуць змяненне часу эканоміяй вытворчасці на 50%. Восем запускаў — гэта невялікі і просты набор.

Гэтыя лічбы з'яўляюцца прыкладам ацэнкі, заснаваным на заяўленым тэсце, невялікай выбарцы, адной мадэлі і адной змяшанай зале. Яны не з'яўляюцца PUE, не мегаватам кампуса і не доказам таго, што Kestrel павінна будаваць навучальны палігон у полі. Агляд журналаў адбыўся на працягу 9 гадзін; яны гэтага не хавалі. Лічба 18 кВт - гэта акругленае паказанне PDU, а не рахунак за камунальныя паслугі. Яны не пераўтварылі 72 гадзіны ў кошт, таму што змяшаны тарыф на электраэнергію завода стварыла б ілжывае эканамічнае абгрунтаванне.

Праверка падачы была асобнай і меншай: 200 радковых малюнкаў у агароджаную скрыню, усё на месцы. Гэта выснова, а не навучанне. Змешванне гэтых двух было б памылкай гібрыднай залы ў мініяцюры.

Што можа пайсці не так

• Аддзел закупак пастаянна называе чатыры серверы «цэнтрам апрацоўкі дадзеных штучнага інтэлекту». Пад гэтым ярлыком хаваецца сантэхніка, а наступная закупка — гэта яшчэ больш відэакарт для таго ж хворага аддзела

• Заднія цеплаабменнікі ўсталёўваюцца, і ніхто не ўключае вадзяны бок. Вентылятары ўсё яшчэ крычаць. Гадзіннікі ўсё яшчэ ідуць

• Матрыца ўяўляе сабой адзін камутатар без рэзервовага шляху. Адно збойнае злучэнне, і «кластар» зноў складаецца з чатырох працоўных станцый

• Кантрольныя кропкі застаюцца ў SAN, таму што пул NVMe быў "другой фазы". Другая фаза не паступае да наступнага непрацоўнага вузла

• Яны называюць каэфіцыент PUE для двух стоек у змешанай зале. Клімат, межы і астатнія паказчыкі ERP робяць гэты паказчык касцюмам

• Навучанне і абслугоўванне падзяляюць тканіну. Паток кантрольна-прапускных пунктаў прымушае вытворчую лінію чакаць. Затрымка хваста - гэта прадукт, а не шчыльнасць

• Вузел памірае, і хтосьці ўспрымае гэта як запыт на бесперабойную працу, а не як перазапуск кантрольнай кропкі. Аператары прадпрыемства і спецыялісты па штучным інтэлекце размаўляюць адзін з адным цэлы дзень

• Яны маглі б арандаваць клетку, але выявы не могуць з'ехаць. Забыццё пра гэтую абмежаванасць адправіць іх у воблачную размову, якую ім давядзецца расслабіцца

Практычны вывад

Цэнтр апрацоўкі дадзеных штучнага інтэлекту ў гэтай форме — гэта не склад і не рахунак-фактура для графічнага працэсара. Гэта ячэйка, якая дазваляе паскаральнікам завяршаць працу: магутнасць, якую яны могуць утрымліваць, цяпло, якое выходзіць, тканіна, кантрольная кропка і той, хто адказвае за гібель чыстага рангу. Kestrel не патрэбен быў кампус. Ім патрэбныя былі дзве стойкі, каб перастаць прыкідвацца. Большасць каманд павінны арандаваць такую ​​​​паводзіны. Некалькі каманд, маючы сакрэтны набор дадзеных і залу, якая можа вытрымаць цяпло, павінны пабудаваць ячэйку і адмовіцца ад слайда.

Часта задаваныя пытанні

Што такое цэнтр апрацоўкі дадзеных са штучным інтэлектам?

Высокашчыльны вылічальны комплекс, дзе харчаванне, астуджэнне, сетка і захоўванне дадзеных сканцэнтраваны на паралельным навучанні і абслугоўванні мадэляў, а не на акуратных шэрагах універсальных сервераў. Ён распрацаваны такім чынам, што велізарная колькасць паскаральнікаў можа навучаць і абслугоўваць мадэлі без іх «плавання», завісання ў сетцы або чакання на дыску. Звычайная карпаратыўная зала — гэта змешаны раён. Зала штучнага інтэлекту — гэта монакультура, адзінкай каштоўнасці якой з'яўляецца паскаральнік, напрыклад, графічныя працэсары або чыпы ў стылі TPU. Ён выглядае як склад і паводзіць сябе як электрастанцыя, якая выконвае матэматычныя разлікі.

Чым адрозніваецца цэнтр апрацоўкі дадзеных са штучным інтэлектам ад звычайнага цэнтра апрацоўкі дадзеных?

Традыцыйныя залы аптымізаваны для змешаных нагрузак і часу бесперабойнай працы мноства дробных сэрвісаў. Сайты са штучным інтэлектам мяняюць прапорцыі: шчыльнасць павялічваецца, сетка становіцца тканінай, без якой навучальная праца не можа абысціся, а сховішча дадзеных павінна падтрымліваць рух кантрольных пунктаў або прастойваць паскаральнікі. Карпаратыўныя аперацыі думаюць пра заяўкі і час змены. Аператары са штучным інтэлектам думаюць пра чэргі задач і непрыемнае пачуццё, калі вузел выходзіць з ладу позна ў доўгатэрміновай перспектыве. Вы ўсё яшчэ можаце патэлефанаваць у абодва цэнтры апрацоўкі дадзеных. Пазнака проста хавае сантэхніку.

Чаму цэнтры апрацоўкі дадзеных са штучным інтэлектам спажываюць так шмат энергіі?

Выдатным абсталяваннем з'яўляецца не разумны працэсар. Гэта лотак паскаральніка: відэакарты або іншыя чыпы штучнага інтэлекту, упакаваныя ў серверы, потым стойкі, потым шэрагі, якія маюць аб'яднаную высокапрапускную сетку. Шчыльнасць у стойку — вось галоўны паварот сюжэта: менш стоек, кожная з якіх — невялікая печ. Мегаваты ІТ-нагрузкі з'яўляюцца, калі зала запаўняецца, хоць прыдумляць тыповую лічбу не варта. Абмежавальным фактарам часта з'яўляецца падстанцыя, а не спіс пажаданняў па відэакартах.

Як астуджаюцца цэнтры апрацоўкі дадзеных са штучным інтэлектам?

Стойкі высокай шчыльнасці адводзяць цяпло такім чынам, якім паветра ніколі не патрабавалася. Вы можаце павялічыць магутнасць паветранага патоку з дапамогай цеплаабменнікаў з заднімі дзверцамі, больш гарачых праходаў і разумнай ахоўнай сістэмы. Затым з'яўляецца вадкасць: астуджэнне непасрэдна да чыпа, контуры астуджэння і імерсія ў некаторых канструкцыях. Паскаральнік, які дроселюе, - гэта тое, за што вы ўжо заплацілі, і не можаце цалкам выкарыстаць яго. Энергетычная каштоўнасць выкарыстання энергіі (PUE) усё яшчэ мае значэнне, таму што кожны ват, выдаткаваны на вентылятары і помпы, - гэта ват, які не пайшоў на графічны працэсар. Вада таксама прысутнічае ў гісторыі: некаторыя расліны п'юць, некаторыя - глытаюць.

Чаму сетка мае такое ж значэнне, як і графічныя працэсары?

Навучанне — гэта размова: тысячы паскаральнікаў абменьваюцца градыентамі, параметрамі і фрагментамі мадэлі ў цеснай сінхроннасці. Калі тканіна дрыжыць, уся праца чакае самага павольнага скачка. Вось чаму залы штучнага інтэлекту апантаныя высокапрапускнымі сеткамі, нізкай затрымкай, тканінамі тыпу InfiniBand або Ethernet у адной ролі і тапалогіямі, якія не складаюцца напалову пры збоі злучэння. Выснова клапоціцца пра затрымку хваста, мноства меншых запытаў і ізаляцыю. У гэтым будынку сантэхніка — гэта рэстаран.

Для чаго выкарыстоўваецца цэнтр апрацоўкі дадзеных штучнага інтэлекту: для навучання ці вываду?

Навучанне — гэта кампанія: збярыце кластар, забяспечыце яго дадзенымі, рэгулярна правядзіце кантрольныя праверкі і запусціце яго на працягу гадзін ці тыдняў. Высновы — гэта вітрына: мадэлі, якія ўжо навучаны, цяпер адказваюць, з затрымкай, якая мае значэнне. Навучальныя кампусы імкнуцца да магутнасці, зямлі і шчыльнасці. Месцы высноў імкнуцца да затрымкі і прысутнасці. Гібрыдныя залы існуюць, таму што капітал не бясконцы, часам адна зала з двума контурамі астуджэння. Крыху старэйшы паскаральнік побач з кліентам можа перасягнуць гламурны паскаральнік на іншым кантыненце.

Чаму захоўванне дадзеных мае значэнне ў цэнтры апрацоўкі дадзеных са штучным інтэлектам?

Дадзеныя навучання павінны паступаць дастаткова хутка, каб графічныя працэсары не перагружаліся. Кантрольныя кропкі павінны быць усталяваныя, каб збой не згубіў тыдзень. Вагавыя каэфіцыенты мадэлі павінны загружацца да таго, як абслуговая рэпліка стане даступнай. Прапускная здольнасць сховішча, а не толькі ёмістасць, з'яўляецца ціхім вузкім месцам. Можна выдаткаваць цэлае стан на паскаральнікі і пазбавіць іх ад неабходнасці выкарыстоўваць ветлівы масіў, прызначаны для віртуальных машын.

Што адбываецца, калі вузел памірае падчас выканання?

Адзін непрацуючы акселератар у цесна звязанай задачы навучання можа спыніць увесь хор. Навучанню патрэбныя кантрольныя кропкі, а не аптымізм. Высновы вымотваюць хворы вузел, прымушаюць рэпліку адказваць і застаюцца актыўнай. Вокны змяненняў усё яшчэ сутыкаюцца з трэніровачнымі запускамі, якія не клапоцяцца пра ваш каляндар. Рэзерваванне ўсё яшчэ мае значэнне для харчавання, астуджэння, шляхоў і захоўвання дадзеных, але рэжым збояў менш акуратны, чым стары слайд з дзевяццю дзясяткамі бесперабойнай працы.

Які ўплыў аказвае цэнтр апрацоўкі дадзеных са штучным інтэлектам на электрасетку, ваду і суседзяў?

Падключэнне да электрасеткі часта з'яўляецца сапраўдным працэсам выбару месца. Зямля прасцейшая ў параўнанні з падстанцыяй і камунальнай службай, у якой ёсць іншыя кліенты. Вада для астуджэння, калі вы яе выкарыстоўваеце, становіцца праблемай для суседзяў, як толькі ападкі становяцца невыноснымі, разам з шумам, візуальнай аб'ёмнасцю і цяплом ля агароджы. Навучанне можа хавацца на больш танных рынках электраэнергіі і ў больш прахалодным клімаце. Інферэнцыя любіць знаходзіцца побач з карыстальнікамі. Няма аднаго ідэальнага месца. Існуе кампраміс з прэс-рэлізам.

Ці патрэбен мне ўласны цэнтр апрацоўкі дадзеных са штучным інтэлектам, ці варта яго арандаваць?

Большасці людзей не трэба валодаць адной з гэтых залаў. Гіпермаштабаванне стварае, таму што прадукт — гэта флот. Лабараторыі ствараюць, калі вузкае месца з'яўляецца час чакання або дадзеныя не могуць быць выдалены. Банк, бальніца, урад або вытворца з сакрэтным наборам дадзеных могуць зрабіць рацыянальным лакальную або прыватную калакейдж. Усім астатнім варта арандаваць: калакейшн, гатовы да штучнага інтэлекту, воблачнае браніраванне або кіраваны кластар. Вы атрымліваеце паскаральнікі, не становячыся аператарам электрастанцыі.

Спасылкі

1. МЭА - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Зялёная сетка - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Інстытут бесперабойнай працы - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Знайдзіце найноўшы штучны інтэлект у афіцыйнай краме памочнікаў штучнага інтэлекту

Пра нас