Što je podatkovni centar umjetne inteligencije? [Video i kviz]

Kratak odgovor: AI podatkovni centar je visoke gustoće gdje su napajanje, hlađenje, tkanina i pohrana usmjereni na modele za obuku i posluživanje, a ne na serversku sobu s dodatnim GPU-ima. Čipovi dobivaju slavu; zgrada odlučuje hoće li raditi. Ako slike ne mogu otići, preuredite malu ćeliju; većina timova trebala bi unajmiti.

Ključne zaključke:

Čipovi protiv izgradnje: Snaga, hlađenje, tkanina i pohrana odlučuju hoće li akceleratori raditi.

Mjesta, a ne palače: Naknadno opremite dva stalka kada se podaci ne mogu prenositi; nemojte kupovati kampus.

Srednja vrijednost u odnosu na medijan: Na osam mjerenja, medijan se ponovno pokreće; koristite 18-satnu srednju vrijednost.

Otpornost na zlouporabu: Ne navodite PUE za dva regala u miješanoj hali.

Ilustrativni rezultati: Osam prolaza je mala mapa, a ne ušteda od 50% proizvodnje.

Članci koje biste možda željeli pročitati nakon ovog:

🔗 Je li umjetna inteligencija pouzdana? Video i kviz
Istražite pouzdanost umjetne inteligencije kroz zanimljiv video i interaktivni kviz.

🔗 Kako koristiti umjetnu inteligenciju u svakodnevnom životu
Otkrijte praktične načine na koje umjetna inteligencija može pojednostaviti svakodnevne zadatke i rutine.

🔗 Kako koristiti umjetnu inteligenciju na poslu
Naučite praktične načine korištenja umjetne inteligencije za pametniju produktivnost na radnom mjestu.

🔗 Može li umjetna inteligencija samostalno razmišljati?
Shvatite može li umjetna inteligencija doista samostalno razmišljati ili rasuđivati.

Po čemu se razlikuje od "normalnog" podatkovnog centra

Tradicionalne dvorane optimiziraju se za mješovita opterećenja i vrijeme rada za mnogo malih usluga. Brinete o redundanciji, naravno, i o PUE kao konceptu - dodatnoj energiji koju zgrada troši za isporuku vata računalne snage. Obično ne dizajnirate svaki hodnik oko racka koji se ponaša kao prijenosna farma grijača.

AI stranice mijenjaju omjere. Gustoća raste. Mreža postaje tkanina bez koje posao obuke ne može funkcionirati. Pohrana mora održavati kontrolne točke u pokretu ili akceleratori stoje neaktivni, poput trkaćih konja u prometnoj gužvi.

Postoji i kulturna razlika. Operacije u poduzećima razmišljaju o tiketima i prozorima za promjene. Operacije u umjetnoj inteligenciji razmišljaju o redovima čekanja i mučnom osjećaju kada čvor dugoročno prestane s radom. Pretpostavljam da biste oboje još uvijek mogli nazvati "centrima podataka" jer to i jesu. Oznaka samo skriva vodovodne instalacije.

Nije moralna rang-lista. Različiti strojevi, isto obiteljsko ime.

Grafički procesori, akceleratori i stalak koji troši energiju

Prošetajte tradicionalnim podignutim podom i regali izgledaju gotovo pristojno. Prošetajte redom umjetne inteligencije i izgledat će kao da žele progutati zgradu.

Istaknuti hardver nije pametni CPU. To je akceleratorski ladica: GPU-ovi ili drugi AI čipovi, pakirani u poslužitelje, zatim u stalke, pa u redove koji dijele visokopropusnu strukturu. GPU-ovi međusobno povezuju čipove u nešto što se može pretvarati da je jedan divovski akcelerator; struktura klastera radi isti trik na razini reda. Paralelno treniranje funkcionira samo ako te veze ostanu debele i predvidljive. Izgubite to i vaš "klaster" je hrpa skupih radnih stanica koje dijele poštanski broj.

Snaga prati čipove. Ne glomazni uredski PDU. Megavati IT opterećenja nakon što se dvorana napuni - neću izmišljati brojku. Gustoća po racku je preokret u radnji. Manje rackova. Svaki od njih je mala peć. Ograničavajući faktor je često trafostanica, a ne lista želja za grafičkim procesorima. Znate kako je: nabava želi više akceleratora; komunalno poduzeće želi dugi razgovor i vrlo veliki ček.

Jedna pomalo glupa metafora koje se ne mogu riješiti: stalak za nošenje je gladna životinja. Možete uzgojiti bržu. I dalje je morate hraniti i i dalje morate ublažiti vrućinu. Preskočite li bilo koju od njih, postaje vrlo skupa prepapirna masa.

Problem struje, grijanja i hlađenja

Struja unutra. Toplina van. To je cijela religija.

Regali visoke gustoće ispuštaju toplinu na način na koji se od zraka nikada nije tražilo. Možete jače potisnuti zrak - izmjenjivači topline na stražnjim vratima, topliji prolazi, pametno zadržavanje - i to funkcionira do određene točke. Tada se pojavljuje tekućina:

• Hlađenje direktno na čip

• Petlje rashladne tekućine koje čine da prostorija s postrojenjem izgleda kao kemijska tvornica

• Uronjenost u nekoliko dizajna, što i dalje iznenađuje ljude koji misle da voda i poslužitelji ne bi trebali dijeliti rečenicu

Ništa od ovoga nije glamurozno. Sve je to proizvod, jer gas koji smanjuje gas je onaj za koji ste već platili i ne možete ga u potpunosti koristiti.

PUE je i dalje važan. To je omjer, a ne osobnost. Operateri ga jure jer je svaki vat potrošen na ventilatore i pumpe vat koji nije otišao u GPU. Neću navoditi "tipičnu" brojku; klima i način na koji povlačite granicu to pomiču, a lažna preciznost je gora nego nikakva. Voda je također u priči. Neke biljke pijuckaju. Neke gutaju. Isparavajuće hlađenje je učinkovito sve dok rijeka ili suša ne učine to političkim.

Umrežavanje: zašto je tkanina jednako važna kao i čipovi

Ljudi fotografiraju grafičke procesore. Trebali bi fotografirati sklopke.

Trening je razgovor. Tisuće akceleratora razmjenjuju gradijente, parametre, fragmente modela, u bliskoj sinkronizaciji. Ako se tkanina trese, cijeli posao čeka na najsporiji skok. Zato su AI dvorane opsjednute umrežavanjem visoke propusnosti, niskom latencijom i topologijama koje se ne prepolovljuju kada veza zakaže. InfiniBand-ove tkanine, Ethernet u istoj ulozi, GPU međusobne veze unutar kutije, kablovi koji moraju biti ispravni iz prvog pokušaja.

Zaključivanje je druga priča. Posluživanje modela brine o latenciji repa - sporom odgovoru, a ne o prosječnom. Grupno naspram stvarnog vremena dijeli osobnost. Klaster za obuku želi debeo, kolektivan, sve-na-sve pokret. Poslužna flota želi mnogo manjih zahtjeva i izolaciju, bez prometne gužve na uravnoteživaču opterećenja.

Promašaj, dok sam već ovdje: ljudi tretiraju mrežu kao vodovod, a čips kao restoran. U ovoj zgradi vodovod je restoran. Promašite li to, kupit ćete kuhinju koja ne može primiti dostavu.

Trening nasuprot zaključivanju: dvije zgrade, ponekad doslovno

Trening je kampanja. Sastavljate klaster, hranite ga podacima, religiozno ga kontrolirate, pokrećete ga satima ili tjednima i molite se da struktura ostane bez događaja. Puna paketnog rada, gladna propusnosti, tiho strpljiva - dok neispravan čvor ne preuzme dio posla. Jedan neispravan akcelerator u čvrsto povezanom poslu može zaustaviti cijeli zbor.

Zaključivanje je izlog. Modeli su već obučeni, sada odgovaraju na pitanja, klasificiraju slike, generiraju tekst. Latencija je bitna. Nešto stariji akcelerator blizu kupca može pobijediti glamurozni akcelerator na drugom kontinentu.

Dakle, dobijete podjelu. Kampusi za obuku jure moć, zemljište i gustoću. Mjesta za zaključivanje jure latenciju i prisutnost. Postoje i hibridne dvorane, jer kapital nije beskonačan. Pa - ne uvijek dvije zgrade. Ponekad jedna dvorana s baršunastim užetom i dvije rashladne petlje.

Ovdje se također dijele kolokacija, hiperskalirani kampusi i lokalni kampusi. Hiperskaleri grade na razinama koje nas ostale čine kao da slažemo namještaj. Kolofoni prodaju gustoću po policama. Lokalni kampusi se i dalje događaju kada podaci ne mogu otići.

Propusnost pohrane, kontrolne točke i "hladni čipovi"

Nitko ne stavlja paralelni datotečni sustav na naslovnicu brošure.

Podaci za trening moraju stići dovoljno brzo da GPU-ovi ne bi previše zamarali. Kontrolne točke moraju se uspostaviti kako rušenje ne bi odnijelo tjedan dana. Težine modela moraju se učitati prije nego što se posluživačka replika pokrene. Propusnost pohrane - ne samo kapacitet - je tiho usko grlo. Možete potrošiti bogatstvo na akceleratore i izgladnjivati ​​ih pristojnim nizom dizajniranim za virtualne strojeve.

Uzorak je poznat: sjajni klaster, red čekanja poslova i čekanje na ulaz/izlaz koji gledaju unatrag poput grube fakture. Grupiranje računanja bez grupiranja podatkovne putanje je način na koji dobivate vrlo skup mirovanje. Održavajte čipove punjenima ili priznajte da ste kupili skulpturu.

Softver, orkestracija i neprivlačni operativni sloj

Hardver je glavna zvijezda. Planeri obavljaju posao.

Podatkovni centar umjetne inteligencije je beskoristan ako poslovi ne mogu pronaći grafičke procesore, ako dva tima ne mogu dijeliti klaster bez tučnjave, ako se neuspjeli rang ne može zamijeniti, ako se firmware mijenja sve dok se fabrica ne pokvari u usporenom snimku. Orkestracija, uočljivost, ograničavanje snage - neglamurozni operativni sloj, po kojem znate da je važan.

Imam slabost za ovaj sloj. Također, gdje pogrešno konfigurirana mrežna kartica predstavlja problem s hlađenjem cijelo poslijepodne... to otkrijete na teži način.

Kada čvor umre usred izvođenja

Čvor umire. Prozori promjena i dalje se sudaraju s izvršavanjima obuke kojima nije stalo do vašeg kalendara. Grupno raspoređujete velike poslove, ograđujete inferencijske bazene, pišete runbookove za kvarove koji izgledaju kao da je "posao spor" sve dok ne izgledaju kao da je "posao mrtav". Redundancija je i dalje važna - napajanje, hlađenje, putevi, pohrana - ali način kvara je manje uredan od starog slajda s devetkama neprekidnog rada. Inferencija: replika, ispraznite bolesni čvor, nastavite odgovarati. Obuka želi kontrolne točke, a ne optimizam.

Lokacija, voda, mreža i susjedi

Ne ispuštaš jedan od ovih pored vikendice zbog pogleda.

Priključak na mrežu često je pravi proces odabira lokacije. Zemljište je jednostavno u usporedbi s trafostanicom i komunalnom tvrtkom koja ima druge kupce. Voda za hlađenje, ako je koristite, postaje problem susjeda čim kiša postane nemilosrdna. Buka. Vizualna glomaznost. Toplina na graničnoj ogradi. Odbori za planiranje otkrivaju mišljenja o "oblaku" u trenutku kada mu zatreba polje i rijeka.

Latencija vuče u drugom smjeru. Inferencija voli biti blizu korisnika i međusobnih veza. Obuka se može skrivati ​​na jeftinijim tržištima energije i hladnijim klimama. Industrija govori kao da postoji jedno savršeno mjesto. Ne postoji. Postoji kompromis s priopćenjem za javnost.

Preostala toplina i nepozvana peć

Brošure obožavaju ovaj dio. Cjevovodom usmjerite otpadnu toplinu u domove, bazene, staklenike; to je lijepa rečenica. Ponekad je okružna petlja istinita. Ponekad je kampus na krivom mjestu, a toplina i dalje odlazi u zrak. Skeptičan sam prema verziji iz brošure; nisam skeptičan prema fizici.

Kome treba (i tko bi trebao unajmiti)

Većina ljudi ne mora posjedovati jednu od ovih dvorana.

Tupi popis:

• Hiperskaleri, jer je proizvod flota

• Laboratoriji, kada je vrijeme čekanja u redu usko grlo ili podaci ne mogu izaći

• Banka, bolnička grupa, vlada ili proizvođač s tajnim skupom podataka - lokalno ili u privatnom kolo kavezu - može biti racionalan, čak i ako je riječ o problemu

Svi ostali bi trebali unajmiti. Kolokacija s gustoćom spremnom za umjetnu inteligenciju. Rezervacija u oblaku. Upravljani klaster. Dobivate akceleratore bez da istovremeno postanete operater elektrane. Romantika nestaje prvi put kad netko pita tko je dežurni za rashladnu petlju u 3 ujutro.

Moram priznati da postoji i ponos. Posjedovanje klastera osjeća se kao posjedovanje sredstava za predviđanje. Onda stigne račun za struju i ponos nestaje.

Čemu služi zgrada

Dakle, što je podatkovni centar umjetne inteligencije? Specijalizirani kampus visoke gustoće gdje su akceleratori, napajanje, hlađenje, tkanina i pohrana organizirani oko modela obuke i posluživanja - ne IT opće namjene s GPU-om u kutu. Izgleda kao skladište. Ponaša se kao elektrana koja radi matematiku.

Ako se ničega drugog ne sjećate: čipovi dobivaju slavu; trafostanica, rashladna tekućina i mreža odlučuju jesu li ti čipovi bili dobra ideja. Obuka i zaključivanje mogu dijeliti krov; i dalje žele različite manire. Većina organizacija trebala bi unajmiti. Nekoliko ih bi trebalo graditi. Susjedi će primijetiti u svakom slučaju.

Oblak je oduvijek imao zgradu. Ovih dana zgrada ima mišljenja.

Primjer iz stvarnog svijeta: Dvostruka ćelija za obuku kada slike ne mogu izaći

Scenarij

Tomos je voditelj infrastrukture u Kestrel Precisionu, proizvođaču s 400 zaposlenika u West Midlandsu. Već imaju malu lokalnu halu: ERP, dijeljenje datoteka, virtualni strojevi, miješano susjedstvo s kojim je ovaj članak započeo. Zračno hlađenje. Obični Ethernet. SAN koji je savršeno pristojan za uredske diskove.

Tim za strojni vid treba trenirati model inspekcije na tvorničkim fotografijama. Fotografije ne mogu napustiti lokaciju. One prikazuju proces koji tvrtka neće staviti na disk u oblaku, čak ni na privatni. Rješenje nabave su četiri poslužitelja s dvostrukim akceleratorom i slajd pod nazivom "naš podatkovni centar umjetne inteligencije". Poslužitelji se smještaju u dva postojeća stalka jer ima prostora, a prostor se činio kao ograničenje.

Nije. U roku od dva tjedna GPU-i zvuče zauzeto, a zatim se tiho usporavaju. Poslovi se usporavaju kada kontrolna točka dođe do SAN-a. Čvor se ugasi u jedanaest sati i rad je jednostavno... nestao. Tomos nije propustio kupiti čipove. Kupio je hrpu skupih radnih stanica koje dijele poštanski broj. Zgrada je još uvijek bila poslovna hala.

Ne treba im kampus, nova trafostanica ili rijeka. Treba im mala ćelija koja se ponaša poput podatkovnog centra umjetne inteligencije u minijaturi: snaga koju stalci mogu držati, toplina koja izlazi bez zagrijavanja čipova, tkanina o kojoj zadatak obuke može razgovarati, pohrana koja može preuzeti kontrolnu točku i priručnik za slučaj da čvor prestane raditi. Budući da slike ne mogu izlaziti, najam kolo kaveza četrdeset minuta udaljenog nije rješenje. Naknadna ugradnja dva stalka jest.

Što stanica treba

• Izmjereni proračun snage u tom retku, iz PDU-ova, a ne s popisa želja za GPU-om. Ako slobodni kapacitet ne može napajati četiri poslužitelja pri opterećenju treninga, razgovor tu staje i oni gledaju na gušći kolor, a ne na čudo

• Hlađenje zraka nikada nije bilo potrebno za ovu gustoću: izmjenjivači topline na stražnjim vratima ako ih dvorana može podnijeti, ili mala tekuća petlja ako to može podnijeti. Ako nijedno od toga, poslužitelji se ne ugrađuju

• Namjenska visokopropusna mreža između četiri čvora, a ne uredski Ethernet. Ako dobavljač u katalogu ima samo 10 Gb preklopnik, to nije klaster

• Lokalna brza pohrana za kontrolne točke i fragmente za obuku, ne VM SAN

• Raspoređivač, interval kontrolnih točaka i pisana putanja ponovnog pokretanja. Hardver je glavna zvijezda. Ovaj sloj je posao

• Ograđena kutija za zaključivanje za tvorničku liniju, odvojena od učenja, jer posluživanje zahtijeva latenciju repa i izolaciju, a ne kolektivnu

• Dozvoljeno je evidentiranje napajanja, taktova GPU-a, događaja regulacije gasa i zidnog sata posla. Ako ih ne mogu pregledati, fotografirat će GPU-e i propustiti prekidače

Primjer upute

Tomos to navodi u opisu objekta, jednostavnim jezikom:

Nemojte ovo zvati AI kampusom. Izgradite ćeliju za obuku s dva stalka u postojećoj dvorani za četiri poslužitelja s dva akceleratora. Tvorničke slike ostaju na lokaciji. Uspjeh je: četiri čvora dovršavaju recept za inspekciju i obuku u 12 epoha bez termalnog prigušivanja, pišu kontrolnu točku za nekoliko minuta, a ne za desetke minuta, i nastavljaju s te kontrolne točke kada namjerno uništimo rang. Hlađenje mora održavati GPU-e na njihovim taktovima za obuku. Umrežavanje mora biti tkanina koju te četiri kutije dijele, a ne put kroz uredski stog. Pohrana mora hraniti čipove. Ako izmjenjivači topline na stražnjim vratima ne odgovaraju, recite to i stanite. Nemojte navoditi PUE za dva stalka u mješovitoj dvorani. Taj broj bi bio kazalište.

Zatim ovo stavlja u sam posao obuke:

Kontrolna točka svakih 30 minuta do lokalnog brzog bazena. Ako igrač s rangom umre, ponovno započnite od posljednje potpune kontrolne točke. Nemojte čekati na SAN. Nemojte nastaviti s treningom dok su sati pali od zagrijavanja. Zabilježite to i zaustavite kako bismo mogli vidjeti štand.

Dobar sat izgleda ovako: svih osam GPU-a na taktovima za obuku, datoteka kontrolne točke je sletjela, posao je i dalje usklađen. Loš sat izgleda ovako: ventilatori rade punom parom, taktovi su smanjeni, kontrolna točka 2% ispisana nakon deset minuta i netko u uredu kaže "klaster je pokrenut". Pokrenut nije trening.

Kako to testirati

Pišu test prije preuređenja, što je cijela poanta nevjerovanja demografskoj verziji.

• Isti recept iz 12 epoha, istih 120 000 inspekcijskih fotografija, osam snimanja

• Vremensko mjerenje je zidni sat do završenog recepta, uključujući svako ponovno pokretanje, mjereno od slanja zadatka do posljednje kontrolne točke epohe 12

• Preskakanje topline: Taktovi GPU-a ostaju na ciljanoj vrijednosti za trening tijekom izvršavanja. Događaj smanjenja brzine smatra se neuspjehom čak i ako se zadatak na kraju završi

• Propusnica za pohranu: vrijeme pisanja na kontrolnoj točki, medijan i najgori, iz zapisnika posla

• Preskakanje strukture: posao ne stoji u kolektivnom čekanju dok je čin zdrav. Ako ne vide to čekanje, instrumentacija nije gotova

• Dva od osam trčanja namjerno gube rang u fiksnom koraku kako bi se testirao put ponovnog pokretanja

• Inferencija je zaseban test od 200 slika od tvorničke trake do ograđene kutije za serviranje. Uspjeh u treningu ne računa se kao uspjeh u serviranju

• Snimaju snagu racka iz PDU-ova u uzorcima od 15 minuta tako da nitko ne mora izmišljati megavat

Prihvaćanje nazivanja ćelije "AI-spremnom": 8 od 8 recepata je završeno; 0 od 8 pokazuje termalni gas; oba ugašena izvršavanja se nastavljaju; kontrolne točke ostaju za nekoliko minuta. Ako to propuste, još uvijek imaju serversku sobu s otmjenim grafičkim karticama.

Proizlaziti

Ilustrativni rezultat, iz izmišljenog testa od osam ponavljanja, a ne objavljene Kestrelove slike.

Pretpostavke: četiri poslužitelja s dvostrukim akceleratorom u dva stalka; jedan model inspekcije; 120 000 fotografija; osam pokretanja fiksnog recepta od 12 epoha; zidni sat uključuje ponovna pokretanja dok se recept ne završi; ograničenje znači zabilježeni pad sata za obuku; vrijeme kontrolne točke je pisanje, a ne želja; snaga stalka su uzorci PDU-a, a ne kampus PUE.

Prije naknadne ugradnje, GPU-ovi u običnim zrakom hlađenim raccima na uredskom Ethernetu i VM SAN-u:

• 5 od 8 trčanja završeno je iz prvog pokušaja. Srednje vrijeme na zidu među tih pet: 14 sati

• 3 od 8 su morala ponovno pokrenuti nakon zastoja oko 11 sati (dva nakon što je čvor prestao raditi sa zastarjelom kontrolnom točkom, jedan nakon što je kontrolna točka ispunila SAN). Trenutni ponovni pokušaj, bez čekanja preko noći: 11 sati izgubljeno plus 14 sati drugog pokušaja ili 25 sati do gotovog recepta na ta tri

• Prosječno vrijeme do završetka recepta za svih osam, uključujući ponovna pokretanja: 18 sati. (Pet s 14, tri s 25. Medijan svih osam je i dalje 14, što bi sakrilo ponovna pokretanja. Zato je ovdje prosjek početna vrijednost.)

• Termalni gas zabilježen u 7 od 8 pokušaja. Srednje vrijeme na smanjenom taktu: 3 sata u 14-satnom pokušaju

• Pisanje na kontrolnoj točki: medijan 22 minute

• Ubijanje rangom nije bio test koji su mogli proći. Nisu imali priručnik s pravilima. Dvije slučajne smrti bile su otkriće

• Vršno IT opterećenje na dva racka tijekom treninga: oko 18 kW. Red je imao dovoljno vati. Nije imao hlađenje ni tkaninu

Nakon izmjenjivača topline na stražnjim vratima na ta dva racka, namjenske strukture između četiri čvora, malog NVMe bazena za kontrolne točke, 30-minutnih kontrolnih točaka i runbooka za ponovno pokretanje:

• 8 od 8 završilo je iz prvog pokušaja. Srednje vrijeme na zidnom satu: 9 sati

• Termalni gas: 0 od 8

• Pisanje na kontrolnoj točki: medijan 90 sekundi. Najgore u setu: 3 minute

• Dva namjerna ubojstva u rangu nastavljena su od posljednje 30-minutne kontrolne točke. Dodatno vrijeme na te dvije runde: oko 40 minuta svaka, uključujući dijagnozu, tako da su te dvije runde sjedile blizu 9 sati i 40 minuta. Prosječno nakon osam rundi mirovanja do 9 sati

• Vršno IT opterećenje i dalje je oko 18 kW. Isti čipovi. Drugačije ponašanje zgrade

U ovom uzorku, prosječno vrijeme do završetka recepta palo je s 18 sati na 9 sati, ili 9 sati po receptu, 72 sata u osam ciklusa. Završeno iz prvog pokušaja palo je s 5 od 8 na 8 od 8. Throttle je pao sa 7 od 8 na 0 od 8. Taj posljednji broj govori jesu li kupili akceleratore ili utege za papir. Neće promjenu vremena nazvati uštedom od 50% u proizvodnji. Osam ciklusa je mali, jednostavan skup.

Ove brojke su primjer procjene temeljene na navedenom testu, malom uzorku, jednom modelu i jednoj mješovitoj dvorani. One nisu PUE, nisu megavat na kampusu i nisu dokaz da bi Kestrel trebao graditi poligon za obuku na polju. Pregled zapisnika trajao je unutar 9 sati; nisu to sakrili. Brojka od 18 kW je zaokruženo očitanje PDU-a, a ne račun za komunalne usluge. Nisu pretvorili 72 sata u trošak, jer bi tvornička mješovita cijena električne energije bila lažni poslovni slučaj.

Provjera serviranja bila je odvojena i manja: 200 linijskih slika do ograđenog prostora, sve na licu mjesta. To je zaključivanje, a ne trening. Miješanje to dvoje bila bi pogreška hibridne dvorane u malom.

Što može poći po zlu

• Nabava stalno naziva četiri servera "AI podatkovnim centrom". Oznaka skriva vodovod, a sljedeća kupnja su još GPU-a za isti bolesni prolaz

• Izmjenjivači na stražnjim vratima ulaze, a nitko ne pušta u rad vodenu stranu. Ventilatori i dalje viču. Satovi i dalje padaju

• Fabric je jedan prekidač bez rezervnog puta. Jedna neispravna veza i "klaster" se opet sastoji od četiri radne stanice

• Kontrolne točke ostaju na SAN-u jer je NVMe pool bio "faza dva". Faza dva ne stiže prije sljedećeg neaktivnog čvora

• Navode PUE za dva regala u miješanoj dvorani. Klima, granice i ostatak ERP retka čine taj omjer kostimiranim

• Obuka i posluživanje dijele strukturu. Poplava kontrolnih točaka tjera tvorničku liniju da čeka. Latencija repa je proizvod tamo, a ne gustoća

• Čvor se ugasi, a netko ga tretira kao tiket za vrijeme rada umjesto ponovnog pokretanja kontrolne točke. Operateri poduzeća i operateri umjetne inteligencije razgovaraju jedno s drugim cijelo poslijepodne

• Mogli su unajmiti kavez, ali slike ne mogu otići. Zaboravljajući to ograničenje, upuštaju se u razgovor u oblaku u kojem će se morati opustiti

Praktična informacija

Ono što je AI podatkovni centar, u ovom obliku, nije skladište i nije račun za GPU. To je ćelija koja omogućuje akceleratorima da završe rad: snaga koju mogu zadržati, toplina koja izlazi, tkanina, kontrolna točka i netko tko je odgovoran kada rang umre. Kestrelu nije trebao kampus. Trebala su im dva stalka da prestanu pretvarati se. Većina timova trebala bi unajmiti takvo ponašanje. Neki, s tajnim skupom podataka i dvoranom koja može podnijeti toplinu, trebali bi izgraditi ćeliju i odbiti klizanje.

Često postavljana pitanja

Što je podatkovni centar umjetne inteligencije?

Računalna lokacija visoke gustoće gdje su napajanje, hlađenje, umrežavanje i pohrana usmjereni na paralelno treniranje i posluživanje modela, a ne na uredne redove poslužitelja opće namjene. Dizajnirana je tako da ogroman broj akceleratora može trenirati i posluživati ​​modele bez "topljenja", zastoja na mreži ili čekanja na disku. Obična poslovna dvorana je miješano susjedstvo. Dvorana umjetne inteligencije je monokultura čija je jedinica vrijednosti akcelerator, poput GPU-a ili čipova u stilu TPU-a. Izgleda kao skladište, a ponaša se poput elektrane koja radi matematiku.

Po čemu se AI podatkovni centar razlikuje od običnog podatkovnog centra?

Tradicionalne dvorane optimiziraju se za mješovita opterećenja i vrijeme rada za mnogo malih usluga. AI lokacije mijenjaju omjere: gustoća raste, mreža postaje tkanina bez koje posao obuke ne može funkcionirati, a pohrana mora održavati kontrolne točke u pokretu ili akceleratore miruju. Poduzetničke operacije razmišljaju o tiketima i prozorima za promjene. AI operacije razmišljaju o redovima čekanja poslova i mučnom osjećaju kada čvor dugoročno prestane raditi. I dalje biste mogli nazvati oba podatkovna centra. Oznaka samo skriva vodovod.

Zašto podatkovni centri umjetne inteligencije troše toliko energije?

Istaknuti hardver nije pametni CPU. To je akceleratorski ladica: GPU-ovi ili drugi AI čipovi, pakirani u poslužitelje, zatim u stalke, pa u redove koji dijele visokopropusnu strukturu. Gustoća po stalku je preokret u radnji: manje stalka, svaki od njih mala peć. Megavati IT opterećenja pojavljuju se kada se dvorana napuni, iako se ne isplati izmišljati tipičnu brojku. Ograničavajući faktor često je trafostanica, a ne popis želja za GPU-ovima.

Kako se hlade podatkovni centri umjetne inteligencije?

Rackovi visoke gustoće odvode toplinu na način na koji se od zraka nikada nije tražilo da se nosi s tim. Možete jače potisnuti zrak pomoću izmjenjivača topline na stražnjim vratima, toplijih prolaza i pametnog zadržavanja. Tada se pojavljuje tekućina: hlađenje izravno na čip, rashladne petlje i uranjanje u nekoliko dizajna. Akcelerator koji prigušuje je onaj za koji ste već platili i ne možete ga u potpunosti iskoristiti. PUE je i dalje važan jer je svaki vat potrošen na ventilatore i pumpe vat koji nije otišao u GPU. Voda je također u priči: neke biljke pijuckaju, neke gutaju.

Zašto je umrežavanje jednako važno kao i grafički procesori?

Trening je razgovor: tisuće akceleratora razmjenjuju gradijente, parametre i fragmente modela u bliskoj sinkronizaciji. Ako se tkanina trese, cijeli posao čeka na najsporiji skok. Zato su AI dvorane opsjednute umrežavanjem velike propusnosti, niskom latencijom, tkaninama nalik InfiniBandu ili Ethernetom u istoj ulozi i topologijama koje se ne prepolovljuju kada veza zakaže. Inferencija brine o latenciji repa, mnogim manjim zahtjevima i izolaciji. U ovoj zgradi vodovod je restoran.

Za što se koristi AI podatkovni centar: za obuku ili zaključivanje?

Obuka je kampanja: okupite klaster, unesite podatke, redovito ga kontrolirajte i radite satima ili tjednima. Inferencija je izlog: modeli koji su već obučeni, sada odgovaraju, s latencijom koja je važna. Kampusi za obuku jure snagu, zemljište i gustoću. Lokacije za inferenciju jure latenciju i prisutnost. Hibridne dvorane postoje jer kapital nije beskonačan, ponekad jedna dvorana s dvije petlje hlađenja. Nešto stariji akcelerator u blizini kupca može pobijediti glamurozni akcelerator na drugom kontinentu.

Zašto je pohrana važna u podatkovnom centru umjetne inteligencije?

Podaci za trening moraju stići dovoljno brzo da GPU-ovi ne bi bili previše aktivni. Kontrolne točke moraju se uspostaviti kako rušenje ne bi odnijelo tjedan dana. Težine modela moraju se učitati prije nego što se posluživačka replika pokrene. Propusnost pohrane, ne samo kapacitet, tiho je usko grlo. Možete potrošiti bogatstvo na akceleratore i izgladnjivati ​​ih pristojnim nizom dizajniranim za virtualne strojeve.

Što se događa kada čvor umre usred izvođenja?

Jedan neaktivni akcelerator u čvrsto povezanom zadatku obuke može zaustaviti cijeli hor. Obuka traži kontrolne točke, a ne optimizam. Inferencija iscrpljuje bolesni čvor, održava repliku u odgovoru i ostaje aktivna. Prozori promjena i dalje se sudaraju s izvođenjem obuke koja ne mare za vaš kalendar. Redundancija je i dalje važna za napajanje, hlađenje, putove i pohranu, ali način kvara je manje uredan od starog slajda s devet minuta neprekidnog rada.

Kakav je utjecaj podatkovnog centra umjetne inteligencije na mrežu, vodu i susjede?

Priključak na mrežu često je pravi proces odabira lokacije. Zemljište je lako u usporedbi s trafostanicom i komunalnim poduzećem koje ima druge kupce. Voda za hlađenje, ako je koristite, postaje problem susjeda čim kiša postane nekontrolirana, zajedno s bukom, vizualnim volumenom i toplinom na graničnoj ogradi. Obuka se može sakriti na jeftinijim tržištima električne energije i hladnijim klimama. Inferencija voli biti blizu korisnika. Ne postoji jedna savršena lokacija. Postoji kompromis s priopćenjem za javnost.

Trebam li vlastiti podatkovni centar s umjetnom inteligencijom ili ga trebam unajmiti?

Većina ljudi ne mora posjedovati jednu od ovih dvorana. Hiperskaleri grade jer je proizvod flota. Laboratoriji grade kada je vrijeme čekanja usko grlo ili podaci ne mogu izaći. Banka, bolnica, vlada ili proizvođač s tajnim skupom podataka mogu racionalno koristiti lokalni ili privatni kolo-kavez. Svi ostali trebali bi unajmiti: kolokaciju spremnu za umjetnu inteligenciju, rezervaciju u oblaku ili upravljani klaster. Akceleratore dobivate bez da postanete operater elektrane.

Reference

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Zelena mreža - www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Institut za neprekidni rad - journal.uptimeinstitute.com

7. NVIDIA - developer.nvidia.com

8. NVIDIA - docs.nvidia.com

9. NVIDIA - docs.nvidia.com

10. NVIDIA - docs.nvidia.com

11. Google Cloud - docs.cloud.google.com

Pronađite najnoviju umjetnu inteligenciju u službenoj trgovini AI Assistant

O nama