Odgovor: Umjetna inteligencija može potrošiti vrlo malo električne energije za jednostavan tekstualni zadatak, ali puno više kada su upute duge, izlazi multimodalni ili sustavi rade u velikim razmjerima. Trening je obično glavni početni udar energije, dok svakodnevno zaključivanje postaje značajno kako se zahtjevi gomilaju.
Ključne zaključke:
Kontekst: Definirajte zadatak, model, hardver i opseg prije nego što navedete bilo kakvu procjenu energije.
Obuka: Obuka modela tretirajte kao glavni početni energetski događaj prilikom planiranja proračuna.
Zaključivanje: Pažljivo pratite ponovljeno zaključivanje jer se mali troškovi po zahtjevu brzo zbrajaju u velikim razmjerima.
Infrastruktura: U svaku realnu procjenu uključite hlađenje, skladištenje, mreže i neaktivni kapacitet.
Učinkovitost: Koristite manje modele, kraće upite, predmemoriranje i grupiranje kako biste smanjili potrošnju energije.
Članci koje biste možda željeli pročitati nakon ovog:
🔗 Kako umjetna inteligencija utječe na okoliš
Objašnjava ugljični otisak umjetne inteligencije, potrošnju energije i kompromise održivosti.
🔗 Je li umjetna inteligencija loša za okoliš?
Otkriva skrivene ekološke troškove AI modela i podatkovnih centara.
🔗 Je li umjetna inteligencija dobra ili loša? Prednosti i nedostaci
Uravnotežen pogled na koristi, rizike, etiku i stvarne utjecaje umjetne inteligencije.
🔗 Što je umjetna inteligencija? Jednostavan vodič
Naučite osnove umjetne inteligencije, ključne pojmove i svakodnevne primjere u nekoliko minuta.
Zašto je ovo pitanje važnije nego što ljudi misle 🔍
Potrošnja energije umjetne inteligencije nije samo tema razgovora o okolišu. Dotiče se nekoliko vrlo stvarnih stvari:
-
Troškovi električne energije - posebno za tvrtke koje koriste mnogo zahtjeva za umjetnom inteligencijom
-
Utjecaj ugljika - ovisno o izvoru napajanja iza servera
-
Opterećenje hardvera - snažni čipovi troše ozbiljnu snagu
-
Odluke o skaliranju - jedan jeftin upit može se pretvoriti u milijune skupih
-
Dizajn proizvoda - učinkovitost je često bolja značajka nego što ljudi misle (Google Cloud, Green AI)
Mnogi ljudi pitaju „Koliko energije koristi umjetna inteligencija?“ jer žele dramatičan broj. Nešto ogromno. Nešto što će privući pozornost javnosti. Ali bolje pitanje je: O kakvoj vrsti upotrebe umjetne inteligencije govorimo? Jer to mijenja sve. (IEA)
Jedan prijedlog za automatsko dovršavanje? Prilično mali.
Treniranje graničnog modela na ogromnim klasterima? Mnogo, mnogo veći.
Uvijek uključeni tijek rada umjetne inteligencije u poduzeću koji dotiče milijune korisnika? Da, to se brzo zbraja... kao što se novčići pretvaraju u plaćanje najamnine. (DOE, Google Cloud)
Koliko energije koristi umjetna inteligencija? Kratak odgovor ⚡
Evo praktične verzije.
Umjetna inteligencija može koristiti bilo gdje od sićušnog djelića vat-sata za lagane zadatke do ogromnih količina električne energije za obuku i implementaciju velikih razmjera. Taj raspon zvuči komično široko jer je široko. (Google Cloud, Strubell i dr.)
Jednostavno rečeno:
-
Jednostavni zadaci zaključivanja - često relativno skromni po upotrebi
-
Dugi razgovori, veliki izlazi, generiranje slika, generiranje videa - osjetno više energije
-
Treniranje velikih modela - prvak teške kategorije u potrošnji energije
-
Korištenje umjetne inteligencije u velikim razmjerima cijeli dan - gdje „malo po zahtjevu“ postaje „veliki ukupni račun“ (Google Cloud, DOE)
Dobro pravilo je ovo:
-
Trening je gigantski događaj koji daje početnu energiju 🏭
-
Zaključak je tekući račun za komunalne usluge 💡 (Strubell i sur., Google Research)
Dakle, kada netko pita: Koliko energije koristi umjetna inteligencija?,izravan odgovor je: „Ne jedna količina - već dovoljno da učinkovitost bude važna i dovoljno da opseg promijeni cijelu priču.“ (IEA, Zelena umjetna inteligencija)
Znam da to nije tako privlačno kao što ljudi žele. Ali istina je.
Što čini dobru verziju procjene energije dobivene umjetnom inteligencijom? 🧠
Dobra procjena nije samo dramatičan broj prikazan na grafici. Praktična procjena uključuje kontekst. Inače je to kao vaganje magle kupaonskom vagom. Dovoljno blizu da zvuči impresivno, ali ne dovoljno blizu da bi se vjerovalo. (IEA, Google Cloud)
Prikladna procjena energije umjetne inteligencije trebala bi uključivati:
-
Vrsta zadatka - tekst, slika, audio, video, obuka, fino podešavanje
-
Veličina modela - veći modeli obično zahtijevaju više računalstva
-
Korišteni hardver - nisu svi čipovi jednako učinkoviti
-
Duljina sesije - kratki upiti i dugi višekoračni tijekovi rada vrlo su različiti
-
Iskorištenost - sustavi u stanju mirovanja i dalje troše energiju
-
Hlađenje i infrastruktura - server nije cijeli račun
-
Lokacija i energetski miks - električna energija nije svugdje jednako čista (Google Cloud, IEA)
Zato se dvoje ljudi mogu prepirati o potrošnji električne energije koju provodi umjetna inteligencija, a oboje zvuče samouvjereno dok pričaju o potpuno različitim stvarima. Jedna osoba misli na jedan odgovor chatbota. Druga misli na veliki trening. Oboje kažu "AI" i odjednom razgovor skrene s tračnica 😅
Tablica usporedbe - najbolji načini za procjenu potrošnje energije umjetne inteligencije 📊
Evo praktične tablice za sve koji pokušavaju odgovoriti na pitanje bez da ga pretvore u performans.
| Alat ili metoda | Najbolja publika | Cijena | Zašto to funkcionira |
|---|---|---|---|
| Jednostavna procjena na temelju empirijskog pravila | Znatiželjni čitatelji, studenti | Besplatno | Brzo, jednostavno, malo nejasno - ali dovoljno dobro za grube usporedbe |
| Vatmetar na strani uređaja | Samostalni graditelji, hobisti | Nisko | Mjeri stvarnu vučenu snagu stroja, koja je osvježavajuće konkretna |
| Nadzorna ploča telemetrije GPU-a | Inženjeri, ML timovi | Srednji | Bolji detalji o računalno zahtjevnim zadacima, iako se mogu propustiti veći režijski troškovi objekta |
| Zapisnici naplate i korištenja u oblaku | Startupi, operativni timovi | Srednje do visoko | Povezuje korištenje umjetne inteligencije sa stvarnom potrošnjom - nije savršeno, ali je i dalje prilično vrijedno |
| Izvješćivanje o energiji podatkovnog centra | Poslovni timovi | Visoko | Pruža širu operativnu vidljivost, hlađenje i infrastruktura počinju se ovdje pojavljivati |
| Procjena potpunog životnog ciklusa | Timovi za održivost, velike organizacije | Visoko, ponekad bolno | Najbolji za ozbiljnu analizu jer ide dalje od samog čipa... ali je spor i neka vrsta zvijeri |
Ne postoji savršena metoda. To je pomalo frustrirajući dio. Ali postoje razine vrijednosti. I obično je nešto upotrebljivo bolje od savršenog. (Google Cloud)
Najveći faktor nije magija - to su računalo i hardver 🖥️🔥
Kada ljudi zamišljaju potrošnju energije umjetne inteligencije, često zamišljaju sam model kao nešto što troši energiju. Ali model je softverska logika koja se izvršava na hardveru. Hardver je mjesto gdje se pojavljuje račun za struju. (Strubell i sur., Google Cloud)
Najveće varijable obično uključuju:
-
Vrsta GPU-a ili akceleratora
-
Koliko se čipova koristi
-
Koliko dugo ostaju aktivni
-
Učitavanje memorije
-
Veličina serije i propusnost
-
Je li sustav dobro optimiziran ili se samo forsira sve (Google Cloud, kvantizacija, grupiranje i strategije posluživanja u LLM-u za korištenje energije)
Visoko optimiziran sustav može obaviti više posla s manje energije. Neuredan sustav može rasipati električnu energiju s nevjerojatnom samouvjerenošću. Znate kako je - neke postavke su trkaći automobili, neke su kolica za kupovinu s raketama zalijepljenim ljepljivom trakom 🚀🛒
I da, veličina modela je važna. Veći modeli obično zahtijevaju više memorije i više računanja, posebno pri generiranju dugih izlaza ili rješavanju složenog zaključivanja. Ali trikovi učinkovitosti mogu promijeniti sliku: (Zelena umjetna inteligencija, kvantizacija, grupiranje i strategije posluživanja u korištenju energije u LLM-u)
-
kvantizacija
-
bolje usmjeravanje
-
manji specijalizirani modeli
-
keširanje
-
šaržiranje
-
pametnije raspoređivanje hardvera (Kvantizacija, grupiranje i strategije posluživanja u LLM-u za korištenje energije)
Dakle, pitanje nije samo „Koliko je model velik?“, već i „Koliko se inteligentno vodi?“
Trening vs. zaključivanje - to su različite životinje 🐘🐇
Ovo je podjela koja zbunjuje gotovo sve.
Trening
Treniranje je faza u kojoj model uči obrasce iz ogromnih skupova podataka. Može uključivati mnogo čipova koji rade dulje vrijeme, obrađujući ogromne količine podataka. Ova faza je energetski zahtjevna. Ponekad izuzetno. (Strubell i sur.)
Energija treninga ovisi o:
-
veličina modela
-
veličina skupa podataka
-
broj treninga
-
neuspjeli eksperimenti
-
fino podešavanje pasova
-
učinkovitost hardvera
-
hlađenje nadzemnih dijelova (Strubell i sur., Google Research)
A evo i dijela koji ljudi često propuste - javnost često zamišlja jedan veliki trening, napravljen jednom, kraj priče. U praksi, razvoj može uključivati ponovljene pokušaje, podešavanje, ponovnu obuku, evaluaciju i sve prozaične, ali skupe iteracije oko glavnog događaja. (Strubell i sur., Green AI)
Zaključak
Inferencija je model koji odgovara na stvarne korisničke zahtjeve. Jedan zahtjev možda ne izgleda puno. Ali inferencija se događa iznova i iznova. Milijune puta. Ponekad milijarde. (Google Research, DOE)
Energija zaključivanja raste s:
-
duljina upita
-
izlazna duljina
-
broj korisnika
-
zahtjevi za latenciju
-
multimodalne značajke
-
očekivanja vremena neprekidnog rada
-
sigurnosni koraci i koraci naknadne obrade (Google Cloud, kvantizacija, grupiranje i strategije posluživanja u LLM-u za korištenje energije)
Dakle, trening je potres. Zaključivanje je plima. Jedan je dramatičan, jedan je uporan, a oboje mogu malo preoblikovati obalu. Možda je to neobična metafora, ali drži se zajedno... manje-više.
Skriveni troškovi energije koje ljudi zaboravljaju 😬
Kada netko procjenjuje potrošnju energije umjetne inteligencije gledajući samo čip, obično podcjenjuje. Ne uvijek katastrofalno, ali dovoljno da bude važno. (Google Cloud, IEA)
Evo skrivenih dijelova:
Hlađenje ❄️
Serveri generiraju toplinu. Snažan hardver umjetne inteligencije generira je puno. Hlađenje nije opcionalno. Svaki vat potrošen računanjem obično dovodi do veće potrošnje energije samo kako bi se održala razumna temperatura. (IEA, Google Cloud)
Prijenos podataka 🌐
Premještanje podataka između pohrane, memorije i mreža također zahtijeva energiju. Umjetna inteligencija ne samo da "razmišlja". Ona također neprestano premješta informacije. (IEA)
Neaktivni kapacitet 💤
Sustavi izgrađeni za vršnu potražnju ne rade uvijek pri vršnoj potražnji. Neaktivna ili nedovoljno iskorištena infrastruktura i dalje troši električnu energiju. (Google Cloud)
Redundancija i pouzdanost 🧱
Sigurnosne kopije, sustavi za prebacivanje u slučaju kvara, duplicirane regije, sigurnosni slojevi - sve je vrijedno, sve je dio šire energetske slike. (IEA)
Pohrana 📦
Podaci za obuku, ugradnje, zapisnici, kontrolne točke, generirani izlazi - sve se to negdje nalazi. Pohrana je jeftinija od računanja, sigurno, ali nije besplatna u smislu energije. (IEA)
Zato se na pitanje " Koliko energije koristi umjetna inteligencija?" ne može dobro odgovoriti gledajući samo jedan grafikon s referentnim vrijednostima. Važan je cijeli stack. (Google Cloud, IEA)
Zašto jedna AI prompt može biti sitna - a sljedeća može biti čudovište 📝➡️🎬
Nisu svi upiti jednaki. Kratak zahtjev za prepisivanje rečenice nije usporediv sa zahtjevom za dugu analizu, višekoračnu sesiju kodiranja ili generiranje slike visoke rezolucije. (Google Cloud)
Stvari koje obično povećavaju potrošnju energije po interakciji:
-
Dulji kontekstualni prozori
-
Duži odgovori
-
Koraci korištenja i pronalaženja alata
-
Višestruki prolazci za zaključivanje ili validaciju
-
Generiranje slike, zvuka ili videa
-
Veća konkurentnost
-
Ciljevi niže latencije (Google Cloud, kvantizacija, grupiranje i strategije posluživanja u korištenju energije na LLM-u)
Jednostavan tekstualni odgovor može biti relativno jeftin. Veliki multimodalni tijek rada može, pa, biti ne jeftin. Pomalo je kao naručivanje kave naspram cateringa za vjenčanje. Tehnički, oboje se računa kao "usluga hrane". Jedno nije kao drugo ☕🎉
To je posebno važno za timove za proizvode. Značajka koja se čini bezopasnom pri maloj upotrebi može postati skupa u velikim razmjerima ako svaka korisnička sesija postane dulja, bogatija i računalno zahtjevnija. (DOE, Google Cloud)
Potrošačka umjetna inteligencija i umjetna inteligencija za poduzeća nisu ista stvar 🏢📱
Prosječna osoba koja ležerno koristi umjetnu inteligenciju mogla bi pretpostaviti da su njihovi povremeni upiti veliki problem. Obično se glavna energetska priča ne nalazi u tome. (Google Cloud)
Korištenje u poduzeću mijenja matematiku:
-
tisuće zaposlenika
-
uvijek uključeni kopiloti
-
automatizirana obrada dokumenata
-
sažetak poziva
-
analiza slike
-
alati za pregled koda
-
pozadinski agenti koji neprestano rade
Tu ukupna potrošnja energije počinje biti jako važna. Ne zato što je svaka akcija apokaliptična, već zato što je ponavljanje multiplikator. (DOE, IEA)
U mojim vlastitim testovima i pregledima tijeka rada, upravo se tu ljudi iznenade. Usredotoče se na naziv modela ili blještavu demonstraciju i zanemaruju količinu. Količina je često pravi pokretač - ili spasonosna milost, ovisno o tome naplaćujete li kupcima ili plaćate račun za komunalije 😅
Za potrošače, utjecaj se može činiti apstraktnim. Za tvrtke vrlo brzo postaje konkretan:
-
veći računi za infrastrukturu
-
veći pritisak za optimizaciju
-
veća potreba za manjim modelima gdje je to moguće
-
interno izvještavanje o održivosti
-
više pažnje na keširanje i usmjeravanje (Google Cloud, Green AI)
Kako smanjiti potrošnju energije umjetne inteligencije bez odustajanja od umjetne inteligencije 🌱
Ovaj dio je važan jer cilj nije "prestati koristiti umjetnu inteligenciju". Obično to nije realno, pa čak ni potrebno. Bolje korištenje je pametniji put.
Evo najvećih poluga:
1. Koristite najmanji model koji obavlja posao
Nije svakom zadatku potrebna teška opcija. Lakši model za klasifikaciju ili sažimanje može brzo smanjiti otpad. (Zelena umjetna inteligencija, Google Cloud)
2. Skratite upute i rezultate
Više detalja unutra, više detalja van. Dodatni tokeni znače dodatno računanje. Ponekad je skraćivanje prompta najlakša pobjeda. (Kvantizacija, grupiranje i strategije posluživanja u LLM-u za korištenje energije, Google Cloud)
3. Spremi ponovljene rezultate u predmemoriju
Ako se isti upit stalno pojavljuje, nemojte ga svaki put ponovno generirati. To je gotovo očito, ali se ipak previdi. (Google Cloud)
4. Grupni poslovi kad god je to moguće
Izvršavanje zadataka u serijama može poboljšati iskorištenost i smanjiti otpad. (Kvantizacija, serija i strategije posluživanja u LLM-u za korištenje energije)
5. Inteligentno usmjeravajte zadatke
Koristite velike modele samo kada padne samopouzdanje ili se poveća složenost zadatka. (Zelena umjetna inteligencija, Google Cloud)
6. Optimizirajte infrastrukturu
Bolje raspoređivanje, bolji hardver, bolja strategija hlađenja - prozaične stvari, ogromna isplativost. (Google Cloud, DOE)
7. Izmjerite prije nego što pretpostavite
Mnogi timovi misle da znaju kamo ide snaga. Zatim mjere i eto - skupi dio nalazi se negdje drugdje. (Google Cloud)
Rad na učinkovitosti nije glamurozan. Rijetko dobiva pohvale. Ali to je jedan od najboljih načina da se umjetna inteligencija učini pristupačnijom i obranjivijom u velikim razmjerima 👍
Uobičajeni mitovi o korištenju električne energije umjetnom inteligencijom 🚫
Razbijmo nekoliko mitova jer se ova tema brzo zapetlja.
Mit 1 - Svaki upit umjetne inteligencije je izuzetno rasipnički
Ne nužno. Neki su skromni. Opseg i vrsta zadatka su jako važni. (Google Cloud)
Mit 2 - Trening je jedino što je važno
Ne. Zaključivanje može dominirati tijekom vremena kada je korištenje ogromno. (Google Research, DOE)
Mit 3 - Veći model uvijek znači bolji ishod
Ponekad da, ponekad apsolutno ne. Mnogi zadaci dobro funkcioniraju s manjim sustavima. (Zelena umjetna inteligencija)
Mit 4 - Potrošnja energije automatski je jednaka utjecaju na ugljik
Ne baš. Ugljik ovisi i o izvoru energije. (IEA, Strubell i dr.)
Mit 5 - Možete dobiti jedan univerzalni broj za korištenje energije umjetne inteligencije
Ne možete, barem ne u obliku koji ostaje smislen. Ili možete, ali će biti toliko usrednjeno da prestaje biti vrijedno. (IEA)
Zato je pametno pitati " Koliko energije koristi umjetna inteligencija?" - ali samo ako ste spremni za višeslojan odgovor umjesto slogana.
Dakle... koliko energije zapravo troši umjetna inteligencija? 🤔
Evo utemeljenog zaključka.
Umjetna inteligencija koristi:
-
malo, za neke jednostavne zadatke
-
puno više, za tešku multimodalnu proizvodnju
-
vrlo velika količina, za obuku modela velikih razmjera
-
ogromna količina ukupno, kada se milijuni zahtjeva gomilaju tijekom vremena (Google Cloud, DOE)
To je njegov oblik.
Ključno je ne svesti cijeli problem na jednu zastrašujuću brojku ili jedno odbacivanje. Potrošnja energije umjetne inteligencije je stvarna. Važna je. Može se poboljšati. A najbolji način da se o tome govori je u kontekstu, a ne teatralnosti. (IEA, Zelena umjetna inteligencija)
Velik dio javne rasprave oscilira između krajnosti - s jedne strane „AI je u osnovi besplatna“, a s druge strane „AI je električna apokalipsa“. Stvarnost je običnija, što je čini informativnijom. To je sistemski problem. Hardver, softver, upotreba, skaliranje, hlađenje, dizajnerski izbori. Prozaično? Malo. Važno? Vrlo. (IEA, Google Cloud)
Ključne stvari ⚡🧾
Ako ste ovdje došli pitati: Koliko energije koristi umjetna inteligencija?,evo što je najvažnije:
-
Ne postoji univerzalni broj
-
Trening obično troši najviše energije na početku
-
Zaključivanje postaje glavni faktor na velikoj skali
-
Veličina modela, hardver, radno opterećenje i hlađenje su važni
-
Male optimizacije mogu napraviti iznenađujuće veliku razliku
-
Najpametnije pitanje nije samo „koliko“, već i „za koji zadatak, na kojem sustavu, u kojoj mjeri?“ (IEA, Google Cloud)
Dakle, da, umjetna inteligencija koristi stvarnu energiju. Dovoljno da zasluži pažnju. Dovoljno da opravda bolji inženjering. Ali ne na crtani način, zasnovan na jednom broju.
Primjer iz stvarnog svijeta: Mjerenje troškova energije za pomoćnika u podršci za umjetnu inteligenciju
Scenarij
Zamislite malu SaaS tvrtku koja koristi AI asistenta za izradu odgovora na zahtjeve za korisničku podršku. Ovo je izmišljen, ali realan primjer, a ne studija slučaja tvrtke.
Tim tjedno obrađuje oko 500 zahtjeva za podršku. Većina je jednostavna: resetiranje lozinke, pitanja o naplati, objašnjenja značajki i osnovno rješavanje problema. Tvrtka ne želi da asistent automatski šalje odgovore. Sastavlja nacrte odgovora koje pregleda ljudski agent za podršku.
Pitanje energije nije „Koliko umjetna inteligencija općenito koristi?“ To je praktičnije:
„Koliko dodatnog računalstva stvaramo dodavanjem umjetne inteligencije u ovaj tijek rada i možemo li ga smanjiti bez narušavanja kvalitete?“
Što asistentu treba
Tim bi započeo sa:
Pregledna baza znanja centra za pomoć
Popis odobrenih pravila povrata novca, privatnosti i eskalacije
20-30 primjera snažnih odgovora iz prošlosti
Jasna uputa koju asistent mora sastaviti, a ne poslati
Zapisnici korištenja oblaka ili zapisnici korištenja API-ja modela
Jednostavna proračunska tablica za praćenje vrste zahtjeva, duljine upita, duljine ispisa, vremena pregleda i je li odgovor prihvaćen
Važan dio je mjerenje. Bez zapisa, tim samo nagađa.
Primjer upute
Vi ste pomoćnik za podršku pri izradi SaaS proizvoda. Koristite samo odobreni sadržaj centra za pomoć i bilješke o pravilima. Napišite jasan i pristojan odgovor u manje od 180 riječi. Ako kupac traži povrat novca, brisanje računa, pravni savjet, sigurnosne podatke ili bilo što što nije obuhvaćeno dokumentima, nemojte izravno odgovarati. Označite to za ljudski pregled i objasnite koje informacije nedostaju.
Prije pisanja odgovora, klasificirajte zahtjev kao: jednostavan, osjetljiv na pravila, tehnički ili potreban za eskalaciju.
Kako to testirati
Tim bi mogao testirati asistenta na 50 prošlih tiketa prije nego što ga počne koristiti uživo.
Jednostavan skup testova može uključivati:
10 tiketa za lozinku ili prijavu
10 naplatnih listića
10 karata za rješavanje tehničkih problema
10 nejasnih ili nepotpunih poruka kupcima
10 osjetljivih zahtjeva za povrat novca, zaštitu privatnosti ili zatvaranje računa
Za svaku kartu, tim treba zabilježiti:
Je li nacrt činjenično točan?
Je li koristio samo odobrene informacije?
Je li ostalo ispod ograničenja broja riječi?
Je li ispravno označio osjetljive slučajeve?
Koliko je vremena ljudski agent proveo uređivajući ga?
Koliko je tokena ili zahtjeva tijek rada koristio?
To timu daje nešto konkretno za usporedbu umjesto oslanjanja na slutnje.
Proizlaziti
Ilustrativni rezultat: Na temelju mjerenja vremena 50 probnih tiketa prije i nakon korištenja tijeka rada, tim procjenjuje da prosječno vrijeme izrade prvog nacrta pada sa 6 minuta po tiketu na 2 minute po tiketu.
Za 500 karata tjedno, to štedi oko 2000 minuta, ili otprilike 33 sata vremena izrade.
Ali zapisnici također pokazuju nešto vrijedno: 38% tiketa su jednostavna ponavljanja. Spremanjem odobrenih odgovora za ova ponovljena pitanja u predmemoriju umjesto ponovnog generiranja svake verzije od nule, tim smanjuje zahtjeve za umjetnom inteligencijom s 500 tjedno na 310 tjedno.
To je smanjenje od 38% u tjednim pozivima za zaključivanje za ovaj tijek rada, bez uklanjanja značajke umjetne inteligencije.
Tim to može provjeriti usporedbom:
Ukupan broj tjednih zahtjeva umjetne inteligencije prije i poslije predmemoriranja
Prosječna duljina upita i izlaza
Stopa prihvaćanja od strane ljudi
Broj ispravno uočenih eskalacija
Ocjene kvalitete podrške ili broj revizija
Točna ušteda električne energije i dalje bi ovisila o modelu, hardveru, pružatelju usluga i infrastrukturi. Ali samo smanjenje radnog opterećenja je mjerljivo.
Što može poći po zlu
Asistent može previše odgovarati na pitanja o pravilima ako su pravila eskalacije nejasna.
Dugi dokumenti centra za pomoć mogu povećati duljinu upita ako je postavka pretraživanja loše strukturirana.
Agenti mogu prebrzo povjerovati tečnim nacrtima i propustiti suptilne pogreške.
Keširanje može postati rizično ako stare politike povrata novca, cijena ili privatnosti ostanu u opticaju.
Tim može optimizirati za manji broj tokena, a pritom slučajno generirati manje korisne odgovore.
Najsigurnija verzija drži ljude u toku, mjeri prihvaćene odgovore i pregledava predmemorirane odgovore kad god se pravila promijene.
Praktična informacija
Dobra procjena energije umjetne inteligencije započinje konkretnim radnim procesom. Prebrojite zahtjeve, skratite upite, spremite ponovljene odgovore u predmemoriju i izmjerite kvalitetu pregleda. To pretvara pitanje "Koliko energije umjetna inteligencija koristi?" iz nejasne rasprave u praktično inženjersko pitanje s brojkama koje tim može poboljšati u praksi.
Često postavljana pitanja
Koliko energije umjetna inteligencija troši za jednu poruku?
Ne postoji univerzalni broj za jedan upitnik, jer potrošnja energije ovisi o modelu, hardveru, duljini upitnika, duljini izlaza i bilo kojoj dodatnoj upotrebi alata. Kratak tekstualni odgovor može biti relativno skroman, dok dugi multimodalni zadatak može potrošiti znatno više. Najznačajniji odgovor nije jedna naslovna slika, već kontekst koji okružuje zadatak.
Zašto se procjene korištenja snage umjetne inteligencije toliko razlikuju?
Procjene se razlikuju jer ljudi često uspoređuju vrlo različite stvari pod jednom oznakom umjetne inteligencije. Jedna procjena može opisivati lagani odgovor chatbota, dok druga može obuhvaćati generiranje slika, videozapisa ili obuku modela velikih razmjera. Da bi procjena bila smislena, potreban joj je kontekst poput vrste zadatka, veličine modela, hardvera, iskorištenosti, hlađenja i lokacije.
Je li veći energetski trošak treniranje umjetne inteligencije ili svakodnevno korištenje umjetne inteligencije?
Treniranje je obično veliki početni energetski događaj jer može uključivati mnogo čipova koji rade dulje vrijeme na ogromnim skupovima podataka. Inferencija je tekući trošak koji se pojavljuje svaki put kada korisnici pošalju zahtjeve, a u velikim razmjerima može postati i vrlo velik. U praksi, oboje je važno, iako na različite načine.
Što čini jedan zahtjev umjetne inteligencije puno energetski intenzivnijim od drugog?
Dulji kontekstualni prozori, dulji izlazi, ponovljeni prolazi zaključivanja, pozivi alata, koraci dohvaćanja i multimodalno generiranje imaju tendenciju povećanja potrošnje energije po interakciji. Ciljevi latencije također su važni, jer zahtjevi za bržim odgovorom mogu smanjiti učinkovitost. Mali zahtjev za prepisivanje i dugi tijek rada kodiranja ili slike jednostavno se ne mogu usporediti.
Koje skrivene troškove energije ljudi propuštaju kada pitaju koliko energije koristi umjetna inteligencija?
Mnogi se usredotočuju samo na čip, ali pritom zanemaruju hlađenje, premještanje podataka, pohranu, kapacitet u stanju mirovanja i sustave pouzdanosti poput sigurnosnih kopija ili područja za prebacivanje u slučaju kvara. Ovi prateći slojevi mogu značajno promijeniti ukupni otisak. Zato samo mjerilo rijetko prikazuje potpunu sliku potrošnje energije.
Troši li veći AI model uvijek više energije?
Veći modeli obično zahtijevaju više računalstva i memorije, posebno za duge ili složene izlaze, pa često troše više energije. Ali veće ne znači automatski bolje za svaki posao, a optimizacija može znatno promijeniti sliku. Manji specijalizirani modeli, kvantizacija, grupiranje, predmemoriranje i pametnije usmjeravanje mogu poboljšati učinkovitost.
Je li potrošnja umjetne inteligencije glavni energetski problem ili je umjetna inteligencija poduzeća veći problem?
Povremena upotreba od strane potrošača može se zbrojiti, ali šira priča o potrošnji energije često se pojavljuje u poslovnim implementacijama. Stalno uključeni kopiloti, obrada dokumenata, sažimanje poziva, pregled koda i agenti u pozadini stvaraju ponovljenu potražnju među velikim korisničkim bazama. Problem je obično manje u jednoj dramatičnoj akciji, a više u održivom volumenu tijekom vremena.
Koliko energije koristi umjetna inteligencija kada se uključe podatkovni centri i hlađenje?
Nakon što se uključi širi sustav, odgovor postaje realniji i obično je veći nego što sugeriraju procjene samo na temelju čipova. Podatkovnim centrima potrebna je energija ne samo za računanje, već i za hlađenje, umrežavanje, pohranu i održavanje rezervnih kapaciteta. Zato su dizajn infrastrukture i učinkovitost objekta gotovo jednako važni kao i dizajn modela.
Koji je najpraktičniji način mjerenja potrošnje energije umjetne inteligencije u stvarnom tijeku rada?
Najbolja metoda ovisi o tome tko mjeri i u koju svrhu. Grubo pravilo može pomoći u brzim usporedbama, dok vatmetri, GPU telemetrija, zapisnici naplate u oblaku i izvještavanje podatkovnog centra pružaju progresivno jači operativni uvid. Za ozbiljan rad na održivosti, potpuniji pogled na životni ciklus je još jači, iako je sporiji i zahtjevniji.
Kako timovi mogu smanjiti potrošnju energije umjetne inteligencije bez odustajanja od korisnih značajki umjetne inteligencije?
Najveći dobici obično dolaze od korištenja najmanjeg modela koji i dalje obavlja posao, skraćivanja upita i izlaza, keširanja ponovljenih rezultata, grupiranja rada i usmjeravanja samo težih zadataka na veće modele. Optimizacija infrastrukture također je važna, posebno raspoređivanje i učinkovitost hardvera. U mnogim cjevovodima, mjerenje prvog koraka pomaže u sprječavanju timova da optimiziraju pogrešnu stvar.
Reference
-
Međunarodna agencija za energiju (IEA) - Potražnja za energijom uzrokovana umjetnom inteligencijom - iea.org
-
Ministarstvo energetike SAD-a (DOE) - DOE objavljuje novo izvješće u kojem se procjenjuje povećanje potražnje za električnom energijom u podatkovnim centrima - energy.gov
-
Google Cloud - Mjerenje utjecaja zaključivanja umjetne inteligencije na okoliš - cloud.google.com
-
Google Research - Dobre vijesti o ugljičnom otisku strojnog učenja - research.google
-
Google Research - Ugljični otisak strojnog učenja će se izravnati, a zatim smanjiti - research.google
-
arXiv - Zelena umjetna inteligencija - arxiv.org
-
arXiv - Strubell et al. - arxiv.org
-
arXiv - Strategije kvantizacije, grupiranja i posluživanja u korištenju energije u LLM- - arxiv.org