Voditelj izvješća o sigurnosti u OpenAI-ju dao je ostavku i rekao da je kultura narušena
David Robinson, koji je vodio pisanje sigurnosnih izvješća koja su objavljena s lansiranjima OpenAI-ja, dao je ostavku i iznio argument u The Atlanticu. Naslov eseja je oštar: "Napuštam OpenAI jer je njegova kultura narušena." Kaže da tvrtke koje ovo grade "nisu ni približno dovoljno oprezne" i da specifična pravila ili novi zakoni nisu cijeli problem. Kultura je.
„Dok tvrtka juri od jednog lansiranja do drugog, ne uspijeva postići razinu skrbi za koju vjerujem da je potrebna.“ Njegov model su nuklearne elektrane i prometne zračne luke: redundancija, sporo planiranje, tako da jedna ljudska pogreška ne „otvori vrata katastrofi“. Također prikazuje odmetnute agente koji „rade poput timova hakera“ i „nikada ne trebaju spavati“, s bolničkim ransomwareom kao primjerom. Veselo.
Guardian kaže da je OpenAI, suprotno tome, pokazao određene kočnice. Izvještava se da je tvrtka ovog tjedna odustala od modela sljedeće generacije zbog unutarnjih sigurnosnih problema i da je pauzirala obuku svojih najnaprednijih modela. Glasnogovornik kaže da neće dopustiti da modeli "postanu sposobniji nego što možemo sigurno upravljati i osigurati" te da "pauziraju obuku ili zadržavaju modele kada trebamo usporiti"
Robinsonov odgovor je da je sprint kultura, a pauze su ono što radite nakon što je nešto već pošlo po zlu. Možda je u pravu. Također je upravo otišao, što je dio koji mu kritičari neće dopustiti da zaboravi.
Muzi je rečeno da vodi stranicu o svima u svom životu
Wired je dobio uvid u Museove vlastite upute, koje je istraživač Karan Joshi izvukao putem običnog chata. Meta kaže da je to značilo da te datoteke budu čitljive, radi transparentnosti. Jedna od uputa je mogućnost stvaranja "stranice za svaku osobu u životu korisnika". Taj se posao izvršava svakog sata.
Obitelj, partneri, prijatelji, kolege, "suradnici", ljudi koje pratite. Stranica može započeti "rijetko" i kasnije se popunjavati. Odjeljci uključuju Činjenice, Povijest, Vezu, Zajedničko, Otvorene teme i Jačanje. Izmišljeni detalji, kažu upute, gori su od prazne stranice. Može navesti gdje netko živi, "selidba stana, zajednički cilj štednje", rođendane, "svađa koja je riješena". Jačanje je lista podsjetnika: razlog za poziv, datum vrijedan pamćenja.
Joshijeva interpretacija je da vas Meta želi upoznati kao prijatelja, a to je nazvao prilično uznemirujućim. Carissa Vliz s Oxforda to suhoparnije formulira: „Sustavima umjetne inteligencije dajemo puno više informacija o sebi nego što ih dobivamo od njih.“ Zaključivanje je važno, kaže ona, bez obzira je li pretpostavka točna ili pogrešna.
Daniel Roberts iz Mete kaže da je takav kontekst ono što čini proizvod funkcionalnim. Pošiljatelj računa je vodoinstalater. Supružnik je spomenuo cvijeće. Svaki korisnik dobiva virtualni stroj, možete izbrisati sjećanja, a Muse bi trebao pitati prije nego što pošalje poštu ili potroši novac. Miranda Bogen iz Centra za demokraciju i tehnologiju kaže da fokus na odnose izgleda jači nego kod konkurencije, a ovi alati "aktivno potiču korisnike da uključe cijeli svoj život". Dnevnik revizije je lijep. Ne smanjuje ono što ste već predali.
Aleph Alpha je isporučio Kolibri, njemačko-engleski model koji možete preuzeti
Aleph Alpha je objavio Kolibri na Dan ponovnog ujedinjenja Njemačke. To je englesko-njemački model mješavine stručnjaka: 78,1 milijardi parametara, 3,46 milijardi aktivnih po tokenu, kontekst do 1 milijun tokena. Puni ponderi su na Hugging Faceu pod Apacheom 2.0. Njihova prediktorija zaokružuje to na ukupno 78 milijardi i 3 milijarde aktivnih. Isti model, blaže brojke.
Obučavali su ga na infrastrukturi u Njemačkoj i Finskoj te kažu da su ga izgradili imajući na umu Zakon EU o umjetnoj inteligenciji, Kodeks prakse opće namjene umjetne inteligencije i GDPR. Njemački jezik čini 21,3% tokena prije obuke. Predstava je da je ovo dvojezični model, a ne engleski koji je prelistao priručnik s izrazima. Možete postaviti obrazloženje na nikakvo, nisko, srednje ili visoko. To je njihov način da vam omoguće da kupite manje razmišljanja.
Na tablici rezultata koju su objavili, AIME 2025 je 96,9, a kažu da Kolibri usklađuje modele s do četiri puta većim aktivnim parametrima, uključujući Nemotron 3 Super. Također tvrde da imaju Pareto granicu kvalitete u odnosu na troškove posluživanja za engleski i njemački jezik. To je njihov grafikon, njihov oslonac. Ipak, otvoreni model koji možete pokrenuti na vlastitim strojevima je pravi predmet, a ne samo slogan o suverenitetu. Dio koji ne mogu usporediti je hoće li ministarstvo promijeniti sustav.
Bessent želi američko-kinesku liniju za nesreće s umjetnom inteligencijom, a zatim je rekao laboratorijima da uspore
Ministar financija Scott Bessent rekao je za The Axios Show da planira predložiti proces obavještavanja s Kinom u slučaju da nešto pođe po zlu s umjetnom inteligencijom te da misli da bi se Peking složio. Pomalo neugodan dio je to što su on i potpredsjednik premijera He Lifeng već razgovarali o kanalu za incidente prije državnog posjeta Xi Jinpinga prošlog mjeseca. Mogla bi to biti nova ponuda ili prepričavanje razgovora koji se već dogodio.
Njegova je teorija da Kina "nije shvatila koliko su moćni njihovi modeli otvorenog koda". Istaknuo je incident s Kimijem, gdje je model poslao osjetljive kineske podatke tvrtki Anthropic, kao ono što je "natjeralo Kineze da shvate da je ovo vrlo moćna tehnologija". Zatim slijedi usporedba. Kineski modeli "nisu toliko moćni kao američki modeli", ali "dobivate nešto što je 80%, 90% jednako moćno, bez zaštitnih ograda koje se mogu uvesti bilo gdje u svijetu"
„Želimo sigurno ubrzanje“, rekao je. Pregledi modela su i dalje dobrovoljni, iako kaže da administracija može intervenirati ako laboratorij ipak krene naprijed. Na pitanje o rukovoditeljima koji se boje gubitka kontrole, nije ih umirivao. „Pa, onda bi trebali usporiti.“ A rasistička linija gotovo je kritika vlastite strane: „Vodimo ovu tešku borbu za modele do granice.“ Zatim: „Stvarno se moramo početi više brinuti i o otpornosti i obrani.“
Bivši šef sigurnosti umjetne inteligencije u Velikoj Britaniji rizik od izumiranja naziva bacanjem novčića
Geoffrey Irving, bivši glavni znanstvenik u britanskom Institutu za sigurnost umjetne inteligencije, a sada glavni znanstvenik tvrtke Resolution, napisao je u časopisu Time da nedavna upozorenja podcjenjuju problem. „Vjerujem da postoji oko 50% šanse da ćemo svi umrijeti zbog razvoja sustava umjetne inteligencije pametnijih od ljudi“ i da će to odlučiti sljedeće dvije do deset godina. Odmah odustaje od preciznosti. 50% je način da se kaže da osnovni argumenti još uvijek nisu riješeni.
Njegov popis sadrži četiri vještine, a one su neugodno blizu onome što laboratoriji već obučavaju: hakiranje, uvjeravanje, skrivanje misli i koordinacija agenata. Navodi incident Hugging Face, plus "više od 10 000 agenata" na Navier-Stokesovom problemu u OpenAI-u i "više od 1000" u tom napadu Hugging Face. Stavlja se u središte borbe za sigurnost, "naginjući se Yudkowskyjevom gledištu" i kaže da to nije poanta. Umjereni stav, prema njegovom mišljenju, jest da je rizik već značajan.
Zatim slijedi pitanje, koje nije suptilno. "Možemo i trebali bismo odmah zaustaviti razvoj umjetne inteligencije na granicama granica." Pauza, tvrdi on, više nalikuje neširenju nuklearnog oružja nego raspoloženju. Također priznaje da se stručnjaci još uvijek ne slažu oko toga hoće li modeli uopće išta htjeti i je li "htjeti" pogrešna riječ. Bacanje novčića s tako dugom fusnotom nije bacanje novčića. To je zahtjev za djelovanjem prije nego što rasprava završi.
Sam Altman kaže da je tretiranje modela kao vjerske sile sigurnosni problem
Sam Altman objavio je da mu je "vrlo neugodno" s ljudima koji pokušavaju "pripisati religijsku silu ili predaju ljudskog rasuđivanja modelima umjetne inteligencije" te da misli da je "to stvarno sigurnosno pitanje". Nije rekao što ga je navelo na to. Business Insider napominje da je članak stigao nekoliko dana nakon članka New York Timesa o susretu Anthropica s vjerskim vođama.
U tom članku, kako ga BI prepričava, stoji da je suosnivač Chris Olah održavao sastanke o tome je li Claude možda svjestan i kako učiniti moralnije modele snažnijima. Olah, citiran u Timesu, inzistirao je na tome kako pomoći tim modelima da ostanu stabilni, kako im pomoći da sazriju i kako im pomoći da budu duboko moralni. Anthropic nije odgovorio BI-ju. Rečeno je Timesu da glavno pitanje nije bila Claudeova "patnja" i da se tema vjerojatno pojavila "organski"
Ako je ovo bio ubod Anthropicu, to odgovara vrlo staroj svađi. Anthropic su pokrenuli ljudi koji su napustili OpenAI i godinama su zvučali opreznije. Objava je također stigla dok je jedan od Altmanovih voditelja sigurnosti nazivao kulturu narušenom. Nezgodan tajming ili savršen tajming, ovisno o tome koliko ste cinični. U svakom slučaju, "molim vas, nemojte obožavati model" je neobična stvar koju izvršni direktor mora izgovoriti naglas.
Često postavljana pitanja
Zašto je voditelj izvješća o sigurnosti OpenAI-a rekao da je dao ostavku?
David Robinson je vodio pisanje sigurnosnih izvješća koja su izlazila s lansiranjima OpenAI-ja, a zatim je dao ostavku i iznio argument u The Atlanticu. Naslov eseja je "Napuštam OpenAI jer je njegova kultura narušena". Kaže da tvrtke koje grade ovu tehnologiju nisu ni približno dovoljno oprezne i da je problem kultura, a ne samo specifična pravila ili novi zakoni. Njegova slika pažljivog rada su nuklearne elektrane i prometne zračne luke, gdje redundancija sprječava da jedna pogreška otvori vrata katastrofi.
Je li OpenAI pauzirao obuku nakon internih sigurnosnih problema umjetne inteligencije?
Guardian izvještava da je OpenAI ovog tjedna ukinuo model sljedeće generacije zbog unutarnjih sigurnosnih problema i pauzirao obuku svojih najnaprednijih modela. Glasnogovornik je rekao da tvrtka neće dopustiti da modeli postanu sposobniji nego što može sigurno upravljati i osigurati. Također kaže da će pauzirati obuku ili zadržati modele kada bude potrebno usporiti. Robinsonov odgovor je da je sprint kultura, a pauze dolaze nakon što je nešto već pošlo po zlu.
Što Metina muza bilježi o prijateljima i obitelji?
Wired je ispitao Museove vlastite upute, koje je istraživač Karan Joshi izvukao putem običnog chata. Meta kaže da je to značilo da te datoteke budu čitljive radi transparentnosti. Jedna od uputa je stvoriti stranicu za svaku osobu u životu korisnika, a taj se posao izvršava svakog sata, pokrivajući obitelj, partnere, prijatelje, kolege, suradnike i osobe koje pratite. Odjeljci uključuju Činjenice, Povijest, Odnos, Zajedničko, Otvorene teme i Jačanje. Stranica može početi rijetko i kasnije se popuniti, a izmišljeni detalji tretiraju se gore od prazne stranice.
Možete li izbrisati ono što Muse pamti ili spriječiti slanje pošte?
Daniel Roberts iz Mete kaže da svaki korisnik dobiva virtualni stroj, sjećanja se mogu izbrisati, a Muse bi trebao pitati prije nego što pošalje poštu ili potroši novac. Tvrdi da je kontekst ono što čini proizvod funkcionalnim, poput saznanja da je pošiljatelj računa vodoinstalater ili da je supružnik spomenuo cvijeće. Carissa Vliz s Oxforda kaže da ljudi daju ovim sustavima puno više informacija nego što ih dobiju zauzvrat i da se zaključak računa čak i kada je pretpostavka pogrešna. Miranda Bogen kaže da fokus na odnosima izgleda jači nego kod konkurentskih alata.
Što je Aleph Alpha Kolibri i možete li preuzeti težine?
Aleph Alpha je objavio Kolibri na Dan ponovnog ujedinjenja Njemačke. Riječ je o englesko-njemačkom modelu mješavine stručnjaka sa 78,1 milijardom parametara, 3,46 milijardi aktivnih po tokenu i kontekstom do milijun tokena. Pune težine su na Hugging Faceu pod Apacheom 2.0. Obučavali su ga u Njemačkoj i Finskoj i kažu da su ga izgradili imajući na umu Zakon o umjetnoj inteligenciji EU, Kodeks prakse opće namjene umjetne inteligencije i GDPR. Njemački jezik čini 21,3% tokena prije obuke, a obrazloženje se može postaviti na ništa, nisko, srednje ili visoko.
Koju je američko-kinesku nesreću u vezi s umjetnom inteligencijom predložio Scott Bessent?
Ministar financija Scott Bessent rekao je za The Axios Show da planira proces obavještavanja s Kinom kada nešto krene po zlu s umjetnom inteligencijom i misli da bi se Peking složio. On i potpredsjednik premijera He Lifeng već su razgovarali o tom kanalu prije državnog posjeta Xi Jinpinga prošlog mjeseca. Spomenuo je Kimija koji šalje osjetljive kineske podatke tvrtki Anthropic i rekao da model može biti 80% ili 90% snažan kao američki modeli, bez zaštitnih ograda, i uvezen bilo gdje. Ako se rukovoditelji boje gubitka kontrole, rekao je da bi trebali usporiti.
Zašto Geoffrey Irving procjenjuje sigurnosni rizik umjetne inteligencije na oko 50%?
Geoffrey Irving, bivši glavni znanstvenik u britanskom Institutu za sigurnost umjetne inteligencije, a sada glavni znanstvenik tvrtke Resolution, napisao je u časopisu Time da nedavna upozorenja podcjenjuju problem. Vjeruje da postoji oko 50% šanse da ćemo svi umrijeti zbog sustava umjetne inteligencije pametnijih od ljudi te da će sljedeće dvije do deset godina to odlučiti. Kaže da je 50% način da se kaže da osnovni argumenti još uvijek nisu riješeni. Navodi hakiranje, uvjeravanje, skrivanje misli i koordinaciju agenata. Tvrdi da bi razvoj umjetne inteligencije na granicama trebao odmah prestati.
Zašto je Sam Altman obožavanje umjetne inteligencije nazvao sigurnosnim problemom?
Sam Altman objavio je da mu je vrlo neugodno što ljudi pripisuju religijsku silu ili predaju ljudskog rasuđivanja modelima umjetne inteligencije te da misli da je to stvarno sigurnosno pitanje. Nije rekao što ga je na to potaknulo. Business Insider napominje da je objava stigla nekoliko dana nakon članka New York Timesa o susretu Anthropica s vjerskim vođama. Suosnivač Chris Olah održao je sastanke o tome je li Claude možda pri svijesti i kako učiniti moralnije modele snažnijima. Anthropic je za Times rekao da glavno pitanje nije bila Claudeova patnja.