ServiceNow-ov AutoSynthData pretvara neuspjehe agenata u zlato za obuku

Kratak odgovor: ServiceNow CoreAI-jev AutoSynthData pretvara neuspjehe agenata i uspjehe učitelja u validirane sintetičke SFT zadatke kada poduzećima treba kompetencija u okruženju, a ne samo široki rezultati. Sanira praznine u kartice specifikacija sposobnosti, množi provjerljiv rad, a zatim provjerava kvalitetu prije finog podešavanja. Autor izvještava da su EnterpriseOps Gym dizanja vrijedna ako se snaga učitelja, kvaliteta verifikatora i vjernost okruženju poklapaju.

Ključne zaključke:

Kartice mogućnosti: Sanitizirajte greške u kartice tako da generatori nikada ne vide originalne ID-ove.

Provjerljivost verifikatora: Preferirajte SQL provjere završnog stanja koje odbacuju mutirane pogrešne ishode.

Razina težine: Trenirajte samo zadatke koje cilj rijetko rješava, a učitelj ih obično rješava.

Ljudski pregled: Prije ponovne obuke, obavezno provjeravajte važne politike i nepovratne radnje od strane ljudi.

Pomicanje granice: Nakon SFT-a, ponovno procijenite i pomaknite Ciljnu fazu prema preostalim prazninama.

Agenti umjetne inteligencije u poduzećima rijetko ne uspijevaju jer im nedostaje općeg znanja. Ne uspijevaju jer je okruženje specifično: pravila o tiketima, sheme, ugovori o alatima, baze podataka s početnim postavkama, članci znanja i međusistemski tijekovi rada koji ne izgledaju kao demonstracije iz udžbenika. Model koji dobro postiže na otvorenim testovima i dalje može zastati kada sljedeći korak mora poštovati prozor promjena, CMDB odnos ili verifikator koji provjerava konačno stanje umjesto tečnog chata.

ServiceNow CoreAI / ServiceNow-AI objavili su AutoSynthData kako bi izravno popunili tu prazninu. Imenovani autor Esakkivel Esakkiraja opisuje cjevovod koji pretvara neuspjehe ciljnog agenta - zajedno s uspjesima jačeg učitelja - u validirane sintetičke zadatke obuke prilagođene poslovnim okruženjima. Poanta nije prikupiti više zapisnika chata. Poanta je umnožiti težak, provjerljiv rad koji vježba istu sposobnost pod novim uvjetima kako bi nadzirano fino podešavanje moglo zatvoriti rupe specifične za okruženje.

Ovaj članak prolazi kroz glavnu ideju, apstrakciju zadataka, petlju generiranja i kontrole kvalitete, zajedničku arhitekturu i rezultate koje je autor izvijestio o EnterpriseOps Gymu u hibridnim i ITSM okruženjima. Ostaje pri onome što istraživanje opisuje: pokretni kurikulum sintetičkih zadataka, a ne tvrdnja da je bilo koje poduzeće odjednom riješeno.

Zašto je kompetencija za okoliš bolja od širokih sposobnosti

Poduzećima su potrebni agenti koji rade u njihovom okruženju - njihovim sustavima, pravilima i stanju podataka. Široke mogućnosti nisu isto što i kompetencija u okruženju. Agent može znati kako obično funkcionira upravljanje IT uslugama, a ipak propustiti lokalnu politiku koja zabranjuje određene prijelaze ili alat koji ažurira povezanu tablicu tek nakon što postoji preduvjetni zapis.

Pojedinačni neuspjesi su informativni, ali slabi poput podataka za učenje. Jedna prekinuta putanja pokazuje slabost; ne pruža desetke obližnjih situacija koje bi naučile model da se oporavi pod varijacijama. Timovima je potrebno mnogo novih zadataka koji na drugačiji način vježbaju istu sposobnost, ostaju dovršivi unutar okruženja, osjećaju se realistično kada korisnik zatraži i ostaju provjerljivi u odnosu na provjere ishoda.

To je dizajnerski pritisak iza AutoSynthData. Neuspjesi postaju signali za kartice sposobnosti. Kartice postaju generatori novih zadataka. Jači učitelj pokazuje uspješne putanje. Filteri i verifikatori odlučuju što ulazi u nadzirani skup za fino podešavanje. Nakon obuke, evaluacija pomiče granicu prema preostalim prazninama. Petlja je oblikovana u skladu s kurikulumom, a ne kao jednokratni ispust podataka.

Uokviravanje je važno za praktičare. Ako pohranjujete samo neuspješne upite, riskirate pretjerano prilagođavanje tim točnim entitetima i frazama. Ako generirate samo neograničene sintetičke upite, riskirate zadatke koji su nemogući, nerealni ili neprovjerljivi. AutoSynthData se nalazi između tih krajnosti: sanitizira ono što nije uspjelo u specifikaciju mogućnosti, a zatim regenerira zadatke koji zadržavaju čvrstu jezgru dok mijenjaju oblik površine i kontrolirane dimenzije.

Oblik praktičnog zadatka: sustav, upitnik, verifikator

Prikladna apstrakcija za agentski rad je: zadatak jednak je specifikaciji sustava, korisničkom upitu i verifikatoru. Svaki dio nosi ograničenja koja održavaju sintetičke podatke utemeljenima i pouzdanima.

Specifikacija sustava pokriva ograničenja, politike i početno stanje - na primjer početne vrijednosti baze podataka i članke znanja. Mora ostati kompatibilna s dostupnim alatima i stanjem. Proizvoljna ograničenja težine koja ignoriraju ugovore alata ili realizam početnih vrijednosti obično stvaraju krhke zadatke koji uče pogrešnu lekciju.

Kvaliteta korisničkog upita ima tri aspekta. Izvedivost pita postoji li valjana putanja. Realizam pita bi li korisnik uvjerljivo to zatražio. Teškoća pita otkriva li zadatak trenutnu slabost agenta, a ne nešto što meta već pouzdano rješava. Upit koji je trivijalan za metu rasipa proračun za obuku; upit koji je nemoguć rasipa povjerenje u evaluaciju.

Kvaliteta verifikatora ovisi o dosljednosti, ispravnosti i potpunosti. Previše labave i slabe putanje prolaze. Previše su ograničene na jednu putanju i valjana alternativna rješenja ne uspijevaju. Poslovna okruženja često preferiraju provjere ishoda temeljene na SQL-u ili stanju jer ocjenjuju svijet nakon što agent djeluje, a ne točan put tokena kojim je agent krenuo.

AutoSynthData se oslanja na ovu trijadu kako bi generirani rad ostao utemeljen. Generatori ne izmišljaju slobodno plutajuće kvizove. Oni proizvode zadatke koji se mogu izvršiti u adapteru okruženja i procijeniti od strane verifikatora koji brinu o potrebnim svojstvima konačnog stanja.

Od dijagnostičke evaluacije do kartica sa specifikacijama mogućnosti

Cjevovod započinje dijagnostičkom evaluacijom ciljnog agenta i jačeg učitelja unutar okruženja. Usporedni primjeri otkrivaju gdje cilj ne uspijeva, a gdje učitelj uspijeva. Ti kontrastni slučajevi su sirovina za dizajn kurikuluma.

Sljedeća je destilacija u pročišćene kartice sa specifikacijama sposobnosti. Kartica bilježi testiranu sposobnost, relevantne alate ili oblik tijeka rada, gdje cilj ne uspijeva, a učitelj uspijeva, potrebna svojstva konačnog stanja i dimenzije koje se mogu mijenjati kada se izmisle novi zadaci. Ključno je da generator ne prima izvorne upute, entitete, putanje ili detalje verifikatora - samo kartice.

To čišćenje je namjerni potez protiv preopterećenja. Kad bi generator vidio točne brojeve neuspjelih ulaznica, ID-ove članaka znanja ili tragove učitelja, bio bi u iskušenju parafrazirati istu epizodu. Kartice prisiljavaju apstrakciju: podučavajte sposobnost pod kontroliranom varijacijom, a ne memoriranu instancu.

Nakon što kartice postoje, sustav iz njih generira nove zadatke. Nastavnik zatim demonstrira uspješne putanje za nadzirano fino podešavanje. Te demonstracije nisu savjeti slobodnog oblika; to su uspjesi utemeljeni na okruženju koji prolaze istu vrstu provjere koja je važna kurikulumu.

Dvofazna strukturna skala. Ciljna faza fokusira se na provjerene uzorke oko praznina - zadatke s najvišim signalom blizu mjesta gdje slabi agent pukne. Faza množenja stvara nove varijante prihvaćenih ciljeva. Umnoženi uzorci ne mogu posijati daljnje runde množenja, što ograničava pomicanje. To pravilo je malo, ali važno: neograničena rekurzivna varijacija može odlutati od mogućnosti koju je kartica imenovala.

Zajednički kontroler, adapter okruženja i pokretna granica

Što se tiče arhitekture, AutoSynthData koristi zajednički kontroler i adapter za okruženje. Kontroler orkestrira dijagnozu, kardiranje, generiranje, demonstracije za nastavnike, provjeru kvalitete i skupni pregled. Adapter povezuje te korake s konkretnim poslovnim okruženjem - alatima, stanjem, pravilima i verifikatorima - tako da ista kontrolna petlja može ciljati na različite domene bez prepisivanja logike kurikuluma od nule.

Nakon nadziranog finog podešavanja, cjevovod se ponovno procjenjuje. Nastavni plan i program se zatim pomiče prema preostalim prazninama: pokretnoj granici, a ne statičkom skupu podataka. Eksperimenti opisani u radu usredotočuju se na nadzirano fino podešavanje. Ista petlja mogla bi kasnije podržati učenje s potkrepljenjem; taj smjer se navodi kao planiran, a ne tvrdi se kao dovršen.

Za poslovne timove, arhitektonska lekcija je modularna. Kontroleri ne bi trebali kodirati shemu jedne karte. Adapteri bi trebali otkriti dovoljno stanja i vjernosti alata da verifikatori mogu biti smisleni. Nastavni plan i program trebao bi tretirati rezultate evaluacije kao sljedeći unos, a ne kao jednokratnu tablicu rezultata.

EnterpriseOps Gym je okruženje u kojem je ilustriran ovaj pristup. Riječ je o velikoj radnoj površini za agente poduzeća s oko 1150 zadataka koje su odabrali stručnjaci u 8 domena, otprilike 512 alata, oko 164 tablice baze podataka, kontejneriziranim izvršavanjem, provjerom ishoda temeljenom na SQL-u, operacijama upravljanim politikama, hibridnim scenarijima između domena, testiranjem neizvedivosti i odbijanja te dugoročnim statičkim trajektorijama. AutoSynthData se ne predstavlja kao izumitelj te teretane; teretana je poligon za testiranje opterećenja za petlju sinteze.

Kontrola kvalitete na razini uzorka koja održava sintetičke zadatke pouzdanima

Generiranje bez vrata je način na koji podaci sintetičkih agenata mogu krenuti po zlu. AutoSynthData opisuje kontrolu kvalitete na razini uzorka s nekoliko komplementarnih provjera.

Filtar težine rješavača usmjerava skup prema zadacima koji su teški za ciljnu skupinu, a rješivi za nastavnika. Opisana konfiguracija favorizira zadatke koje ciljna skupina rješava u najviše jednom od tri pokušaja, dok nastavnik uspijeva u najmanje dva od tri. U tom području nadzirane demonstracije mogu naučiti nešto što slab model već ne posjeduje.

Pozitivna verifikacija zahtijeva da referentna putanja prođe verifikator. Negativna verifikacija zahtijeva da mutirani pogrešni ishodi ne uspiju. Zajedno testiraju i prihvaćanje i odbijanje provjeravača. Ako se provjeravaju samo pozitivni rezultati, permisivni verifikator može priznati smeće. Ako se provjeravaju samo negativni rezultati, previše strog verifikator može odbaciti valjan rad.

Petlja kritike i popravka, s ograničenjem ponovnog pokušaja, pokušava popraviti zadatke koji ne uspiju na vratima, umjesto da odmah odbaci svaki gotovo promašaj. Ograničenja ponovnog pokušaja su važna: beskrajni popravci mogu izmisliti sve više umjetnih ograničenja samo kako bi se prošao kontrolni popis.

Meta-pregled na razini serije zatim pregledava cijeli skup radi pokrivenosti, raznolikosti, redundancije i neuspješnih ciljeva. Uzorci održavaju pojedinačne stavke ispravnima; pregled serije sprječava grupiranje kurikuluma oko jednog uskog načina neuspjeha ili kloniranje gotovo duplikata.

Ove kontrole objašnjavaju zašto cjevovod može satima proizvoditi tisuće uzoraka bez tretiranja volumena kao zamjene za prilagodbu. Brzina se razlikuje ovisno o domeni i veličini učitelja, ali priča o kontroli kvalitete je dosljedna: opseg težine, pozitivna i negativna verifikacija, popravak s ograničenjima, a zatim meta-pregled.

Sirove greške u odnosu na kartice u odnosu na validirane SFT skupove

Korisno je usporediti za što je svaki artefakt dobar. Sirovi zapisnici grešaka su dijagnostički. Kartice mogućnosti su generativni ugovori. Validirani nadzirani skupovi za fino podešavanje su ono na čemu se vježba u praksi.

U hibridnim i ITSM snimkama na EnterpriseOps Gymu, autori su izvijestili da je Gemma-4-26B-A4B-it koristio kao cilj. Hybrid je upario taj cilj s Qwen3.8-27B kao učiteljem i proizveo oko 2000 hibridnih uzoraka u otprilike 18 sati, s najboljom kontrolnom točkom u epohi 5. Prosječni Pass@1 porastao je za 7,2 postotna boda - oko 35 posto relativno - s uspjehom verifikatora koji se pomaknuo sa 63,01 posto na 68,55 posto, zatvarajući oko 59 posto jaza Pass@1 u odnosu na referentni model.

ITSM je upario isti cilj s DeepSeek-V4.1-Flash kao učiteljem i proizveo oko 1994 uzorka u otprilike 66 sati, dulje dijelom zbog većeg učitelja i zato što neke optimizacije cjevovoda još nisu bile na mjestu. Prosječni prolaz@1 pomaknuo se s 18,77 posto na 27,18 posto.

Ove brojke shvatite kao rezultate istraživanja tvrtke o ovoj teretani za testirane domene - ne kao neovisnu replikaciju treće strane i ne kao univerzalno jamstvo poduzeća. Dobici se poklapaju tamo gdje se snaga učitelja, kvaliteta verifikatora i vjernost okruženju podudaraju.

Što bi praktičari trebali kopirati iz petlje

Čak i ako vaš stog nije ServiceNow-ov istraživački cjevovod, obrazac se prenosi. Započnite s parnom evaluacijom cilja sličnog proizvodnji i jačeg učitelja u vjernom sandboxu. Pretvorite neuspjehe kontrasta u kartice sposobnosti koje uklanjaju identifikatore i trajektorije. Generirajte zadatke koji variraju dopuštene dimenzije uz očuvanje potrebnih svojstava konačnog stanja. Neka učitelj demonstrira uspjehe. Uparite s opsegom teškoće, pozitivnom i negativnom verifikacijom, ograničenim popravkom i pregledom raznolikosti serije. Fino podesite, ponovno procijenite i pomaknite granicu.

Obratite posebnu pozornost na dizajn verifikatora. Provjere ishoda SQL-a u stilu teretane EnterpriseOpsa i operacije regulirane pravilima ilustriraju zašto su rubrike chata same po sebi slabe za rad sa stanjem. Ako vaš verifikator ne može razlikovati mutirane pogrešne ishode od ispravnih konačnih rezultata, sintetička skala će pojačati šum.

Također poštujte duh pravila množenja: varijante prihvaćenih ciljeva ne bi trebale beskrajno sijati nove varijante bez vraćanja na provjerene jezgre. Drift je tih. Kurikulum koji polako izmišlja egzotičnija ograničenja i dalje može proći plitke filtere, a pritom izvornu sposobnost ostaviti nedovoljno obučenom.

Konačno, hibridni rad između domena tretirajte kao prvorazredni stresni slučaj. Svakodnevni korisnici ne ostaju unutar jednog silosa alata. Hibridni zadaci, dugoročne putanje i testiranje odbijanja ili neizvedivosti su mjesta gdje se kompetencija okruženja pokazuje - ili glasno ne uspijeva.

Upozorenja, ograničenja i pažljivo čitanje dobitaka

Rezultati koje je autor prijavio na EnterpriseOps Gymu su informativni signali, a ne opće jamstvo. Objavljeni hibridni i ITSM dobici primjenjuju se na te domene i uparivanja modela u opisanoj postavci. Druge domene, slabiji učitelji, bučniji verifikatori ili plića vjernost okruženja mogu smanjiti ili izbrisati korist.

Kvaliteta ovisi o tri stupa koja nijedan marketinški sjaj ne može preskočiti. Snaga učitelja postavlja plafon za demonstracije. Kvaliteta verifikatora postavlja pouzdanost oznaka i filtera. Vjernost okruženju određuje hoće li naučena ponašanja preživjeti kontakt s produkcijskim sustavima, pravilima i stanjem podataka.

AutoSynthData eksperimenti naglašavaju nadzirano fino podešavanje. Učenje s potkrepljenjem se navodi kao moguća kasnija upotreba iste petlje, planirana, a ne isporučena u objavljenom radu. Čitatelji ne bi trebali poistovjećivati ​​podatkovni mehanizam spreman za kurikulum s gotovom tvrdnjom o RL obuci.

Čitatelji također ne bi trebali brkati sintetički cjevovod sa samom klupom. EnterpriseOps Gym pruža odabrane zadatke, alate, tablice, kontejnerizaciju i verifikacijsku strukturu. AutoSynthData koristi takvo okruženje kako bi neuspjehe pretvorio u zlato za obuku. Točno odajte priznanje oba dijela: teretana opterećuje agente; cjevovod umnožava zadatke koje je moguće naučiti iz dijagnosticiranih nedostataka.

Također nema besplatnog ručka za računalno i kalendarsko vrijeme unutar sandboxa. Hibridna sinteza dovršena je u roku od nekoliko sati za oko dvije tisuće uzoraka; ITSM je trajao dulje s većim brojem nastavnika i ranijim oblikom cjevovoda. Timovi bi trebali u proračun uključiti zaključivanje nastavnika, ponovne pokušaje kritike ili popravka i ponovnu evaluaciju nakon svakog koraka kurikuluma.

Razmišljanje o kurikulumu za timove poslovnih agenata

Najdublja ideja u AutoSynthData je kurikularna, a ne isključivo generativna. Neuspjesi dijagnosticiraju. Kartice apstrahiraju. Generiranje množi. QC potvrđuje. SFT ažurira cilj. Re-eval pomiče granicu. Taj niz tretira poboljšanje agenta kao niz lekcija utemeljenih na okruženju, umjesto jednog offline dump tragova.

Kurikularno razmišljanje mijenja način na koji vođe raspoređuju trud. Umjesto da traže samo više karata ili više ljudskih bilješki, pitajte koje sposobnosti i dalje ne uspijevaju pod varijacijama, imaju li te sposobnosti čista svojstva konačnog stanja i može li ih jači učitelj pouzdano demonstrirati. Ako učitelj ne može dovoljno često uspjeti, sintetička SFT će podučavati nepouzdano ponašanje. Ako su svojstva konačnog stanja nejasna, verifikatori će se svađati s valjanim strategijama.

Također mijenja način na koji govorite o uspjehu. Zatvaranje dijela jaza Pass@1 u odnosu na referentni model na Hybridu ili podizanje ITSM Pass@1 s visokih deset na visoke dvadeset u izvješćima autora, napredak je u izmjerenoj kompetenciji okruženja. To nije dokaz da je svaki tijek rada, svaka politika ili svaki slučaj odbijanja riješen. Zadržite jezik pokretne granice: preostali praznine postaju sljedeća Target faza, a ne naknadna misao.

Za dizajn programa, uparite ovu petlju s ljudskim pregledom tamo gdje su ulozi visoki - sigurnosne politike, nepovratne radnje, regulirani podaci - dok istovremeno dopuštate automatiziranim vratima da prenose volumen na dobro specificiranim provjerama stanja. Sintetički podaci najbolje funkcioniraju kada okruženje može reći da ili ne s jasnoćom sličnom SQL-u. Teško je kada je uspjeh subjektivan ukus.

Bilješke o dizajnu o težini, realizmu i odbijanju

Ciljanje težine zaslužuje još jednu pozornost. Favoriziranje zadataka koje cilj rješava najviše u jednoj trećini vremena drži obuku podalje od trivijalnosti. Zahtjev da učitelj uspije u najmanje dvije trećine vremena drži demonstracije podalje od bacanja novčića. Taj raspon je praktičan kompromis između izazova i lakoće učenja.

Realizam ostaje blaži kriterij, ali i dalje bitan. Poslovni korisnici traže stvari koje odgovaraju njihovim ulogama i sustavima. Generatori vođeni samo tvrdoćom mogu izmisliti složene zagonetke s više ograničenja koje nijedan operater ne bi tražio. Kartice sposobnosti koje navode varijabilne dimenzije pomažu, ali ljudi ili meta-pregled i dalje moraju uhvatiti nadrealne upute.

Testiranje odbijanja i neizvedivosti, prisutno u širem dizajnu EnterpriseOps Gyma, podsjeća timove da kompetencija uključuje i odbijanje. Cjevovod optimiziran samo za dovršljive zadatke može nedovoljno obučiti odbijanje. Prilikom proširenja petlji u stilu AutoSynthData, uključite kartice gdje je ispravno konačno svojstvo sigurno odbijanje prema pravilima, a ne samo uspješna mutacija stanja baze podataka.

Dugoročni sustavi s praćenjem stanja podižu još jednu značajku dizajna. Demoi nastavnika moraju ostati koherentni kroz mnoge pozive alata. Verifikatori koji provjeravaju samo posljednji redak tablice mogu propustiti međuprekide pravila. Potpunost u dizajnu verifikatora znači pokrivanje svojstava koja zaista definiraju uspjeh za tu sposobnost - uključujući ograničenja koja moraju ostati istinita tijekom cijelog procesa, ne samo na kraju.

Završni sažetak

AutoSynthData, od ServiceNow CoreAI / ServiceNow-AI, čiji je autor u javnom članku Esakkivel Esakkiraja, je cjevovod koji pretvara neuspjehe ciljnih agenata i uspjehe nastavnika u validirane sintetičke zadatke obuke za poslovna okruženja. Apstrahira neuspjehe u pročišćene kartice specifikacija sposobnosti, generira nove zadatke bez curenja izvornih upita ili putanja, prikuplja demonstracije nastavnika i provodi kontrolu kvalitete na razini uzorka i serije prije nadziranog finog podešavanja.

Praktični mentalni model je zadatak kao specifikacija sustava, korisnički upit i verifikator - s izvedivošću, realizmom i teškoćom u napetosti, te s verifikatorima koji nisu ni previše labavi ni ograničeni na jedan put. Faze Ciljaj, a zatim Množi, pravilo bez daljnjeg sjemena za umnožene uzorke, zajednički kontroler plus adapter okruženja i ponovna evaluacija nakon SFT-a stvaraju pomičnu granicu preko preostalih praznina.

Na EnterpriseOps Gymu, autorovi rezultati hibridnog testiranja s Gemma-4-26B-A4B-it i Qwen3.8-27B pokazuju otprilike dvije tisuće uzoraka u oko osamnaest sati i značajna povećanja Pass@1 i uspjeha verifikatora, smanjujući veliki dio jaza u odnosu na referentni model. ITSM s DeepSeek-V4.1-Flash kao nastavnikom pokazuje da Pass@1 raste s 18,77 posto na 27,18 posto na oko 1994 uzorka tijekom duljeg razdoblja. Tretirajte te brojke kao istražene signale na specifičnim domenama, ovisno o nastavniku, verifikatoru i vjernosti okruženju - i zadržite učenje s potkrepljenjem kao planirano proširenje petlje, a ne dovršenu tvrdnju.

Ako se sjećate jedne rečenice: poslovni agenti se poboljšavaju kada neuspjesi postanu apstrahirane, umnožene, provjerene lekcije unutar sustava kojima moraju svakodnevno upravljati - ne kada timovi samo ponavljaju istu pokvarenu kartu.

Praktični primjer: Proširivanje teških ITSM slučajeva iz zamrznutog skupa neuspjeha u stilu teretane

Scenarij

Britanski tim za poslovne platforme - zamislite operativnu grupu za financijske usluge srednje veličine koja koristi ITSM u stilu ServiceNow-a s prozorima promjena, CMDB odnosima i prijelazima ograničenim politikama - ima agenta sličnog produkcijskom koji se stalno spotiče o istu klasu posla: ažuriranja između tablica koja moraju poštivati ​​preduvjet odobrenja, pretraživanja članaka znanja koja su u sukobu s lokalnim zamrzavanjima promjena i hibridni zahtjevi koji se preklapaju iz ITSM-a u susjedne operativne alate.

Zamrzavaju privatni paket u stilu EnterpriseOps Gym-a (kontejnerizirani sandbox, provjere SQL ishoda, tablice s početnim vrijednostima, pravila politika) tako da su rezultati usporedivi iz tjedna u tjedan. Dijagnostička pokretanja pokazuju da ciljani agent ne uspijeva tamo gdje jači učitelj uspijeva. Vodstvo želi više signala za obuku bez ponavljanja istih brojeva karata i ID-ova entiteta. AutoSynthData (ili ekvivalentna petlja sinteze iz neuspjeha ako je istraživački cjevovod zatvoren u njihovom stogu) je kandidat: pretvoriti neuspjehe kontrasta u pročišćene kartice sa specifikacijama sposobnosti, generirati nove zadatke, prikupiti demonstracije učitelja, a zatim - kritično - ljudski pregledati sintetičke tragove prije bilo kakve ponovne obuke.

Ništa se ne isporučuje samo od sebe na Gym Pass@1. Podaci o sintetizatorima tretiraju se kao kandidatski kurikulum, a ne kao besplatna istina.

Što asistentu treba

• Pristup zamrznutom adapteru okruženja u stilu teretane: alati, početno stanje, pravila i SQL (ili ekvivalentni verifikatori temeljeni na stanju).
• Spareni eval logovi: neuspjesi ciljeva u usporedbi s uspjesima učitelja na istim zadacima.
• Shema kartice koja obuhvaća mogućnosti, oblik alata/tijeka rada, kontrast uspjeha/neuspjeha, potrebna svojstva konačnog stanja i dopuštene dimenzije varijacija - bez izvornih uputa, entiteta, trajektorija ili unutarnjih elemenata verifikatora.
• Pravila čišćenja osobnih podataka i pravila (ID-ovi tiketa, korisnička imena, nazivi CI-jeva, regulirana polja) prije nego što bilo što napusti sandbox ili uđe u upit generatora.
• Red za ljudski pregled uzorkovanih sintetičkih zadataka i tragova nastavnika (izvedivost, realizam, ispravnost verifikatora, slučajevi odbijanja/neizvedivosti).
• Uvjeti jasnog zaustavljanja: Ciljaj, a zatim Množi faze; umnoženi uzorci ne zasijuju daljnje runde množenja.

Primjer upute

Voditelj platforme za operatera nastavnog plana i programa (ili za asistenta za orkestraciju koji samo izrađuje nacrte kartica i pregledava pakete - ne prekvalifikuje niti promovira modele):

„Pokrenite dijagnostički Pass@1 na zamrznutim ITSM i Hybrid slojevima u odnosu na naš trenutni cilj i određenog nastavnika. Za svaku usporedbu gdje cilj ne uspije, a nastavnik uspije u barem dva od tri pokušaja, izradite pročišćenu karticu specifikacije sposobnosti: navedite sposobnost, navedite relevantne alate, navedite potrebna svojstva konačnog stanja i navedite kontrolirane dimenzije (prioritetni pojas, povezana CI klasa, zastavica prozora promjene, vrsta sukoba znanja). Uklonite brojeve karata, identifikatore korisnika, CI nazive i sirove trajektorije. Generirajte seriju novih zadataka u fazi cilja samo iz tih kartica. Neka nastavnik demonstrira uspjehe. Primijenite pojas težine (cilj ≤1/3, nastavnik ≥2/3), pozitivnu i negativnu provjeru te ograničenu kritiku/popravak. Izradite paket za pregled od 5% stratificiranih uzoraka plus svaku karticu odbijanja/neizvedivosti. Ne započinjite SFT dok dva recenzenta ne potpišu paket i dok provjere čišćenja PII ne prođu. Nakon SFT-a na kontrolnoj točki kandidata, ponovno procijenite zamrznuti paket i na skupu točnih podudaranja koji nikada nismo koristili za generiranje. Izvijestite o pokrivenosti klasom kvara i stopom regresije u odnosu na prethodnu kontrolnu točku produkcije.“ ne promiče se samo na temelju rezultata u teretani.”

Kako to testirati

1. Osnovno zaključavanje: Zabilježite stope uspjeha Pass@1 i verifikatora na zamrznutom paketu prema klasi kvara (preduvjetni redoslijed, odbijanje prozora za promjenu, hibridni međualatni sustav, sukob znanja). Održite paket i početne vrijednosti nepromjenjivima tijekom ciklusa.
2. Revizija kartica: Nasumično provjerite da generatori nikada ne primaju originalne upute, entitete ili tragove učitelja - samo kartice.
3. Primjer kontrole kvalitete: Potvrdite da pozitivne trajektorije prolaze verifikatore, a mutirani pogrešni ishodi ne prolaze. Odbacite zadatke koji su trivijalni za cilj ili bacanje novčića za učitelja.
4. Ljudski pregled: Recenzenti označavaju svaki uzorak kao zadrži / popravi / odbaci na temelju izvedivosti, realizma i sigurnosti pravila. Pratite međusobni dogovor recenzenata o zajedničkom podskupu.
5. Točno podudaranje zadržanih zadataka: Nakon kandidatskog SFT-a, bodovajte zadržane stvarne (ili prethodno zamrznute) zadatke koji nikada nisu bili uneseni u kartovanje ili generiranje. Odvojeno bodovajte gotovo parafraze zadataka za učenje kako biste otkrili površno pamćenje.
6. Regresijska vrata: Svaka klasa kvara koja se pogorša u odnosu na prethodnu kontrolnu točku produkcije blokira napredovanje dok se ne objasni ili ne ispravi.

Proizlaziti

Nemojte ovdje izmišljati postotke smanjenja kvalitete. Koristite plan mjerenja i označite objavljene istraživačke podatke kao TVRDNJU ZA ČLANAK kada ih citirate.

Plan mjerenja (o čemu bi ovaj tim trebao izvijestiti):

• Pokrivenost klasom neuspjeha: udio dijagnosticiranih klasa nedostataka koje su proizvele ≥N prihvaćenih zadataka ciljne faze nakon kontrole kvalitete (unaprijed definirajte N, npr. 20 prihvaćenih zadataka po klasi).
• Točno podudaranje holdout-a: Pass@1 / uspjeh verifikatora na netaknutom holdout-u prije vs. poslije kandidatskog SFT-a (iste početne vrijednosti, isti verifikator).
• Stopa regresije: broj klasa kvarova gdje Pass@1 pada u odnosu na prethodnu kontrolnu točku proizvodnje; blokira se ako bilo koja sigurnosno kritična klasa nazaduje.
• Prinos pregleda: zadržite / popravite / stope ispadanja na paketu za ljudski pregled; ako stopa ispadanja poraste, pauzirajte Množenje i popravite karte ili verifikatore.
• Neuspješno čišćenje: broj uzoraka koji ne prođu provjere PII/pravila prije odobrenja pregleda (cilj: nula ne uspijeva u SFT skup).

ČLANAK (autor izvještava o EnterpriseOps Gymu - nije izmjereni rezultat ovog tima): Hibridni testovi s Gemma-4-26B-A4B-it kao ciljem i Qwen3.8-27B kao nastavnikom proizveli su oko 2000 uzoraka u otprilike 18 sati, s prosječnim Pass@1 porastom od oko 7,2 postotna boda i uspjehom verifikatora koji se pomaknuo sa 63,01% na 68,55%. ITSM s DeepSeek-V4.1-Flash kao nastavnikom pomaknuo je prosječni Pass@1 s 18,77% na 27,18% na oko 1994 uzorka tijekom duljeg razdoblja (~66 sati). Tretirajte ih kao istražene signale na specifičnim domenama i uparivanjima, a ne kao univerzalno jamstvo za produkcijski stog u Velikoj Britaniji.

Ilustrativni oblik programa (pretpostavke, ne izmjereni dobici): Ako tim prihvati ~2000 uzoraka kontroliranih kontrolom kvalitete za jedan ITSM ciklus, u proračun uključi zaključivanje nastavnika plus pregled na 5% stratificiranog uzorkovanja i promovira samo kada zadržavanje ne regresira sigurnosno kritične predmete, „rezultat“ koji mogu tvrditi ozbiljno je zrelost procesa - revidirani kurikulum, pročišćeni tragovi i usporedive delte zamrznutih odjela - a ne obećani postotni porast.

Što može poći po zlu

• Tretiranje sintetizatora kao slobodne istine: Preskakanje ljudskog pregleda ili negativne verifikacije omogućuje permisivnim verifikatorima da priznaju smeće u velikim razmjerima.
• Curenje entiteta: Unošenje originalnih ID-ova ulaznica ili tragova nastavnika u generator dovodi do prekomjernog prilagođavanja parafrazama; kartice postoje kako bi se to spriječilo.
• Neograničeno množenje: Dopuštanje množenim uzorcima da posijuju daljnje runde udaljava se od imenovane mogućnosti.
• Dostava rezultata u teretani: Promocija jer je broj zamrznutih ulaznica za propusnice porastao dok se promet u zastoju ili produkcijskoj sjeni pogoršao.
• Slab gornji limit učitelja: Ako učitelj ne može proći razinu uspjeha ≥2/3, SFT podučava nepouzdane demonstracije.
• Nejasni verifikatori: Rubrike u chatu umjesto provjera temeljenih na stanju ocjenjuju tečne pogrešne završne ispite kao uspjeh.
• Odbijanje zbog nedovoljne obuke: Optimiziranje samo za dovršive mutacije ostavlja prozor za promjene i odbijanje politika krhkim.
• Izbjegavanje PII podataka: Sintetički upiti koji ponovno uvode stvarna CI ili korisnička imena nakon plitkog čišćenja.

Praktična informacija

Koristite petlje u stilu AutoSynthData - ili ekvivalentan obrazac sinteze iz kvarova ako ServiceNow CoreAI cjevovod nije dostupan u vašem zakupu - za umnožavanje teških, provjerljivih ITSM slučajeva iz dijagnosticiranih praznina. Sanirajte u kartice mogućnosti, pristupite s teškoćom i pozitivnom/negativnom provjerom, pročistite PII i uzorke koje pregledaju ljudi prije SFT-a. Mjerite pokrivenost klasom kvara, točno podudaranje zadržavanja i stopu regresije. Citirajte ČLANAK TVRĐENJE Podaci o teretani samo kao vanjski istraživački kontekst. Podaci o sintezi su gorivo za kurikulum, a ne jamstvo: revidirajte uzorke, držite paket zamrznut radi pravedne usporedbe i nikada ne slati samo na temelju rezultata o teretani.

Često postavljana pitanja

Što je AutoSynthData i na koji problem cilja?

AutoSynthData je ServiceNow CoreAI / ServiceNow-AI cjevovod, koji je opisao Esakkivel Esakkiraja, a koji spaja neuspjehe ciljnog agenta s uspjesima jačeg učitelja u validirane sintetičke zadatke obuke za poslovna okruženja. Fokusira se na kompetencije u okruženju - lokalne politike, sheme, alate i stanje - umjesto na široko opće znanje. Poanta je umnožiti težak, provjerljiv rad kako bi nadzirano fino podešavanje moglo zakrpati praznine specifične za okruženje umjesto ponavljanja iste pokvarene karte.

Zašto se kompetencija za okoliš razlikuje od široke modelne sposobnosti?

Agenti poduzeća često se spotiču jer je samo okruženje specifično: pravila o ulaznicama, sheme, ugovori o alatima, baze podataka s početnim postavkama i tijekovi rada među sustavima. Model koji izgleda dobro na otvorenim testovima i dalje se može zamrznuti u prozoru promjena, CMDB odnosu ili verifikatoru koji pregledava konačno stanje. Široke mogućnosti nisu isto što i poznavanje kako se vaši sustavi, pravila i stanje podataka ponašaju pod prijelazima određenim pravilima.

Koji je praktični oblik zadatka koji AutoSynthData koristi?

Izvodljiv oblik je zadatak jednak specifikaciji sustava, korisničkom upitu i verifikatoru. Specifikacija sustava sadrži ograničenja, politike i početno stanje kao što su početne vrijednosti baze podataka i članci znanja. Korisnički upiti se ocjenjuju prema izvedivosti, realizmu i težini. Verifikatori se idealno oslanjaju na provjere ishoda temeljene na SQL-u ili stanju kako bi ocjenjivali svijet nakon što agent djeluje, a ne samo točan put tokena koji je prošao.

Kako pročišćene kartice sa specifikacijama mogućnosti sprječavaju prekomjerno prilagođavanje?

Dijagnostika uspoređuje gdje cilj ne uspije, a učitelj uspije, a zatim te slučajeve destilira u pročišćene kartice sa specifikacijama sposobnosti. Kartica bilježi oblik sposobnosti, alata ili tijeka rada, kontrast neuspjeha/uspjeha, potrebna svojstva konačnog stanja i dimenzije koje se mogu mijenjati. Generator nikada ne vidi izvorne upute, entitete, putanje ili detalje verifikatora - samo kartice - tako da novi zadaci pritišću jezgru bez parafraziranja naučene epizode.

Koje su faze Cilj i Množenje u cjevovodu?

Ciljana faza koncentrira se na provjerene uzorke oko praznina - zadatke s najvišim signalom blizu mjesta gdje slabi agent pukne. Faza množenja stvara nove varijante prihvaćenih ciljeva. Umnoženi uzorci ne mogu posijati daljnje runde množenja, što kontrolira odstupanje od imenovane sposobnosti. Nakon nadziranog finog podešavanja, ponovna evaluacija pomiče kurikulum prema preostalim prazninama kao pokretnoj granici, a ne statičnom odlagalištu.

Kako kontrola kvalitete na razini uzorka održava sintetičke zadatke pouzdanima?

Filtar težine rješavača favorizira zadatke koje cilj rješava u najviše jednom od tri pokušaja, dok nastavnik uspije u barem dva od tri. Pozitivna verifikacija treba referentnu putanju da bi prošla; negativna verifikacija treba mutirane pogrešne ishode da bi propala. Petlja kritike i popravka s ograničenjem ponovnog pokušaja pokušava popraviti gotovo promašaje, a meta-pregled na razini serije provjerava pokrivenost, raznolikost, redundanciju i neuspješne ciljeve u cijelom skupu.

Koju arhitekturu AutoSynthData koristi u svim poslovnim domenama?

Spaja dijeljeni kontroler s adapterom za okruženje. Kontroler pokreće dijagnozu, kardiranje, generiranje, demonstracije za nastavnike, provjeru kvalitete i skupni pregled. Adapter povezuje te korake u konkretni sandbox - alate, stanje, politike i verifikatore - tako da ista kontrolna petlja može ukazivati ​​na različite domene bez prepisivanja logike kurikuluma od nule.

Što je EnterpriseOps Gym u ovom istraživačkom kontekstu?

EnterpriseOps Gym je velika klupa za agente poduzeća koja se koristi kao platforma za testiranje opterećenja, s oko 1150 zadataka koje su odabrali stručnjaci u 8 domena, otprilike 512 alata, oko 164 tablice baze podataka, kontejneriziranim izvršavanjem, provjerom ishoda temeljenom na SQL-u, operacijama upravljanim politikama, hibridnim scenarijima i dugoročnim statičkim trajektorijama. AutoSynthData se ne predstavlja kao izumitelj te teretane; teretana pokazuje petlju sinteze u akciji.

Koji se rezultati koje je prijavio autor pojavljuju za hibridne i ITSM postavke?

Na EnterpriseOps Gymu, Hybrid s Gemma-4-26B-A4B-it kao ciljem i Qwen3.8-27B kao nastavnikom proizveo je oko 2000 uzoraka u otprilike 18 sati, s prosječnim Pass@1 porastom od oko 7,2 postotna boda i uspjehom verifikatora koji se pomaknuo sa 63,01% na 68,55%. ITSM s DeepSeek-V4.1-Flash kao nastavnikom pomaknuo je prosječni Pass@1 s 18,77% na 27,18% na oko 1994 uzorka tijekom duljeg razdoblja. Tretirajte ih kao istražene signale na specifičnim parovima, a ne kao univerzalno jamstvo proizvodnje.

Koje pogreške timovi trebaju izbjegavati pri korištenju petlji sintetiziranja iz grešaka?

Ne tretirajte sintetičke podatke kao besplatnu istinu ili preskačite ljudski pregled i negativnu verifikaciju. Izbjegavajte unošenje originalnih ID-ova ulaznica ili tragova učitelja u generator, dopuštanje umnoženih uzoraka da posijaju daljnje runde ili samostalno promoviranje na Gym Pass@1 dok se promet u zastoju ili sjeni pogoršava. Također, pripazite na slabe učitelje ispod razine uspjeha, nejasne rubrike chata umjesto provjera stanja, slučajeve odbijanja zbog nedovoljne obučenosti i bijeg PII-a nakon plitkog čišćenja.

Reference

1. Zagrljaj lica — AutoSynthData — huggingface.co
2. EnterpriseOps teretana — enterpriseops-gym.github.io
3. arXiv — arxiv.org
4. GitHub — EnterpriseOps-Teretana — github.com