Un demo arată că un agent poate duce la capăt o sarcină o singură dată. Aceste zece întrebări verifică dacă furnizorul poate rula agentul de zece mii de ori, fără supraveghere, și dacă agentul se oprește când greșește. Fiecare vine cu răspunsul care ar trebui să vă îngrijoreze.
Construim agenți care execută fluxuri de lucru cu mai mulți pași în sistemele clienților, așa că avem o părere despre ce ar trebui să întrebe un cumpărător. Aceasta este poziția noastră, nu un studiu de piață. Nu afirmăm nimic despre ce fac alți furnizori. Spunem ce am vrea să ni se răspundă dacă am sta de partea voastră a mesei.
Pornim de la o diferență. Un demo cu un agent rezolvă o sarcină o singură dată, pe un ecran curat, sub ochii unui om. Un agent în producție o rezolvă de zece mii de ori, pe date reale, fără ca cineva să urmărească, și trebuie ori să aibă dreptate, ori să știe că nu are. Fiecare întrebare de mai jos verifică distanța dintre cele două situații.
1. Ce poate atinge agentul, exact?
Răspunsul care îngrijorează: „Folosește un cont de serviciu” cu acces larg sau „moștenește drepturile celui care l-a configurat”.
Noi dăm agenților credențiale cu acces limitat, niciodată o cheie universală. Dacă furnizorul nu poate enumera, sistem cu sistem, ce poate citi și ce poate scrie agentul, nimeni nu poate spune până unde ajunge o greșeală.
2. Pot vedea fiecare acțiune făcută și motivul ei?
Răspunsul care îngrijorează: „Păstrăm rezumate” sau „log-urile sunt disponibile la cerere”.
Noi înregistrăm intrările, raționamentul, ieșirile și efectele secundare, iar oricine are rolul potrivit le poate interoga. Cereți să vedeți log-ul unei rulări reale. Trebuie să puteți reconstitui o decizie după luni de zile, fără să sunați furnizorul.
3. Unde aprobă un om și cine a ales punctul acela?
Răspunsul care îngrijorează: „Complet autonom din prima zi” sau, invers, „un om verifică tot, pentru totdeauna”.
Ambele înseamnă că nimeni n-a proiectat bucla. Poziția noastră: punctul de control este o funcție a sistemului, nu un cost de evitat. Noi stabilim unde stă omul și mutăm punctul pe măsură ce sistemul își dovedește fiabilitatea, nu înainte. Întrebați ce dovezi ar justifica mutarea lui.
4. Care pași sunt cod și care sunt model?
Răspunsul care îngrijorează: „Modelul se ocupă de tot fluxul.”
Ne ținem de o regulă simplă: dacă un pas poate fi cod, este cod. Modelul decide acolo unde e nevoie de judecată, sistemul face aritmetica. Un furnizor care lasă un model să facă sumele de reconciliere a ales varianta mai greu de verificat.
5. Cum îl opresc și cum anulez ce a făcut?
Răspunsul care îngrijorează: „Deschideți un tichet la inginerii noștri.”
Un agent trebuie să poată fi oprit sau anulat fără intervenția unor ingineri. Dacă oprirea cere furnizorul, într-o noapte proastă așteptați la coada de suport a altcuiva, iar agentul continuă să acționeze.
6. Ce se întâmplă când atinge o limită de cost sau de latență?
Răspunsul care îngrijorează: „Nu a fost o problemă.”
Noi impunem bugete de cost și de latență pentru fiecare sarcină, cu degradare controlată când bugetul este atins. Întrebați ce face agentul la limită: se oprește, predă sarcina unui om sau trece pe o cale mai simplă. Dacă nu primiți niciun răspuns, noi am citi asta ca semn că nimeni n-a pus o limită.
7. Cine răspunde pentru o decizie luată de agent?
Răspunsul care îngrijorează: „Sistemul decide, iar modelul este foarte precis.”
Nu punem AI în decizii în care un om anume, cu nume, nu poate rămâne responsabil. Dacă furnizorul nu poate spune cine răspunde de un rezultat de partea voastră, responsabilitatea va ajunge la voi din oficiu, fără să fi fost convenită.
8. De unde știe agentul că greșește?
Răspunsul care îngrijorează: „Rareori greșește.”
În producție, agentul trebuie ori să aibă dreptate, ori să știe că nu are. Întrebați ce face cu un caz pe care nu îl poate rezolva: îl escaladează cu un transfer complet sau ghicește? Un furnizor care citează acuratețea, dar nu poate descrie ce se întâmplă când agentul greșește, nu a construit un traseu pentru erori.
9. Ce rămâne al nostru când plecați?
Răspunsul care îngrijorează: „Veți avea nevoie de platforma noastră ca să funcționeze.”
Standardul nostru: fiecare sistem poate fi operat de echipa voastră după ce plecăm, iar fiecare decizie de arhitectură este documentată. Cereți de la început documentul de arhitectură și procedurile de operare. Întrebați dacă le păstrați în cazul în care opriți colaborarea. Când facem analiza inițială, documentul de arhitectură și planul cu costuri rămân ale voastre, indiferent dacă mergeți mai departe sau nu.
10. Cu cine vorbesc, de fapt?
Răspunsul care îngrijorează: „Account manager-ul vostru va colabora cu echipa de livrare.”
Credem că trebuie să cunoașteți oamenii care vă construiesc sistemul și să vorbiți direct cu ei. Același test se aplică înainte de semnare. Întrebați cine răspunde la primul apel și dacă poate răspunde la o întrebare tehnică sau doar o transmite mai departe. La noi, prima discuție este cu fondatorul, nu cu o echipă de vânzări, iar un inginer se alătură dacă întrebarea este tehnică.
Cum folosiți lista
Puneți întrebările în scris și cereți răspunsuri în scris. Răspunsurile vagi sunt o informație. La fel este un furnizor care refuză o cerere sau spune că nu se potrivește. Preferăm să auzim asta decât un da pe care nu îl putem susține.
Câteva dintre aceste răspunsuri nu costă nimic pe cel care le dă corect și costă mult pe cel care le falsifică. Permisiunile, log-urile, punctele de control și un buton de oprire se pot inspecta pe un ecran, într-un mediu de test, înainte de orice contract. Cereți să le vedeți funcționând, nu descrise.
Un ultim punct, despre momentul întrebărilor. Nu așteptați contractul ca să vorbiți despre miză. Cât vă costă o rulare proastă, ce nu are voie agentul să atingă și cine decide sunt întrebări pe care furnizorul ar trebui să vi le pună el primul. Dacă discuția nu ajunge niciodată la ele, furnizorul vinde un demo.
Dacă vreți să vă verificați lista de furnizori, sau pe a noastră, cu aceste întrebări, citiți pagina serviciului Agenți AI și automatizare, apoi folosiți Începeți un proiect ca să răspundeți la șase întrebări despre munca voastră. Vă răspundem în două zile lucrătoare.
Articol redactat de sistemul editorial SKYLOGIQ pe baza paginilor firmei și verificat de un model AI care controlează faptele, cu o coadă de verificare umană pentru tot ce refuză editorul. Cum se face Briefing-ul
Versiunea în română e adaptată automat după originalul în engleză și verificată de un al doilea model AI. Originalul în engleză