Conectarea OpenAI sau Anthropic în produsul dvs.: alegerea, solicitarea și contextul pentru care nimeni nu bugetează

Care furnizor - OpenAI sau Anthropic - este întrebat în aproape fiecare apel de lansare ca și cum ar fi cea mai mare decizie din proiect. Este rar. Ambele APIs fac ieșiri structurate, ambele fac apeluri de instrumente/funcții, ambele fluxuri și diferențele care contează - dimensiunea ferestrei de context, prețul pe token, cât de strict urmează un model o schemă, modul în care se comportă pe instrucțiuni ambigue - sunt decise prin testarea solicitărilor dvs. reale în raport cu datele reale, nu de un clasament de referință.

Deciziile care modelează de fapt construcția au loc după aceea: modul în care promptul este scris și versionat ca cod, în loc să fie modificat într-un loc de joacă și uitat, cum un răspuns este validat înainte ca aplicația dvs. să aibă încredere în el și cum gestionați contextul odată ce o conversație, un document sau un lot de lucru depășește ceea ce se potrivește într-un apel.

1. OpenAI vs Anthropic este rareori decizia care contează

Aleg în funcție de job, nu de loialitatea mărcii: care suport de ieșire structurată este mai strict pentru o conductă cu o schemă grea, ce fereastră de context trebuie de fapt să păstreze documentul în cauză, ce nivel de preț supraviețuiește volumului de apeluri așteptat și - subevaluat - care comportament de refuz se potrivește unui caz de utilizare care se află lângă un subiect sensibil. Doi furnizori diferiți pot „lucra” într-o demonstrație și pot diverge brusc odată ce utilizatorii reali trimit cazuri reale.

Mențin furnizorul în spatele unui adaptor subțire în baza de cod în mod specific, astfel încât această decizie să fie reversibilă. Un client care cere să schimbe furnizorul în șase luni din cauza unei modificări a prețului, a unei limite de tarif sau a unei deprecieri de model ar trebui să fie o modificare a configurației și o rundă de teste de regresie prompte, nu o rescrire.

2. Ingineria promptă este o specificație, testată ca una

Un prompt care trăiește în capul unui dezvoltator, este modificat într-un loc de joacă de chat și expediat odată ce „arata corect” pe trei exemple este o răspundere în momentul în care traficul crește peste aceste trei exemple. Scriu solicitări ca fișiere versionate, cu un mic set de test de intrări reale și forme așteptate de ieșire și le testez regresie în același mod în care aș face o funcție - mai ales înainte de a schimba modelele sau furnizorii.

Ieșirile structurate și apelurile de instrumente/funcții sunt cele care transformă un prompt în ceva testabil: în loc să notez textul liber cu ochiul, verific dacă o sarcină utilă JSON se potrivește cu o schemă și că valorile din aceasta satisfac regulile de afaceri. Acesta este rezultatul real al „ingineriei prompte” pentru un proiect real, nu un paragraf inteligent.

3. Managementul contextului: partea pentru care nimeni nu o bugetează

Fiecare integrare LLM întâlnește în cele din urmă o conversație, un document sau o sarcină în lot mai mare decât fereastra de context, iar ceea ce se întâmplă în continuare decide dacă caracteristica rămâne ieftină și precisă sau devine lentă și începe să halucineze. Adăugarea naivă a fiecărui mesaj la istorie funcționează pentru o demonstrație și apoi se întrerupe în liniște: costurile cresc pe viraj, latența crește odată cu el și, după un punct, modelul începe să piardă evidența întrebării reale îngropate sub viraje vechi.

Remedierea este o combinație de tăiere a turelor vechi, rezumarea a ceea ce a apărut înainte în loc să-l relueze și preluarea numai a secțiunii relevante prin încorporare și o bază de date vectorială atunci când sursa este un document, mai degrabă decât o conversație. Intrarea multimodală - o imagine sau o pagină PDF - este doar un alt tip de context de gestionat în același mod: contează în aceeași fereastră și are nevoie de aceeași disciplină cu privire la ceea ce trebuie de fapt acolo.

Concluzie: apelul API este cea mai mică parte a integrării

Conectarea unui LLM într-un produs nu se referă în mare parte la apelul la model - este adaptorul care face ca furnizorul să fie schimbat, promptul tratat ca o specificație testată, schema care prinde un răspuns malformat înainte de a ajunge la un utilizator și strategia de context care continuă să funcționeze după prima conversație demonstrativă ușoară. Construiesc toate acestea în jurul oricărui dintre OpenAI sau Anthropic se potrivește cu adevărat locului de muncă. Scrieți prin formular ce doriți ca LLM să facă în produsul dvs. și vă voi spune de ce are nevoie de fapt integrarea.