OpenAI oder Anthropic ins Produkt verdrahten: die Wahl, der Prompt und der Kontext, den niemand einplant

„Welcher Anbieter - OpenAI oder Anthropic“ wird in fast jedem Kickoff-Call gefragt, als wäre es die größte Entscheidung des Projekts. Ist es selten. Beide APIs können strukturierte Ausgaben, beide können Tool-/Function-Calling, beide streamen, und die Unterschiede, die wirklich zählen - Größe des Kontextfensters, Preis pro Token, wie strikt ein Modell einem Schema folgt, wie es sich bei mehrdeutigen Anweisungen verhält - werden entschieden, indem man die eigenen Prompts an den eigenen Daten testet, nicht durch eine Benchmark-Bestenliste.

Die Entscheidungen, die den Build wirklich prägen, kommen danach: wie der Prompt geschrieben und wie Code versioniert wird, statt im Playground herumgeschraubt und vergessen zu werden, wie eine Antwort validiert wird, bevor Ihre App ihr vertraut, und wie Sie Kontext verwalten, sobald ein Gespräch, ein Dokument oder ein Batch-Job das sprengt, was in einen Aufruf passt.

1. OpenAI vs. Anthropic ist selten die Entscheidung, die zählt

Ich wähle nach der Aufgabe, nicht nach Markentreue: wessen Unterstützung für strukturierte Ausgaben strenger ist für eine schemalastige Pipeline, wessen Kontextfenster das fragliche Dokument tatsächlich fassen muss, welche Preisstufe das erwartete Aufrufvolumen übersteht, und - unterschätzt - wessen Ablehnungsverhalten zu einem Anwendungsfall passt, der nahe an einem sensiblen Thema liegt. Zwei verschiedene Anbieter können beide in einer Demo „funktionieren“ und stark auseinandergehen, sobald echte Nutzer echte Grenzfälle schicken.

Ich halte den Anbieter hinter einem einzigen dünnen Adapter im Code, genau damit diese Entscheidung umkehrbar bleibt. Ein Kunde, der nach sechs Monaten wegen einer Preisänderung, eines Rate-Limits oder einer Modell-Deprecation den Anbieter wechseln will, sollte eine Konfigänderung und eine Runde Prompt-Regressionstests bekommen, kein Rewrite.

2. Prompt Engineering ist eine Spezifikation, getestet wie eine

Ein Prompt, der im Kopf einer einzelnen Entwicklerin lebt, im Chat-Playground herumjustiert wird und live geht, sobald er an drei Beispielen „richtig aussieht“, ist eine Haftung, sobald der Traffic über diese drei Beispiele hinauswächst. Ich schreibe Prompts als versionierte Dateien, mit einem kleinen Testset echter Eingaben und erwarteter Ausgabeformen, und regressionstest sie genauso wie eine Funktion - besonders vor einem Modell- oder Anbieterwechsel.

Strukturierte Ausgaben und Tool-/Function-Calling sind das, was einen Prompt überhaupt testbar macht: statt Freitext nach Augenmaß zu bewerten, prüfe ich, ob eine JSON-Payload einem Schema entspricht und ob die Werte darin die Geschäftsregeln erfüllen. Das ist das eigentliche Ergebnis von „Prompt Engineering“ in einem echten Projekt, kein cleverer Absatz.

3. Kontextverwaltung: der Teil, den niemand einplant

Jede LLM-Integration trifft irgendwann auf ein Gespräch, ein Dokument oder einen Batch-Job, größer als das Kontextfenster, und was dann passiert, entscheidet, ob das Feature günstig und präzise bleibt oder langsam wird und anfängt zu halluzinieren. Naiv jede Nachricht an die History anzuhängen, funktioniert in der Demo und bricht dann still: die Kosten steigen mit jeder Runde, die Latenz steigt mit, und ab einem Punkt verliert das Modell die eigentliche Frage unter alten Runden aus den Augen.

Die Lösung ist eine Mischung aus dem Kürzen alter Runden, dem Zusammenfassen dessen, was vorher war, statt es zu wiederholen, und dem Abrufen nur des relevanten Ausschnitts über Embeddings und eine Vektordatenbank, wenn die Quelle ein Dokument statt ein Gespräch ist. Multimodaler Input - ein Bild oder eine PDF-Seite - ist einfach eine weitere Art von Kontext, die genauso verwaltet werden muss: er zählt gegen dasselbe Fenster und braucht dieselbe Disziplin darüber, was wirklich dort sein muss.

Fazit: der API-Aufruf ist der kleinste Teil der Integration

Eine LLM in ein Produkt zu verdrahten, geht meist nicht um den Modellaufruf - es ist der Adapter, der den Anbieter austauschbar macht, der Prompt, der als getestete Spezifikation behandelt wird, das Schema, das eine fehlerhafte Antwort abfängt, bevor sie einen Nutzer erreicht, und die Kontextstrategie, die auch nach dem ersten leichten Demo-Gespräch weiterfunktioniert. Ich baue das alles um das, was von OpenAI oder Anthropic wirklich zur Aufgabe passt. Schreiben Sie über das Formular, was die LLM in Ihrem Produkt tun soll, und ich sage Ihnen, was die Integration tatsächlich braucht.