Abruf-unterstützte Generierung Retrieval-Augmented Generation
Abruf-unterstützte Generierung, oder RAG, findet zur Laufzeit externe Belege. Sie gibt diese Belege einem Modell, bevor es schreibt.
↗Erfahren Sie, wie KI Anweisungen erhält, Fakten findet, Werkzeuge verwendet, Antworten gibt und überprüft wird.
Einen Begriff öffnen für eine einfache Bedeutung, ein Beispiel, wann er verwendet wird, wie offiziell er ist und seinen Codenamen.
Abruf-unterstützte Generierung, oder RAG, findet zur Laufzeit externe Belege. Sie gibt diese Belege einem Modell, bevor es schreibt.
↗Die Abrufrelevanz zeigt, wie gut ein Suchergebnis oder eine Antwort den angegebenen Bedarf des Benutzers unter klaren Bewertungsregeln erfüllt.
↗Dieses Lernpaket trennt zwei Ideen für KI-Systeme. Ein Agent arbeitet Schritt für Schritt auf ein Ziel hin. Werkzeugaufrufe ermöglichen einem Modell, eine begrenzte externe Aktion anzufordern. Das Paket ist kein einheitliches Agentenprotokoll.
↗Eine Agent-Schleife ist ein kontrollierter Kreislauf: Der Agent prüft den Zustand, handelt mit einem erlaubten Werkzeug, liest das Ergebnis und stoppt dann oder macht weiter.
↗Agent2Agent (A2A) ist ein offenes, versioniertes Protokoll für KI-Agenten, um Fähigkeiten zu entdecken, Nachrichten auszutauschen und Aufgaben zu verwalten. Jede Implementierung muss eine unterstützte Protokollversion benennen.
↗Ein Agenten-Sandbox ist ein begrenzter Ort, an dem ein KI-Agent Code oder Tools ausführen kann. Er trennt die Aufgabe vom Rest des Computers, aber der Schutz hängt von seinem Design ab.
↗Eine Agent-Fertigkeit lehrt eine wiederholbare Aufgabe. Sie enthält klare Regeln und kann Skripte oder Material enthalten.
↗Die Agentenkoordination ist der Plan, der KI-Agenten, Werkzeuge, Übergaben, geteilte Informationen und Stopregelungen koordiniert. Sie hält eine mehrstufige Aufgabe unter Kontrolle.
↗Der Agentenspeicher ist gespeicherte Information, die ein KI-Agent nach der aktuellen Nachricht verwenden kann. Klare Regeln legen fest, was gespeichert wird, wie lange und wie es sich ändern kann.
↗Ausgabetoken pro Sekunde misst, wie schnell ein Modell Ausgabetoken erstellt, nachdem das Decodieren begonnen hat. Der Bericht muss den Tokenizer, den Zeitraum, die Gruppierungsmethode und die Anzahl der gleichzeitig laufenden Anfragen nennen.
↗Computernutzung ermöglicht einem Modell, einen Bildschirm anzuzeigen und Aktionen wie Klicken, Tippen oder Scrollen auszuführen. Ein Anwendungs-Harness überprüft und führt jede erlaubte Aktion aus.
↗Context Engineering wählt aus und ordnet, was ein Modell erhält. Das können Fakten, Anweisungen, Tools, Zustände und Beweise sein.
↗Dokumentaufteilung teilt Inhalte in kleine Teile, die ein Suchsystem finden kann. Klare Regeln legen die Größe jedes Teils, die Überlappung und den Stoppunkt vor der Indizierung fest.
↗Ein Embedding ist eine Liste von Zahlen, die ein Modell für ein Element lernt. Eine Distanz- oder Ähnlichkeitsregel kann dann Muster zwischen Elementen in diesem Zahlraum vergleichen.
↗Dieses Lernpaket verbindet zwei Abruf-Ideen. Ein Embedding verwandelt Inhalte in Zahlenvektoren. Eine Vektor-Datenbank speichert, indiziert, filtert und durchsucht diese Vektoren. Das Paket ist kein standardtypischer Datenspeicher.
↗Ein Prompt ist alles, was man einem Modell für eine einzige Aufgabe gibt. Es kann Anweisungen, Kontext, Beispiele und Daten enthalten.
↗Feinabstimmung trainiert ein fertiges Modell weiter mit sorgfältig ausgewählten Beispielen aus einer Aufgabe oder einem Bereich. Dies verändert die gelernten Gewichte und das Verhalten des Modells.
↗Groundedness fragt, wie gut die Behauptungen in einer Antwort durch die dem Modell gegebenen Quellen gestützt werden. Es ist ein Testbereich, kein weltweiter Standardwert.
↗Dieses Lernpaket vergleicht ein Versagen mit einer Möglichkeit, es zu reduzieren. Halluzination ist eine Modellausgabe ohne Unterstützung. Grounding verbindet Behauptungen mit Beweisen, die gegeben, gefunden oder überprüft wurden. Das Paket ist keine einheitliche Qualitätskennzahl.
↗Harness Engineering baut das Setup um Programmieragenten herum auf. Es umfasst das Repository, Anweisungen, Werkzeuge, Sicherheit, Umgebung und Feedback.
↗Hybride Suche verwendet sowohl die exakte Wortsuche als auch die bedeutungsbasierte Vektorsuche für eine Frage. Anschließend werden beide Ergebnismengen zusammengeführt oder neu eingeordnet.
↗Dieses Lernpaket behandelt Teile einer KI-App: Kontext, Modelle, Werkzeuge, Daten, Überprüfungen, Regeln, Tests und Rückfalloptionen. Es ist kein standardmäßiger Begriff.
↗Ein KI-Benchmark ist eine festgelegte und schriftlich niedergelegte Menge von Aufgaben, Daten, Messgrößen und Testbedingungen. Er ermöglicht es Menschen, Systeme nach denselben Regeln zu vergleichen.
↗KI-Evaluation ist eine wiederholbare Methode, um ein KI-System zu testen. Sie verwendet klare Aufgaben, Testdaten, Bewertungsregeln und Sicherheitsgrenzen.
↗KI-Verankerung verbindet erzeugte Behauptungen oder Handlungen mit Beweisen, gefundenen Quellen oder vertrauenswürdigen Systemdaten. Methoden und Bewertungen unterscheiden sich. Es gibt kein einheitliches Verankerungsprotokoll.
↗KI-Halluzination ist ein gebräuchlicher Name für eine Antwort mit ungestützten oder falschen Behauptungen. NIST verwendet den genaueren Risikobegriff Konfabulation.
↗KI-Schutzmaßnahme ist ein allgemeiner Branchenbegriff für Sicherheitskontrollen. Diese Kontrollen können unsichere KI-Eingaben, -Ausgaben oder -Handlungen finden, einschränken, blockieren, ändern oder kennzeichnen. Es handelt sich nicht um ein standardisiertes Werkzeug.
↗KI-Verfolgung zeichnet die verknüpften Schritte eines KI-Durchlaufs auf, wie Modellaufrufe, Suche, Werkzeugnutzung und Agentenarbeit. Die Aufzeichnung hilft den Menschen, den Durchlauf von Anfang bis Ende nachzuvollziehen.
↗Ein Kontextfenster ist die Anzahl der Tokens, die eine Modellabfrage sowohl für Eingabe als auch erzeugte Ausgabe halten kann. Die genauen Zählregeln hängen vom Modell und der API ab.
↗Kontextkompaktierung ersetzt ältere Gesprächszustände durch ein kleineres Element, damit eine lange Aufgabe fortgesetzt werden kann. Das Element ist möglicherweise keine lesbare Zusammenfassung, und Details können verloren gehen.
↗Dieses Lernpaket verbindet drei verschiedene Kontrollmethoden. Leitplanken begrenzen das Verhalten oder leiten es zur weiteren Überprüfung weiter. Menschen überprüfen Fälle mit hoher Auswirkung. Bewertungen messen die Qualität bei realistischen Aufgaben. Das Paket ist keine standardmäßige Sicherheitsmethode.
↗Mensch in der Schleife ist ein geplanter Überprüfungsschritt. Eine namentlich benannte Person erhält die Fakten, die Befugnis und die Pflicht zu handeln. Sie kann KI-unterstützte Arbeit ändern, genehmigen, ablehnen oder stoppen.
↗Das Modell-Kontextprotokoll verbindet KI-Anwendungen mit externen Werkzeugen und Daten. Hosts verwenden Clients, um mit Servern zu kommunizieren, die Werkzeuge, Ressourcen und Eingabeaufforderungen bereitstellen. Es ist offen, und beide Seiten stimmen zunächst über verfügbare Fähigkeiten überein.
↗Modell-Routing wählt aus, welches Modell oder welcher Modellpfad jede Anfrage bearbeitet. Die Auswahl erfolgt nach klaren Regeln für Qualität, Fähigkeit, Kosten, Verzögerung oder Sicherheitsrichtlinien.
↗Ein Modelltoken ist eine Einheit eines bestimmten Tokenizers. Der Tokenizer wandelt Text oder Bytes in Nummern-IDs für ein Modell um. Ein Token ist nicht immer ein Wort oder ein Zeichen. Seine Aufteilung und Zählung hängen von der Version des Tokenizers ab.
↗Inferenz ist, wenn ein trainiertes Modell neue Eingaben verwendet, um eine Vorhersage zu treffen, eine Punktzahl zu vergeben oder eine Antwort zu erstellen. Seine gelernten Gewichte ändern sich nicht.
↗Ein Modellbewerter verwendet ein KI-Modell, um eine Ausgabe mit einer geschriebenen Regel zu bewerten oder zu kennzeichnen. Es kann falsch liegen, daher müssen Menschen es mit bekannten Beispielen überprüfen.
↗Modellquantisierung speichert Gewichte oder Aktivierungen mit weniger genauen Zahlenformaten. Dies kann den Speicherverbrauch, den Datenverkehr und die Berechnungskosten senken.
↗Multimodale KI kann mehrere Datentypen verwenden oder erstellen. Dazu können Text, Bilder, Audio, Video oder Sensordaten gehören.
↗Reranking verwendet ein zweites Modell, um die Suchergebnisse erneut zu bewerten. Es vergleicht die Frage und jedes gefundene Dokument genauer und ändert dann ihre Reihenfolge.
↗reasoning.effort ist eine OpenAI-API-Einstellung dafür, wie viel Modellarbeit eine Anfrage vor der Beantwortung verwenden sollte. Unterstützte Stufen und Standardwerte variieren je nach Modell, und höherer Aufwand garantiert keine korrekte Antwort.
↗Prompt-Caching ermöglicht einem Modellservice, Arbeit für denselben Anfang einer Eingabe wiederzuverwenden. Es kann die wiederholte Verarbeitung reduzieren, aber die alte Antwort wird nicht wiederverwendet.
↗Prompt-Injektion ist schädlicher oder unerwarteter Text. Sie versucht, eine KI dazu zu bringen, die vertrauenswürdigen Regeln der App zu ignorieren und anderen Anweisungen zu folgen.
↗Die Versionierung von Prompts behält benannte, feste Revisionen eines Produktions-Prompts. Teams können eine genaue Revision überprüfen, testen, freigeben und wiederherstellen.
↗ReAct bedeutet Reason und Act. Ein Agent handelt, liest das Ergebnis und nutzt diese Tatsache für seinen nächsten Schritt. Es ist nicht React.
↗Ein Sprachmodell ist ein statistisches Modell, das Folgen vorhersagt und erzeugt. Es kann oft Anweisungen für Text und andere Arten von Daten befolgen, die man Modalitäten nennt.
↗Stichprobenahme bedeutet, das nächste Textstück (Token) aus einer Liste möglicher Optionen und deren Wahrscheinlichkeiten auszuwählen. Das Modell wählt nicht immer die wahrscheinlichste aus.
↗Eine Streaming-Antwort kommt in kleinen Ereignissen oder Stücken. Nützliche Ausgaben können erscheinen, bevor der Auftrag fertig ist.
↗Strukturierte Ausgabe zwingt ein Modell, einem maschinenlesbaren Schema zu folgen, anstatt irgendeine Form von Prosa zu schreiben.
↗Ein System-Prompt ist eine Gruppe von Anweisungen mit hoher Priorität. Er legt Rolle, Grenzen, Werkzeuge und Regeln für Antworten eines KI-Produkts fest.
↗Temperatur ist eine Einstellung, die vor dem Abtasten verwendet wird. Sie verändert, ob Token-Wahrscheinlichkeiten um wenige Optionen konzentriert oder über mehr Optionen verteilt sind.
↗Dieses Lernpaket verbindet zwei verschiedene Modelllaufzeit-Ideen. Ein Token ist ein modell-spezifisches Eingabe- oder Ausgabestück. Ein Kontextfenster begrenzt die Sequenz, die für eine Generierung verfügbar ist. Das Paket ist keine standardisierte Metrik.
↗Top-p-Sampling sortiert mögliche Tokens nach Wahrscheinlichkeit und behält dann die kleinste Gruppe, deren Gesamtschance p erreicht. Das nächste Token wird aus dieser Gruppe ausgewählt.
↗Ein Transformer ist eine Art von neuronalen Netz. Er verwendet Attention, um zu lernen, wie Teile einer Sequenz zusammenhängen, und kann gleichzeitig an vielen Positionen arbeiten.
↗Ein Sub-Agent ist ein separater Agent mit einer klaren, begrenzten Aufgabe. Er hat seinen eigenen Kontext und ein Ergebnis zurückzugeben.
↗Der Unterhaltungsverlauf ist ein früherer Chat und nützliche Zustände, die in spätere Züge einfließen. Er wird oft gefiltert oder zusammengefasst.
↗Eine Vektor-Datenbank ist ein Branchenbegriff für einen Datenspeicher, der Vektoren speichert und nach ähnlichen sucht. Sie filtert oft andere Details und nutzt schnelle ungefähre Indizes, aber es gibt keinen einzigen universellen Standard.
↗Vibe Coding entwickelt Software durch Konversation. Eine Person setzt und überprüft das Ziel, während ein KI-Agent einen Großteil des Codes schreibt.
↗Werkzeugaufruf ermöglicht es einem Modell, ein benanntes externes Werkzeug in einem festgelegten Format anzufordern. Die Anfrage enthält Argumente. Die Gastgeber-App entscheidet, ob und wie sie ausgeführt wird.
↗Wissensdistillation trainiert ein kleines Studentenmodell, um nützliche Signale von einem größeren Lehrermodell zu kopieren. Das Training verwendet oft sowohl Lehrerwerte als auch bekannte korrekte Labels.
↗Die Zeit bis zum ersten Token (TTFT) misst eine frühe Wartezeit. Sie beginnt an einem klar benannten Anforderungspunkt. Sie endet, wenn der Client oder Server das erste erzeugte Token sieht. Nennen Sie immer beide Punkte.
↗Dieses Paket vergleicht zwei KI-Geschwindigkeitsmaße. TTFT ist die Zeit bis zum ersten Token. TPS ist die Anzahl der Tokens, die danach pro Sekunde erzeugt werden. Es ist keine standardisierte Kennzahl.
↗Eine zustandslose Anfrage nutzt nur Daten, die in diesem Aufruf gesendet werden. Sie geht nicht davon aus, dass das Modell frühere Anfragen kennt.
↗