1秒あたりの出力トークン数 Output Tokens per Second
1秒あたりの出力トークン数は、デコード開始後にモデルがどれだけ速く出力トークンを生成するかを測定します。レポートには、トークナイザー、時間範囲、グループ化方法、同時に実行されるリクエスト数を明記する必要があります。
↗AIが指示を受け取り、事実を見つけ、ツールを使用し、答えを出し、チェックされる方法を学びましょう。
簡単な意味、例、使用時期、公式度、コードネームを含む用語を開く
1秒あたりの出力トークン数は、デコード開始後にモデルがどれだけ速く出力トークンを生成するかを測定します。レポートには、トークナイザー、時間範囲、グループ化方法、同時に実行されるリクエスト数を明記する必要があります。
↗Agent2Agent(A2A)は、AIエージェントがスキルを発見し、メッセージを交換し、タスクを管理するためのオープンでバージョン管理されたプロトコルです。各実装はサポートされるプロトコルバージョンを明記する必要があります。
↗この学習バンドルは、AIアプリの構成要素をカバーします:コンテキスト、モデル、ツール、データ、チェック、ルール、テスト、フォールバック。これは標準的な用語ではありません。
↗AIガードレールは、安全性管理の業界全体で使われる広い名称です。これらの管理は、安全でないAIの入力、出力、または行動を検出、制限、ブロック、変更、またはフラグ付けすることができます。一つの標準ツールではありません。
↗AIのグラウンディングは、生成された主張や行動を証拠、発見されたソース、または信頼できるシステムデータに結びつけるものです。方法やスコアは異なります。単一のグラウンディングプロトコルはありません。
↗AIトレーシングは、モデル呼び出し、検索、ツール使用、エージェント作業など、1回のAI実行における関連ステップを記録します。この記録は、人々が最初から最後まで実行を追跡するのに役立ちます。
↗AIの幻覚は、裏付けのない、または間違った主張を含む回答の一般的な名称です。NISTは、より正確なリスク用語として「虚偽記憶(confabulation)」を使用します。
↗AIベンチマークは、固定された文書化されたタスク、データ、測定基準、テスト条件のセットです。同じルールを使ってシステムを比較することができます。
↗AI評価は、AIシステムをテストする再現可能な方法です。明確なタスク、テストデータ、採点ルール、安全制限を使用します。
↗推論.努力は、リクエストが回答する前にモデルがどの程度作業すべきかを設定するOpenAI APIの設定です。サポートされるレベルとデフォルトはモデルによって異なり、努力を多くしても正しい答えが保証されるわけではありません。
↗ReActとはReason and Actの意味です。エージェントは行動し、結果を読み取り、その事実を次のステップに用います。Reactではありません。
↗Top-pサンプリングでは、可能なトークンを確率で並べ、それらの合計確率がpに達する最小のグループを保持します。そのグループから次のトークンを選びます。
↗この学習バンドルは、2つのAIシステムの概念を分けています。エージェントは目標に向かって段階的に動作します。ツール呼び出しでは、モデルが制限された外部アクションを求めることができます。このバンドルは1つの標準的なエージェントプロトコルではありません。
↗エージェントオーケストレーションは、AIエージェント、ツール、タスクの引き渡し、共有情報、停止ルールを調整する計画です。これにより、複数ステップの作業を管理します。
↗エージェントのサンドボックスは、AIエージェントがコードやツールを実行できる制限された場所です。タスクをコンピュータの他の部分から分離しますが、保護の程度は設計に依存します。
↗エージェントスキルは、繰り返し可能な作業の1種類を教えます。集中的なルールを含み、スクリプトやリソースを含む場合があります。
↗エージェントメモリは、AIエージェントが現在のメッセージの後に使用できる保存情報です。保存される内容、保存期間、変更方法については明確なルールがあります。
↗エージェントループは制御されたサイクルです。エージェントは状態を確認し、許可されたツールで行動し、結果を読み取り、その後停止するか続行します。
↗この学習バンドルは、3つの異なる制御方法を結合します。ガードレールは行動を制限するか、より詳細なレビューに回します。人間は影響の大きいケースをチェックします。評価(Evals)は、現実的なタスク上で品質を測定します。このバンドルは、標準的な安全対策の方法ではありません。
↗コンテキストウィンドウとは、1つのモデルリクエストが入力と生成された出力の両方に保持できるトークン数のことです。正確なカウントルールはモデルとAPIによって異なります。
↗コンテキストエンジニアリングはモデルが受け取る内容を選択して順序付けます。これには事実、指示、ツール、状態、証拠などが含まれる場合があります。
↗コンテキスト圧縮は、古い会話状態をより小さいアイテムに置き換え、長いタスクを続行できるようにします。そのアイテムは読める要約でない場合もあり、詳細が失われることがあります。
↗コンピューターの使用により、モデルは画面を見てクリック、入力、スクロールなどのアクションを返すことができます。アプリケーションハーネスは各許可されたアクションをチェックして実行します。
↗サブエージェントは、1つの明確で限られた作業を持つ別のエージェントです。独自のコンテキストを持ち、結果を返します。
↗サンプリングとは、可能な選択肢とその確率のリストから次のテキストピース(トークン)を選ぶことを意味します。モデルは常に最も可能性の高いものを選ぶわけではありません。
↗システムプロンプトは、優先度の高い指示のセットです。AI製品の役割、制限、ツール、返信のルールを決めます。
↗Stateless Requestは、その呼び出しで送られたデータだけを使います。モデルが前の会話を覚えているとは考えません。
↗Streaming Responseは、小さなイベントやかたまりに分かれて届きます。すべての処理が終わる前に、結果の一部を見ることができます。
↗ツール呼び出しにより、モデルは指定形式で名前付き外部ツールを要求できます。要求には引数が含まれます。ホストアプリが実行するかどうか、およびどのように実行するかを決定します。
↗この学習バンドルは、2つの異なるモデルランタイムの概念を結合します。トークンはモデル固有の入力または出力の一部です。コンテキストウィンドウは、1回の生成で利用可能なシーケンスを制限します。このバンドルは1つの標準的な指標ではありません。
↗ドキュメントチャンク化は、検索システムが見つけやすいようにコンテンツを小さな部分に分割します。明確なルールにより、各部分のサイズ、重なり、およびインデックス作成前の停止点が設定されます。
↗トランスフォーマーは、ニューラルネットワークの一種です。注意機構を使ってシーケンスの各部分がどのように関連するかを学習し、多くの位置で同時に動作できます。
↗ハーネスエンジニアリングはコーディングエージェントを中心にセットアップを構築します。これにはリポジトリ、指示、ツール、安全性、環境、フィードバックが含まれます。
↗バイブコーディングは会話を通じてソフトウェアを構築します。人が目標を設定して確認し、AIエージェントが多くのコードを書きます。
↗ハイブリッド検索は、1つの質問に対して、厳密な単語検索と意味ベースのベクトル検索の両方を使用します。その後、両方の結果セットを結合または再ランク付けします。
↗ヒューマン・イン・ザ・ループは計画されたレビューのステップです。指定された人物が事実、権限、および行動する義務を持ちます。彼らはAI支援作業を変更、承認、拒否、または停止することができます。
↗プロンプトは、一つのタスクのためにモデルに与えるすべてのものだよ。指示、背景、例、データを含めることができるよ。
↗プロンプトインジェクションは有害または予期しないテキストです。AIにアプリの信頼されたルールを無視させ、他の指示に従わせようとします。
↗プロンプトキャッシングは、モデルサービスが入力の同じ開始部分に対する作業を再利用できるようにします。これにより繰り返し処理が減る場合がありますが、古い答えを再利用するわけではありません。
↗プロンプトのバージョン管理は、生成用プロンプトの名前付きで固定された改訂版を保持します。チームは正確な改訂を確認、テスト、リリース、および復元できます。
↗ベクトルデータベースは、ベクトルを保存し、類似のベクトルを検索するデータストアの業界用語です。しばしばその他の詳細をフィルタリングし、高速な近似インデックスを使いますが、単一の普遍的な標準は存在しません。
↗マルチモーダルAIは、複数のデータタイプを使用または作成できます。これにはテキスト、画像、音声、動画、またはセンサーデータが含まれる場合があります。
↗モデル審査者は、AIモデルを使って出力をスコアリングしたり、書かれたルールに従ってラベルを付けます。間違うことがあるため、既知の例と照らして人間が確認する必要があります。
↗モデルコンテキストプロトコルは AI アプリケーションを外部ツールやデータに接続します。ホストはクライアントを使って、ツール、リソース、プロンプトを提供するサーバーと通信します。これはオープンで、両者はまず利用可能な機能について合意します。
↗モデルのトークンは、特定のトークナイザーからの単位です。トークナイザーはテキストやバイトをモデル用の数値IDに変換します。トークンは必ずしも1単語や1文字とは限りません。その分割や数え方はトークナイザーのバージョンに依存します。
↗モデルルーティングは、どのモデルまたはモデル経路が各リクエストを処理するかを選択します。この選択は、品質、スキル、コスト、遅延、または安全ポリシーの明確なルールに従います。
↗推論は、訓練されたモデルが新しい入力を使用して予測、スコアの算出、または回答の生成を行うことです。学習された重みは変わりません。
↗モデル量子化は、重みまたはアクティベーションをより正確でない数値形式で保持します。これにより、メモリ使用量、データ移動、計算コストを削減できます。
↗温度はサンプリング前に使用する設定です。トークンの確率が少数の選択肢に集中するか、より多くの選択肢に分散するかを変更します。
↗会話履歴は以前のチャットや後のターンに引き渡される有用な状態である。多くの場合、フィルタリングや要約が行われる。
↗検索拡張生成(RAG)は、実行時に外部証拠を見つけます。その証拠をモデルに提出してから書くのです。
↗検索結果の関連性は、明確なスコアリングルールの下で、検索結果や回答がユーザーの明示的なニーズにどれだけ合致しているかを示します。
↗この学習バンドルは、失敗とそれを減らす方法を比較します。ハルシネーションは根拠のないモデル出力です。グラウンディングは、与えられた、見つけた、または確認された証拠に主張を結びつけます。このバンドルは、標準的な品質指標の1つではありません。
↗言語モデルは、次に何が来るかを予測して文を作る統計モデルです。テキストなどの指示に従うことができます。これらのデータの種類は「モダリティ」と呼ばれます。
↗構造化出力は、モデルに任意の散文を書かせるのではなく、機械可読のスキーマに従わせる。
↗根拠性(Groundedness)は、回答内の主張がモデルに与えられた情報源によってどれだけ裏付けられているかを問います。これはテストの一分野であり、世界的な標準スコアではありません。
↗再ランキングは、検索結果を再度評価するために二つ目のモデルを使用します。質問と見つかった各ドキュメントをより詳しく比較し、その順序を変更します。
↗最初のトークンまでの時間(TTFT)は早期の待機時間を測定します。明確に名前が付けられたリクエストポイントで開始します。クライアントまたはサーバーが最初の生成されたトークンを確認したときに終了します。両方のポイントを必ず明記してください。
↗このバンドルは、2つのAI速度測定を比較します。TTFTは最初のトークンまでの時間です。TPSはその後1秒あたりに生成されるトークン数です。これは標準的な指標ではありません。
↗知識蒸留は、小さな学生モデルに、大きな教師モデルから有用な信号をコピーさせるために訓練します。訓練では、しばしば教師スコアと既知の正しいラベルの両方を使用します。
↗微調整とは、既存のモデルを1つのタスクまたは分野の慎重に選んだ例で訓練し続けることです。これにより、モデルの学習済みの重みと挙動が変わります。
↗埋め込みとは、モデルがアイテムのために学習する数値のリストです。その後、距離または類似度のルールで、その数値空間内のアイテム間のパターンを比較できます。
↗この学習バンドルは、2つの検索の概念を結合します。エンベディングはコンテンツを数値ベクトルに変換します。ベクターデータベースは、これらのベクトルを保存、インデックス作成、フィルタリング、検索します。このバンドルは1つの標準的なデータストアタイプではありません。
↗