ファウンデーションモデルを使う開発者向けの小さなデバッグ補助ツールです。プロンプト、モデル応答、ストリーミングログ（QuickNodeなど）を再生可能なタイムラインにまとめ、どこで出力が崩れたかを一人の開発者が素早く特定できます。プロンプト調整での推測時間を減らします。
ファウンデーションモデル統合時、入力の連続性やストリーミングされたトークン、タイミングを一目で確認できる手段が不足しています。再現が面倒で、どの変更が失敗を招いたかを推測する時間がかかります。
LLM Debug Replayはリクエストパイプラインにフックし、プロンプトの各バージョン、トークンストリーム、タイミングのメタデータを記録してタイムライン表示します。ストリーム再生、誤情報が出始めた箇所への注釈、短いレポートのエクスポートが可能で、低額の月額とログ保存の従量課金で運用できます。
阿部さんはQuickNodeでファウンデーションモデルのチャットボットを作っており、たまに誤った日付を生成する問題に悩んでいました。LLM Debug Replayをストリーミングエンドポイントに接続すると、次の誤生成時にタイムラインでユーザープロンプト、テンプレート変数の展開、ストリームトークンが確認できました。ストリームを再生すると、テンプレート展開でコンテキストトークンが抜け落ちているのを発見し、テンプレートを修正してツール内で再生して正常化を確認します。二ページのバグ報告をエクスポートして共同開発者に送れば、ベンダーとの無駄なやり取りを避けられます。
パースペクティブ: Building a tiny, focused web or mobile tool
作成日時: 2025/11/22 10:06:26