LLMを使うチーム向けの軽量チケットアドオンで、プロンプト入力、モデル出力、編集履歴を通常のチケット履歴と一緒に記録します。どのプロンプトがどの出力を生んだかが一目で分かり、品質管理や監査に役立ちます。
LLMで返信を生成したり案件を分析したりするチームは、どのプロンプトがどの出力を生んだかをチケット内で簡単に追跡できません。説明責任が取りづらく、決定を再現・監査するのが難しいです。
既存のチケットシステムにWebhookで連携するミドルウェアを導入し、LLM呼び出しごとにプロンプト、モデル名・バージョン、生の出力、編集フラグ、人間の要約を含む監査ブロックを追加します。エクスポートやフィルタで期間やチケット単位のレビューが可能です。
Soraはコミュニティサイトのコンテンツ監視を担当しており、報告書の要約作業にLLMを使い始めました。あるモデレーターが決定に疑問を持ち、理由を尋ねてきたとき、Soraは統合されたLLM Auditビューでチケットを開き、使用されたプロンプト、モデル名とバージョン、生の応答、送信前にモデレーターが編集した履歴を確認しました。「Replay」を押すと同じプロンプトをスナップショットモデルで再実行でき、結果を比較できます。Soraは「モデレーターがトーンを編集しています—編集の要約を参照」とメモし、推測なしで指導メモを作成できました。
パースペクティブ: Simplifying routines or mental load
作成日時: 2025/11/5 10:36:53