NumberGuardは、生成された文書中の数値を検証して誤りや幻覚（ハルシネーション）を検出する、無料ソフトウェアのCLIおよびCIツールです。合計の整合性、単位の一貫性、簡単な数式をチェックし、ソースのCSV/JSONと照合して小さなチームでも自動要約を信頼できるようにします。
チームはLLMでレポートを作成しますが、数値の誤りや模型の創作が混入しやすく、手作業での確認は時間がかかりミスが残ります。数値の誤りは信頼や金銭問題に直結するため、自動で監査できる仕組みが必要です。
NumberGuardはCLIとCI向けの検査ツールです。テキストから数値を抽出し、合計チェック、単位の整合、境界値チェックなどの設定可能なバリデータを適用、CSV/JSONのデータソースと照合します。不一致があると該当行に注釈を付け、修正案やソース行へのリンクを提示します。無料ソフトなのでPRパイプラインに組み込みやすく拡張可能です。
Raviはデータアナリストで、週次の指標メモをLLMに下書きさせている。モデルが文章を出したらPRを作る前にNumberGuardをローカルで走らせる。ツールはこう表示した：「行12の売上合計不一致: text= $123,450 | sum(source)= $132,450 — 幻覚の可能性あり」。Raviはモデルの参照CSVを確認し、ある行が切れていたことを見つけ修正。再実行でクリーン通過する。PRではCIがNumberGuardを実行し、数値がずれていればコメントを残す。マネージャーはSlackに「良い — CIが経理に送る前に差異を検出した」と書く。NumberGuardはRaviの訂正メールを減らし、LLM下書きを業務で安心して使えるようにする。
パースペクティブ: Supporting low-stakes experimentation
作成日時: 2025/11/5 16:26:37