12月4日、Amazon Web Services (AWS)は、AI モデルによって生成される錯覚の問題に対処するために設計された新しいツールをリリースしました。

注目すべきは、ラスベガスで開催された re:Invent 2024 で AWS が「自動推論チェック」ツールを発表したことです。このツールは、顧客が提供する情報を相互参照することで、モデルの応答の正確性を検証します。

AWSは、これが「初めて」かつ「唯一」の錯覚防止策であると主張しています。しかし、この主張は必ずしも正確ではない可能性があります。Microsoftが今夏にリリースした「Corrections（修正）」機能は、「Automatic Reasoning Check（自動推論チェック）」とほぼ同じで、どちらもAI生成テキストに事実誤認が含まれている可能性がある場合にフラグを立てることができます。GoogleのVertex AIプラットフォームも、サードパーティプロバイダーのデータ、自社データセット、またはGoogle検索を使用して、顧客がモデルの回答の信頼性を高めることができるツールを提供しています。

AWSのBedrockモデルホスティングサービス（具体的にはGuardrailsツール）を通じて提供される「自動推論チェック」は、モデルがどのように答えを導き出したかを理解し、その答えが正しいかどうかを判断します。お客様は事実の根拠となる情報をアップロードし、「自動推論チェック」がモデルに適用できる最適化されたルールを作成します。

モデルが回答を生成すると、「自動推論チェック」がそれを検証し、誤解の可能性がある場合は事実に基づいて正しい回答を導き出します。この正しい回答は、考えられる誤った回答と併せて提示されるため、クライアントはモデルが正しい回答からどの程度逸脱しているかを確認できます。

AWSによると、PwCは顧客向けAIアシスタントの設計に「自動推論チェック」を活用し始めているという。AWSのAI・データ担当バイスプレジデントであるスワミ・シヴァスブラマニアン氏は、まさにこの種のツールこそが顧客をBedrockに惹きつけるものだと示唆した。

しかし、TechCrunchによると、ある専門家は今年の夏、生成AIの幻想を払拭しようとするのは水から水素を取り除こうとするのと同じだと発言しました。AIモデルが妄想に陥るのは、実際には何も「知らない」からです。AIモデルは、一連のデータからパターンを識別し、過去の例に基づいて次のデータポイントが何になるかを予測する統計システムです。したがって、モデルの応答は答えではなく、質問にどのように答えるべきかを予測したもので、一定の誤差の範囲内で予測するものです。

AWSは、「自動推論チェック」が「論理的正確性」と「検証可能な推論」を用いて結論を導き出していると主張しているが、同社はツールの信頼性を実証するデータを一切提供していない。（オーシャン）