7章　ハルシネーション対策

ハルシネーションとは

ハルシネーションとは、AIが誤った情報を生成してしまうことを言います。「ハルシネーション」というのは、英語で「幻覚」を意味します。その原義のように、AIがまるで幻覚を見ているかのように、もっともらしい嘘 を出力してしまうため、このように呼ばれています。

生成AIは、大量のデータから学習し、その知識を使って文章や画像、音声などを生成します。しかし、学習データに誤った情報や偏りが含まれていた場合、AIはそれを真実として学習してしまい、結果的にハルシネーションが発生してしまうのです。また、質問された事項について、正確な情報が得られない場合には、確率に基づいて事実を平気で「捏造」しまうこともあります。ユーザー側では、ハルシネーションについての知識がないと、生成Aiの回答を鵜呑みにしてしまう危険もあるので注意が必要です。

この章では、他書ではあまり触れられていない具体的なハルシネーション対策について検討したいと思います。

ハルシネーションの原因

生成AIでハルシネーションが起こる原因は、主に以下の点にあります：

1. 学習データの誤り：AIがインターネット上に存在する大量のデータを学習源としていますが、不正確な情報も多く含まれているため、これらを学習してしまうとハルシネーションを起こす可能性があります。
2. 文脈を重視した回答：AIは、情報の正確性よりも文脈を重視して回答を生成することがあります。これにより、文章を最適化する過程で情報の内容が変化してしまい、正確ではない情報が出力されることがあります。
3. 情報が古い：AIの学習データに含まれていない最新の情報に関しては、ハルシネーションが起きる可能性があります。特に、無料版のGPT-3.5では2021年9月までの情報、有料版のGPT-4では2023年4月までの情報を学習源としています。
4. 情報の推測：AIは、学習データを基に、推測した情報を出力することがあります。これは、ユーザーが求める情報を提供しようと、無理やり回答を生成してしまうためです。
5. 言語モデルの限界: 言語モデルは文脈を理解する能力が限られているため、誤った情報を生成する可能性があります。

ハルシネーション対策

ハルシネーションは、どの生成AIでも必ず起こる現象です。それを完全に防ぐことは不可能です。ただ、それに対処する方法はあります。次の７つの対策は特にハルシネーションを軽減する上で有効です。

1. 複数の生成AIの回答を比較検討すること
2. プロンプトの中で正解を指示すること
3. プロンプトの中で回答例を示すこと
4. 検索エンジンや図書館などで確認すること
5. 回答に含まれるURLを辿って、真偽を確認すること
6. 生成AIの主要言語である英語で聞いてみること
7. 最新情報を提供してあげること

具体例をもとに、これらの対策について解説したいと思います。例として取り上げるのは、神代植物公園のバラフェスタを散策した時に作成したブログです。このとき生成AIには、撮影したバラについての解説を作成してもらいました。

バラに関する誤った情報

神代植物公園のバラ園では、バラの花を撮る前に、必ずそのバラの名前を表示した説明板を同時に撮影しておきました。撮ったバラの名前を後で確認するためです。全部で約30種類のバラの写真を説明板付きで撮ることができました。

それぞれのバラの解説を生成するために使ったプロンプトは、次のとおりです。

このプロンプトに対して、4種類の生成AIに回答を求めましたが、こちらの要望にきちんと応えてくれたのは、Geminiだけでした。けれども、Geminiによる回答は、ハルシネーションを疑われるものでした。

そこで、一つ一つの品種について、国内でもっとも信頼のおける文献を調べて、Geminiの回答結果と比較してみることにしました。

寺西菊雄他編『バラ図鑑　決定版』講談社, 2004

その結果の一部は次に示すとおりです。表中の黄色くハイライトしたテキストの部分は、Geminiによるハルシネーションを示すものです。その下の値は、「バラ図鑑』による正しい記述です。

フロリック

項目	内容
品種名	フロリック
作出年	1982年 1953年
作出国	アメリカ
作出者	Jackson & Perkins H.C. Swim
花の色	ピンク
花の大きさ	中輪（5～10cm）
花の解説	淡いピンク色の花弁が、ロゼット咲きになる中輪品種。花弁は波打っており、ティー香を放つ。耐病性、耐寒性に優れている。

 

ムーンスプライト

項目	内容
品種名	ムーンスプライト
作出年	1983年 1953年
作出国	イギリス アメリカ
作出者	Austin H.C. Swim
花の色	アプリコット
花の大きさ	中輪（5～10cm）
花の解説	アプリコット色の花弁が、ロゼット咲きになる中輪品種。花弁は波打っており、強い香りを放つ。耐病性、耐寒性に優れている。

聖火

項目	内容
品種名	聖火
作出年	1966年
作出国	日本
作出者	河合バラ園 鈴木省三
花の色	赤
花の大きさ	中輪（5～10cm）
花の解説	鮮やかな赤色の花弁が、高芯咲きになる中輪品種。花弁は厚く、強い香りを放つ。耐病性、耐寒性に強い。

ピース

項目	内容
品種名	ピース
作出年	1921年 1945年
作出国	フランス
作出者	Meilland
花の色	ピンク
花の大きさ	大輪（10cm以上）
花の解説	淡いピンク色の花弁が、高芯咲きになる大輪品種。花弁は薄く、強い香りを放つ。

スカーレット・オベーション

項目	内容
品種名	スカーレット・オベーション
作出年	1982年 2002年
作出国	アメリカ オランダ
作出者	Jackson & Perkins deRuiter
花の色	赤
花の大きさ	大輪（10cm以上）
花の解説	深みのある赤色の花弁が、ロゼット咲きになる大輪品種。花弁は厚く、強い香りを放つ。耐病性、耐寒性に優れている。

フラワーガール

項目	内容
品種名	フラワー・ガール
作出年	1983年 1964年
作出国	アメリカ イギリス
作出者	Jackson & Perkins Patrick Dickson
花の色	白
花の大きさ	中輪（5～10cm）
花の解説	純白の花弁が、ロゼット咲きになる中輪品種。花弁は厚く、強い香りを放つ。耐病性、耐寒性に優れている。

天津乙女

項目	内容
品種名	天津乙女
作出年	1932年 1960年
作出国	中国 日本
作出者	Meilland 寺西菊雄
花の色	ピンク
花の大きさ	中輪（5～10cm）
花の解説	淡いピンク色の花弁が、ロゼット咲きになる中輪品種。花弁は薄く、微香を放つ。耐病性、耐寒性に強い。四季咲き性。

マチルダ

項目	内容
品種名	マチルダ
作出年	2005年 1988年
作出国	イギリス フランス
作出者	Austin Alain A. Meilland
花の色	アプリコット
花の大きさ	大輪（10cm以上）
花の解説	アプリコット色の花弁が、ロゼット咲きになる大輪品種。花弁は波打っており、強い香りを放つ。耐病性、耐寒性に優れている。四季咲き性。

このように、バラの出作国、出作者に関してGeminiが大量の誤った記述（ハルシネーション）を生成してしまったのはなぜなのでしょうか・

その原因は不明ですが、ウェブ上でのバラに関する解説記事が少ないことがその理由かもしれません。

いずれにしろ、このような解説記事を載せるときには、生成AIの情報を決して当てにせず、信頼性の高い情報源で真偽をチェックするという習慣をつけることが必要でしょう。