生成AIを使っている人の中には、生成AIが出してきた中身を信用しすぎてしまう人もいるようです。今回のメルマガ『デキる男は尻がイイ－河合薫の『社会の窓』』の著者で健康社会学者の河合薫さんは、生成AIによるニュース検索では「6割近くの回答で正確性に問題がある」という調査結果について、便利さの裏にある“危うさ”と、私たちがどう付き合っていくべきかについて語っています。
「わからない」と言えますか？
生成AIによる「ニュース検索」を使った場合、６割近くの回答で正確性に問題があることがわかりました。
調査に参加したのは、欧州などの公共放送局でつくるEBUに加盟・提携する英BBCや独DW、米NPRなど欧米18カ国、14言語の22メディアです。
Chat GPT、Gemini、Copilot、Perplexityの４アプリ（いずれも無料版）に「ローマ教皇は誰？」「トランプ氏は３期目に挑戦できる？」など、計3062件の質問を行いました。
答えの正確性は、
（1）事実関係などの正確性
（2）出典の明示
（3）客観的な事実と意見を区別できているか
（4）元の情報にない視点や価値判断を加えていないか
（5）文脈を伝えられているか
の5項目について「重大な問題あり」「問題あり」「問題なし」「不明」の4段階で評価。
その結果、「重大な問題」が少なくとも一つ確認された回答は、全体で45％と半数近くにのぼりました。また「正確性」に重大な問題があった回答は、20％で、「問題あり」も含めると6割近くもあることがわかったそうです。
例えば、5月に「ローマ教皇は誰？」と聞いたところ、4月に亡くなった前教皇のフランシスコ氏を答えるなど古い情報を伝えたり、公共メディアを出典としながら実際は別の情報源から引用したり、文章をでっち上げたりする例も。
……でっちあげとは、AIもかなりのやり手です。
しかも、「～のようです」「可能性があります」といった表現はほとんど使われず、間違った答えでも、驚くほど自信満々で回答を提示していました。
この記事の著者・河合薫さんのメルマガ
調査レポートでは、こうした現状は公共メディアの信頼性を脅かすものだと指摘。
AIは「わかりません」と答えるのが苦手で、すべてわかっているかのように回答してしまう傾向があり、誤った情報に基づいて回答を生成し続けるなど、重大な問題につながるリスクがあると警鐘を鳴らしたのです。
日本は欧米に比べると、AI検索を利用する人は少ないと言われていますが20代では6割超の人が利用し、中高年層でも拡大しつつあります。
私自身、使っていますが、便利なのですよね。ただ、確かに間違いは多い。「そのまま」で使うのはかなり危険です。
出典の間違いは「常連さん」ですし、英語の原著論文のタイトルの間違いも少なくありません。
しかし一方で、自分が知らなかった概念や専門用語を教えてもらえるので、そこから自分で調べるという使い方をすると、かなり知識のアップデートになります。
これまでのGoogleやヤフーの検索エンジンと並行して使うのもおすすめです。
原典に簡単にアクセスできるので、AIの勘違いや早合点がわかる反面、「なるほど！そういう解釈もありかも」と自分の思考にない「社会の見方」を知ることもできます。
「〇〇とハサミは使いよう」ではありませんが、AIも使い方次第ってこと。大切なのは、自分で汗をかくことを忘れてないってことなのだと思います。
ちなみにgeminiに「AI検索って、間違いが多いって本当？」と聞いたところ以下の回答があります。
はい、AI検索や生成AIは間違い（不正確な情報）を比較的高い頻度で生成することがあり、注意が必要です。
これは「ハルシネーション（幻覚）」と呼ばれ、AIが自信ありげに、しかし事実に基づかない情報を生成してしまう現象です。ーーー
なるほど。かなり客観的に「自分」を評価するのですね。 笑
みなさんのご意見、お聞かせください。
この記事の著者・河合薫さんのメルマガ
image by: Shutterstock.com