生成AIを使っている人の中には、生成AIが出してきた中身を信用しすぎてしまう人もいるようです。今回のメルマガ『デキる男は尻がイイ－河合薫の『社会の窓』』の著者で健康社会学者の河合薫さんは、生成AIによるニュース検索では「6割近くの回答で正確性に問題がある」という調査結果について、便利さの裏にある“危うさ”と、私たちがどう付き合っていくべきかについて語っています。
「わからない」と言えますか？
生成AIによる「ニュース検索」を使った場合、６割近くの回答で正確性に問題があることがわかりました。
調査に参加したのは、欧州などの公共放送局でつくるEBUに加盟・提携する英BBCや独DW、米NPRなど欧米18カ国、14言語の22メディアです。
Chat GPT、Gemini、Copilot、Perplexityの４アプリ（いずれも無料版）に「ローマ教皇は誰？」「トランプ氏は３期目に挑戦できる？」など、計3062件の質問を行いました。
答えの正確性は、
（1）事実関係などの正確性
（2）出典の明示
（3）客観的な事実と意見を区別できているか
（4）元の情報にない視点や価値判断を加えていないか
（5）文脈を伝えられているか
の5項目について「重大な問題あり」「問題あり」「問題なし」「不明」の4段階で評価。
その結果、「重大な問題」が少なくとも一つ確認された回答は、全体で45％と半数近くにのぼりました。また「正確性」に重大な問題があった回答は、20％で、「問題あり」も含めると6割近くもあることがわかったそうです。
例えば、5月に「ローマ教皇は誰？」と聞いたところ、4月に亡くなった前教皇のフランシスコ氏を答えるなど古い情報を伝えたり、公共メディアを出典としながら実際は別の情報源から引用したり、文章をでっち上げたりする例も。
……でっちあげとは、AIもかなりのやり手です。
しかも、「～のようです」「可能性があります」といった表現はほとんど使われず、間違った答えでも、驚くほど自信満々で回答を提示していました。
この記事の著者・河合薫さんのメルマガ
ページ: 1 2