「どんな文も3行に要約するAI」は期待はずれ。世界的エンジニアが辛口判定

東大工学系研究科の松尾豊研究室発のベンチャー企業が開発した文章要約AI「ELYZA DIGEST」が話題となっています。デモサイトには「どんな文章でも、AIが3行に要約！」とありますが、その実力はどれほどのものなのでしょうか。今回のメルマガ『週刊 Life is beautiful』では「Windows95を設計した日本人」として知られる米シアトル在住の中島聡さんが、自身のメルマガ記事を素材としてその能力を判定。さらにそこから得られた結果を踏まえ、「人工知能が良い仕事ができるようになる時期」を占っています。

プロフィール：中島聡（なかじま・さとし）
ブロガー／起業家／ソフトウェア・エンジニア、工学修士（早稲田大学）／MBA（ワシントン大学）。NTT通信研究所／マイクロソフト日本法人／マイクロソフト本社勤務後、ソフトウェアベンチャーUIEvolution Inc.を米国シアトルで起業。現在は neu.Pen LLCでiPhone/iPadアプリの開発。

世界の未来を予測するエンジニア・中島聡さんのメルマガご登録、詳細はコチラ

私の目に止まった記事

● 「どんな文章も3行に要約するAI」デモサイト、東大松尾研発ベンチャーが公開　「正確性は人間に匹敵」

タイトル通りの記事ですが、デモサイトで今週のざっくばらんの三つの記事を要約してみました。

ハワイに自動車を送るべく、港まで自動車を運ぶ際、手続きに苦労した。自動車の所有者であることを証明する書類が必要で、手間がかかった。書類が届いていないため、船会社に連絡をして一便遅らせた。

確かに情報としては間違っていませんが、ストーリー性がすっかりなくなってしまいました。

ドコモのIモードはDXの先駆けで、IT音痴の人たちが経営者の大半を占める。IT音痴の人たちが経営者の大半を占めるため、良いカモにされている。DXに苦しむ旧態依然とした日本企業にとって、参考になるものがあるはずだと考えた。

辻褄の合わない文章になってしまっています。この結果を見る限り、内容を理解せずに、単に重要そうに思える文章を適当に選び出した上で、それぞれを省略した上で並べているだけのように思えます。結果として、支離滅裂な要約になってしまっています。

ドローン・ベンチャーが研究している「NERF」という技術を紹介している。物体の認識などを一切行わず、純粋に3次元空間の「見た目」の記録・再現に特化。教育データとして利用した「特定の猫」しか認識しなくなる問題も。

前半は良いのですが、後半のオーバーフィッティングは、通常の機械学習だと問題になるけれども、NeRFの場合は歓迎される、と言う重要な部分がすっかり抜け落ちているので失格です。

ということで、現時点ではまだまだ未熟なようです。個別の文の要約ならばそれほど難しくないでしょうが、ある程度の長さを持った文章だと、内容を理解せずに要約することは人間にも難しいので、人工知能が良い仕事を出来るようになるのは、まだ先のことのように思えます。

（※本記事はメルマガ『週刊 Life is beautiful』2021年8月31日号より一部抜粋したものです。同号掲載の記事は以下の通りです、この機会にぜひご登録ください）

中島聡『週刊 Life is beautiful』2021年8月31日号ラインナップ

今週のざっくばらん

「ハワイに自動車を送るミッション」という「大ボス」を倒した話
ドコモのiモードこそが日本が誇るべきDX
人工知能最前線：NeRF

私の目に止まった記事

「どんな文章も3行に要約するAI」デモサイト、東大松尾研発ベンチャーが公開　「正確性は人間に匹敵」
Apple loosens rules for developers in major concession amid antitrust pressure（アップル、独占禁止法の圧力の中で、開発者向けのルールを大幅に緩和）
Tesla Ignites a Feud, and It Has Nothing to Do With Cars（Tesla が物議を醸しているけれど、これは自動車会社の Tesla とは関係ない）
韓国紙「日本の経済衰退は将来の韓国の姿」「むしろ日本より深刻」
The ‘Great Resignation’ is likely to continue, as 55% of Americans anticipate looking for a new job（アンケート調査によると、米国で働く人の55％が12ヶ月以内に転職することを考えており、「大退職（転職）時代」と呼べるほどの大きな変化が社会に訪れようとしている）
The Next Big Battle Over Work From Home: Salaries（在宅ワークをめぐる次の大きな戦い：給与問題）

質問コーナー

世界の未来を予測するエンジニア・中島聡さんのメルマガご登録、詳細はコチラ