【AI】GPT-4やClaudeなどの大規模言語モデルが抱える「ストロベリー問題」とは？ [すらいむ★]

GPT-4やClaudeなどの大規模言語モデルが抱える「ストロベリー問題」とは？

　大規模言語モデル(LLM)をベースにしたAIは高い能力を発揮できる一方で、ウソにダマされやすいといった特徴があったり、算数の文章題への推論能力が小学生未満という研究結果があったりと、脆弱(ぜいじゃく)さについてもしばしば指摘されます。
　AIの能力の限界を示す「ストロベリー問題」という脆弱性について、機械学習エンジニアのチンメイ・ジョグ氏が解説しています。

　The 'strawberrry' problem: How to overcome AI's limitations | VentureBeat
　https://venturebeat.com/ai/the-strawberrry-problem-how-to-overcome-ais-limitations/

（以下略、続きはソースでご確認ください）

Gigazine 2024年10月19日 23時00分
https://gigazine.net/news/20241019-strawberrry-problem/

strawberryという単語をstrawとberryの2つに分けてしまい
その後半だけ見てしまう癖がある、と説明される

あるいは

言語モデルは過去の類題に頼りがちになる
それでstrawberryという単語に近いのは
berry
という単語で
berryにはrが2つある

だからstrawberryのrも2つである

という発想になる、というのが、人間の頭の繋がりに近い形での説明なんだと

言語モデルだけでなく「その問題が数理的な問題だと思われる時は
計算機やsympyやプログラミングに頼って答えを出したものも作り
言語モデルだけで出したものと違う時には計算機などによる答えを使う」
という場合分けを入れれば簡単に解決できるんだろうが、
あえてそれは使っていない

>>10
いまのAIモデルには人間ほど細かい単位で情報を扱えないから
ChatGTPなら約1単語（英語）をひとかたまりとして学習している
単位より細かい質問にはうまく回答出来ない場合がある

ちなみに画像生成AI（SDXL）は出力解像度1024x1024に対して内部的には128x128

ストロベリーフィールズフォエバー

AIを構築している側の嘘が論理破綻しているので
これをごまかすには阿呆になるしか無い模様

白馬非馬

ビックリマンはチョコにあらず