【AI】GPT-4やClaudeなどの大規模言語モデルが抱える「ストロベリー問題」とは？ [すらいむ★]

GPT-4やClaudeなどの大規模言語モデルが抱える「ストロベリー問題」とは？

　大規模言語モデル(LLM)をベースにしたAIは高い能力を発揮できる一方で、ウソにダマされやすいといった特徴があったり、算数の文章題への推論能力が小学生未満という研究結果があったりと、脆弱(ぜいじゃく)さについてもしばしば指摘されます。
　AIの能力の限界を示す「ストロベリー問題」という脆弱性について、機械学習エンジニアのチンメイ・ジョグ氏が解説しています。

　The 'strawberrry' problem: How to overcome AI's limitations | VentureBeat
　https://venturebeat.com/ai/the-strawberrry-problem-how-to-overcome-ais-limitations/

（以下略、続きはソースでご確認ください）

Gigazine 2024年10月19日 23時00分
https://gigazine.net/news/20241019-strawberrry-problem/

ただのデータベース

人間もな

SEO技術を応用すれば、白いものも黒くなる世界

>>2
ただのデータベースよりもたちが悪いぞw
不完全な知識で回答をひねり出すから

白馬は馬に非ず系

そんなら推論エンジンいってるのやめろやｗｗｗ

strawberryという英単語の各文字を、アルファベット順にソートして並べて下さい

もちろんです！英単語 “strawberry” の各文字をアルファベット順に並べると、以下のようになります：

a, b, e, r, r, r, s, t, w, y

他に何かお手伝いできることはありますか？

strawberryという英単語の各文字を、アルファベット順にソートして並べて下さい

もちろんです！英単語 “strawberry” の各文字をアルファベット順に並べると、以下のようになります：

a, b, e, r, r, r, s, t, w, y

他に何かお手伝いできることはありますか？

ありがとうございます
ではその出力された
a, b, e, r, r, r, s, t, w, y
の中に、rは幾つありますか？

出力された文字列の中には、r が 3つ あります。

他に何かお手伝いできることはありますか？
___

こういう風に段階を踏んで質問してやると間違えない

むしろどういう理屈で間違えてるんだ？

strawberryという単語をstrawとberryの2つに分けてしまい
その後半だけ見てしまう癖がある、と説明される

あるいは

言語モデルは過去の類題に頼りがちになる
それでstrawberryという単語に近いのは
berry
という単語で
berryにはrが2つある

だからstrawberryのrも2つである

という発想になる、というのが、人間の頭の繋がりに近い形での説明なんだと

言語モデルだけでなく「その問題が数理的な問題だと思われる時は
計算機やsympyやプログラミングに頼って答えを出したものも作り
言語モデルだけで出したものと違う時には計算機などによる答えを使う」
という場合分けを入れれば簡単に解決できるんだろうが、
あえてそれは使っていない

>>10
いまのAIモデルには人間ほど細かい単位で情報を扱えないから
ChatGTPなら約1単語（英語）をひとかたまりとして学習している
単位より細かい質問にはうまく回答出来ない場合がある

ちなみに画像生成AI（SDXL）は出力解像度1024x1024に対して内部的には128x128

ストロベリーフィールズフォエバー

AIを構築している側の嘘が論理破綻しているので
これをごまかすには阿呆になるしか無い模様

白馬非馬

ビックリマンはチョコにあらず