【AI】AppleのAI研究者らが「今のAI言語モデルは算数の文章題への推論能力が小学生未満」と研究結果を発表 [すらいむ★]

AppleのAI研究者らが「今のAI言語モデルは算数の文章題への推論能力が小学生未満」と研究結果を発表

　OpenAIのGPT-4など大規模言語モデル(LLM)をベースにしたAIは、自然な文章を生成したりさまざまな課題をクリアしたりと、高度で広範な機能を備えています。
　しかし、依然として小学生レベルの算数でも、文章題だと人間がしないようなミスをして答えられないケースがあります。
　Appleの人工知能科学者が発表した論文では、MetaやOpenAIなどの大規模言語モデルに基づくAIは「基本的な推論能力が欠けている」という研究結果が示されました。

　[2410.05229] GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models
　https://arxiv.org/abs/2410.05229

（以下略、続きはソースでご確認ください）

Gigazine 2024年10月14日 19時00分
https://gigazine.net/news/20241014-llm-reasoning/

トンチンカン問答のボケ具合は相当なもん

結局、東大入試の数学は数式だけだから、解けても
つるかめ算が解けないというw

人間の愚かさをナメてもらっては困るぞ

split使ってるもんなw
辞書デカいし

LLMで出遅れたAppleにしか言えない本当の話

投資家の孫正義や、そこらの驚き屋とは言うことが違う!!

人間のそれなりに多くの人もこの問題引っかかるだろう
計算に用いない無意味な数字を混ぜるやつ

問題の書き方に一貫性が無いのが問題だろう
教師の自由裁量すぎる

のべっち…

こういうのに限らず単純に辞書的な使い方をするのでもない限り人間の意図した答えを対話無しで一発で出してくれる方が珍しいでしょ

数学屋は答えがちゃんと存在するなら質問のクオリティにはあまりこだわらないからな

だいたい2行やなw

AIを使いこなすには、
AIの回答を検証できるスキルが必要

AIは文系だったか

ギレン総帥の演説に洗脳されちゃうもんな

孫正義顔真っ赤

推論能力まで獲得したらほんとに人間いらなくなってしまう
知識量で絶対に勝つのは不可能なのに
肉体労働しか生き残れない

これだもの
https://i.imgur.com/GuNsKhJ.png

また、また、また、
出遅れている分野に関する他社の現行技術水準をディスってなんぼの
戦略的広告か。
A社お得意のキャッチコピーが目に浮かぶような記事だな。
　「我が社の新製品は、最大●●倍高速、最大●●倍スマート」

言語では、ある程度納得させる言説をするのに数字はからきし駄目？
こういう奴よくいない？ｗ

>>20
お前が詐欺に引っ掛かりやすいだけだろ
お前みたいなのが多いのが世の中で、だからAIが持て囃される

推論が正しいかを客観的に（つまり外部モジュール的に）評価することがないからなあ
まあ、でも、1年しないうちに次のバージョンで出来るようになるんじゃね？

>>18
ああああs３桁数字入ってた方が大きいんだね
うんうんw

推論能力は大事だよね
https://i.imgur.com/xReuA7Y.jpeg

まあ人間とAIとでは得手不得手も違うさ

算数の文章題って別に文章としての難易度が高いわけじゃないだろ
ただ正解が一つしかないからとんちんかんな答え返すとそれが間違っているのがばれる

普通の問いでも同じくらいとんちんかんな答え返してると思うぞ
気づきにくいだけで

たまに話題になる掛け算の順番で✖されてそう
個人的には結果が合ってりゃいいとは思うけどw

>>24
「問題文の“チョコレート”は“クッキー”であるべきじゃね？」と
推論する能力を求められてるのか？

画像下端の「求大加法の問題」ってのを見ると
現役教師か教育学部の学生あたりが使う資料かな。

AIさんだと「ここに示された情報だけでは分かりません」と答えるのかねぇ。
それともガムとクッキーの値段に現実世界の商品市況の情報を加味して
チョコレートのそれらしい値段を提案する(デッチ上げる)のか。

ソース原文にらAIという言葉は使われてない
LLMだ

これをAIと丸める元記事

それをしれっと引用しただけの>>1

どこが科学板なんだ
似非科学

それに釣られてAIガーと言ってるのはさらにアホ

大規模言語モデル (LLM) の最近の進歩により、特に数学において、その形式的推論能力に対する関心が高まっています。
GSM8K ベンチマークは、小学校レベルの質問に対するモデルの数学的推論を評価するために広く使用されています。
GSM8K での LLM のパフォーマンスは近年大幅に向上していますが、その数学的推論能力が本当に向上したかどうかは不明のままであり、報告された指標の信頼性について疑問が生じています。
これらの懸念に対処するため、いくつかの SOTA オープン モデルとクローズド モデルに関する大規模な調査を実施しました。
既存の評価の制限を克服するために、多様な質問セットの生成を可能にするシンボリック テンプレートから作成された改良ベンチマークである GSM-Symbolic を導入しました。
GSM-Symbolic は、より制御可能な評価を可能にし、この http URL の推論能力を測定するための重要な洞察とより信頼性の高い指標を提供します。
調査結果から、同じ質問の異なるインスタンス化に応答するときに、LLM が顕著な変動を示すことが明らかになっています。
具体的には、GSM-Symbolic ベンチマークで質問内の数値のみが変更されると、すべてのモデルのパフォーマンスが低下します。
さらに、これらのモデルにおける数学的推論の脆弱性を調査し、質問内の節の数が増えるとパフォーマンスが大幅に低下することを示しています。
この低下は、現在の LLM が真の論理的推論を実行できないためであると仮定しています。現在の LLM は、トレーニング データから推論手順を複製します。
質問に関連していると思われる節を 1 つ追加すると、その節が最終的な回答に必要な推論チェーンに寄与していないにもかかわらず、すべての最新モデルでパフォーマンスが大幅に低下します (最大 65%)。全体として、私たちの研究は、数学的推論における LLM の機能と限界について、より微妙な理解を提供します。

LLMはgenAIだ
生成するものだ
推論するものじゃない

性能大した事ないよとか論文出されてもな
何が原因でどうやったら改善できるかの展望でも出して欲しいもんだ

Fラン連中よりは有能ってことか

>>18
オレがやってもそうなった
なおかつオレが何言ってもなかなか訂正しようとしなかった
ChatGPTには再教育キャンプ送りを命じてやった

大規模自然言語処理でも歯が立たない数学（算数）の問題さん側にも落ち度がある

が法律や約款はもっと面倒だろ

こういうのにこだわってたらいつまで経っても製品化できないわな

今のディープラーニングが脳の模倣をできているとは到底思えない
何らかのブレイクスルーが必要

半人前のアイアイ

せめて他と同じ土俵に立ってから、こういう事は言ってくれ
これじゃただの負け惜しみじゃねーか

なるほどw

バカがゲーム作ってもしょうがないw

メジャーじゃない仮定を加えた論考だと、
自分が述べてる前後の矛盾も解らなかったり

よくある問へのよくある回答には向いてる

単純計算できないもんな
「理解する」ていう仕組みがまだ出来ていないんだろうな
統計のこねくり回しだけではやっぱ限界があるんじゃないか？

世界中の算数義務教育レベルテキストをすべてぶち込むところから始めてみては。

大抵の大人は小学生未満の頭脳だろ？

そんなことよりAppleJAPANは
漢字変換能力を小学生よりマシなレベルに引き上げろよ
「令和」が3年も変換できなかったのは怠慢すぎた

憎い憎いApple憎いだけでコメントしてる奴がいて笑える

三段論法を駆使できないうちは小学生レベルから脱することはないだろう

2位の人を追い抜くとあなたは何位？
の答えが凄かった

理系のやつ良かったな
暫く仕事とられなくて済むぞ

>>47
その三段論法からして大問題があるんだよ。

大前提：人間はみな死ぬ
小前提：ソクラテスは人間である
結論：ゆえにソクラテスは死ぬ

一体全体、ソクラテスは不死だ、と信じて疑わない奴が「人間はみな死ぬ」という命題を正しいと認めるか？？

>>50
結論：ゆえにソクラテスは死ぬ
に対して

しかし(事実として)ソクラテスは不死だ、これは矛盾。
よって「小前提：ソクラテスは人間である」は誤っている。
すなわち「主張：ソクラテスは人間でない」が証明された。

……これは正当な背理法だよね。

>>1
一々調べんでも見てれば分かるだろｗ
まともに日本語すら書けないAIに何を求めてんだよｗ

ダークウェブ情報を吸い上げて闇の質問に回答するダークGPT作ってくれw

まだ生まれたばかりと言う事

AIにケーキ三等分させたらどうなる？

既存AIの欠点をあげつらうだけなら素人でもできるだろ
AppleほどのIT企業ならその欠点を改良してから発表しろよ

自分たちで作ってないから 言いたい放題

憎い憎いApple憎い

AIの未解決問題の一つ、フレーム問題が解決できていないからねぇ…
今の弱いAIは人工知能じゃなくて人工無能ってやつだよ

>>56
確かに

>>28
正解は、教師の機嫌を損なわない様ミスを指摘せず忖度してチョコレートをクッキーに読み替える

>>14
90年代までは理系のように一つ一つルールを学習させる方式だったけど上手くいかなかったらしい