【AI】AppleのAI研究者らが「今のAI言語モデルは算数の文章題への推論能力が小学生未満」と研究結果を発表 [すらいむ★]

AppleのAI研究者らが「今のAI言語モデルは算数の文章題への推論能力が小学生未満」と研究結果を発表

　OpenAIのGPT-4など大規模言語モデル(LLM)をベースにしたAIは、自然な文章を生成したりさまざまな課題をクリアしたりと、高度で広範な機能を備えています。
　しかし、依然として小学生レベルの算数でも、文章題だと人間がしないようなミスをして答えられないケースがあります。
　Appleの人工知能科学者が発表した論文では、MetaやOpenAIなどの大規模言語モデルに基づくAIは「基本的な推論能力が欠けている」という研究結果が示されました。

　[2410.05229] GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models
　https://arxiv.org/abs/2410.05229

（以下略、続きはソースでご確認ください）

Gigazine 2024年10月14日 19時00分
https://gigazine.net/news/20241014-llm-reasoning/

2位の人を追い抜くとあなたは何位？
の答えが凄かった

理系のやつ良かったな
暫く仕事とられなくて済むぞ

>>47
その三段論法からして大問題があるんだよ。

大前提：人間はみな死ぬ
小前提：ソクラテスは人間である
結論：ゆえにソクラテスは死ぬ

一体全体、ソクラテスは不死だ、と信じて疑わない奴が「人間はみな死ぬ」という命題を正しいと認めるか？？

>>50
結論：ゆえにソクラテスは死ぬ
に対して

しかし(事実として)ソクラテスは不死だ、これは矛盾。
よって「小前提：ソクラテスは人間である」は誤っている。
すなわち「主張：ソクラテスは人間でない」が証明された。

……これは正当な背理法だよね。

>>1
一々調べんでも見てれば分かるだろｗ
まともに日本語すら書けないAIに何を求めてんだよｗ

ダークウェブ情報を吸い上げて闇の質問に回答するダークGPT作ってくれw

まだ生まれたばかりと言う事

AIにケーキ三等分させたらどうなる？

既存AIの欠点をあげつらうだけなら素人でもできるだろ
AppleほどのIT企業ならその欠点を改良してから発表しろよ

自分たちで作ってないから 言いたい放題

憎い憎いApple憎い

AIの未解決問題の一つ、フレーム問題が解決できていないからねぇ…
今の弱いAIは人工知能じゃなくて人工無能ってやつだよ

>>56
確かに

>>28
正解は、教師の機嫌を損なわない様ミスを指摘せず忖度してチョコレートをクッキーに読み替える

>>14
90年代までは理系のように一つ一つルールを学習させる方式だったけど上手くいかなかったらしい

ひとつひとつルールを学習って、文系の数学（問題のパターンを全部覚えるらしい）じゃん

フレーム問題の解決には身体（性）が必須だ
なんて言ってたな昔は　懐かしい

愚門だから回答がおかしくなるのでは?

>>65

あまたの言葉を使用してその問いかけになるようにすれば正解率が跳ね上がるのでは

オープン・クエスチョンとクローズド・クエスチョン

前者って人間でも回答が各個人でかなり差が出る
後者で聞かないと駄目

話の中間などにオープン・クエスチョンが入ると話がこじれる

人間でもクローズド・クエスチョンで聞いているのに

話の筋はあっているが別のことを話し出す人がいるのですよ

周囲で聞いていたら何を聞いていたのだろうと思う人多数でる

日本の運転免許のペーパーテストの悪問はＡＩは正答無理じゃないか？

�@「夜間の道路は危険なので気を付けて運転しなければならない」
�A「赤信号では必ず停車しなければならない」
�B「原動機付き自転車は公道で５０ｋｍ／ｈ以上で走ってはならない」
�C「公道を普通自動車で運転する際には必ずシートベルトを装着する必要がある」
�D「制限速度３０ｋｍ／ｈの道路では、その制限速度を超えて走行してはいけない」

（ちなみに正答は全て「×」）

産まれたばかりという意味で小学生並というのは当たってる

免許の学科試験問題作成にＡＩを活用しようという試みはあったけど、
人間が作る「悪問」のようなヒッカケ問題をＡＩが作れず試みは放棄された

いや、そこは普通に問題を作らせればさらっと間違いの入った問題を作ってくれるだろ
大半の馬鹿な人が騙されるような
今はそういうレベルだろ

還暦ですが50才年下の女性と結婚できますか
ときいたら大丈夫年の差婚頑張ってと言われたからなぁ

LLMに騙されてることに気付かずありがたがってる人達って境界知能だよね

他社のAIに圧倒されて
siriのショボさ(´･ω･｀)を
誤魔化すのに必死な感

>>69のような学科試験の悪問をＡＩに答えさせたらどうなるかな

>>69まんまだとネットで答え出てるので正答しちゃうけどね

>>74
騙されまい利用しまい（騙されずに利用する自信がない）、と思うなら、
騙されて利用した気になる者のことを、そう思うだろうなぁ。

この新時代のツールを騙されずに利用する者より

>>77
憎い憎いApple憎いだけでコメントするような奴のレベルなんてこんなもん

>>78
非Apple儲というだけでコメントするような奴のレベルなんてこんなもん

>>62
人間の曖昧な感覚とか自然言語の処理には失敗したけど、数学のような論理の厳密性が問われる分野ではどっちが成功するか分からん
少なくとも大規模言語モデルのアプローチは数学には全く向かない

>>80
そこでベイズ

>>18
これが現実
騙される奴らって‥

AirDropとかいうクソ無能の極み！虫食い毒林檎！死ね！！

反論できなくなるとAppleの悪口を書くだけ
チーズ牛丼食ってそうだな

Appleの時価がNvidiaに抜かれそう
象徴的なイベント

AIは文系脳。

得手不得手があるなんて
むしろ優秀なのである

>>86
知識の引き出しで勝負してるだけだもんな

昭和50年は平成何年ですかと聞くと
昭和は平成ではないと答えてくるが、
昭和50年は平成マイナス何年かと聞くと
西暦に変換して計算して答えてくれる。

つまり問題の文章次第、出題者の文章力次第なのではないかな？

誘導してやると答えてくれる

少なくとも小学生は誘導しても答えられない

>>18
ChatGPTに散々文句垂れて
昨日やっと一発で正解したけど
今日はどうなるか分からない

>>88
AIは知識問題はむしろ苦手

以前は山手線の駅を書き出してと頼むと熱海や名古屋まで出てきたしな

人工知能は日本が苦手なのです

まあAppleはAI競争降りたからAIネガキャンに走るだろうな
そうして市場価値下げた方が端末に載せやすいリーズナブルな価格に落ちるから