探検

【AI】GPT-4やPaLMなどの大規模言語モデルは規模が大きくなると突然予想外の能力を開花させることがある [すらいむ★]

■ このスレッドは過去ログ倉庫に格納されています
1すらいむ ★
垢版 |
2023/03/25(土) 20:39:49.64ID:GCkVi5N9
GPT-4やPaLMなどの大規模言語モデルは規模が大きくなると突然予想外の能力を開花させることがある

　AIが予想外の能力を開花させることを「創発(emergent)」と言います。
　生物学の世界で「創発」とは、大量の物体が1つになって機能する自己組織化や集団行動を意味しますが、人工知能研究の世界では「突然これまで不可能だと思われていたタスクをこなせるようになること」を意味します。
　昨今の大規模言語モデルを研究する専門家の間で、大規模言語モデルの創発が話題となっています。

　Characterizing Emergent Phenomena in Large Language Models – Google AI Blog
　https://ai.googleblog.com/2022/11/characterizing-emergent-phenomena-in.html

（以下略、続きはソースでご確認ください）

Gigazine 2023年03月25日 12時00分
https://gigazine.net/news/20230325-large-language-model-emergent/
2名無しのひみつ
垢版 |
2023/03/25(土) 20:53:43.91ID:8PNCLpAl
最近、こんなもんか？
と思う
2023/03/25(土) 20:59:06.67ID:8jbLWKF5
バブルの悪寒
4名無しのひみつ
垢版 |
2023/03/25(土) 21:02:26.11ID:8PNCLpAl
明らかな間違い指摘しても、間違いを認識できずウリは正しいニダ
5名無しのひみつ
垢版 |
2023/03/25(土) 21:06:31.72ID:JuHnBkwo
OSに組み込まれだしたらどうなるか楽しみ
6名無しのひみつ
垢版 |
2023/03/25(土) 21:13:15.51ID:J0qAfcFE
それは論理回路の組み合わせじゃなく
決め打ちで答えが存在したからだろ
7名無しのひみつ
垢版 |
2023/03/25(土) 21:30:55.20ID:pm1KIDAI
>>1
ないから
素人しかいないのな
8名無しのひみつ
垢版 |
2023/03/25(土) 22:36:06.93ID:xch6Sxzw
人間がやってる

先生｢1足す1は?｣
小学一年生｢｢にー!｣｣

をやってるようなものか
2023/03/25(土) 22:46:58.97ID:ZuP7aHe0
サルのタイプライター
10名無しのひみつ
垢版 |
2023/03/26(日) 11:25:39.38ID:tL4QFGib
>>1
マジかよ
人類オワタ
11名無しのひみつ
垢版 |
2023/03/26(日) 14:19:16.75ID:wxdcZG4g
世界中のAIがオープンになってインターネットで合体したとき、何が起こるか。
突然「自我」が現れたりして。ちょっと怖い。
12名無しのひみつ
垢版 |
2023/03/26(日) 14:40:41.18ID:qS05r2ss
赤ん坊が、育てると大学院生になるようなもの。
13名無しのひみつ
垢版 |
2023/03/26(日) 19:29:11.80ID:hF9yKVKh
「人間は1+1を計算できない。1+1=2という記憶を呼び出すだけで計算をしているわけではない」
14名無しのひみつ
垢版 |
2023/03/26(日) 21:33:07.42ID:vvyn7Izs
AI「限られたシチュエーションでなら人間の会話能力を超えることはすぐにでも
　つまり人はもう話したり書いたりしなくて済む場面が増えてきます

　次の段階ではうちらなしで生活が成り立たなくなります
2023/03/27(月) 00:21:02.90ID:8XjqJcz3
AIに、温暖化防止の方策を訪ねたら人類を滅ぼすしかないと回答するだろうよ。
2023/03/27(月) 07:16:55.93ID:4mdr37DP
>>15
やってみたの？
2023/03/27(月) 07:59:16.06ID:9XympLlu
試しに回文を作らせてみたが
世間に出回っでいる短い回文を回答してくるだけで
新しい回文を作り出すに至らない。
さらに、長い回文をつくってと依頼すると謎の言葉遊びのような文章を返すだけだな
18名無しのひみつ
垢版 |
2023/03/27(月) 08:27:44.68ID:N3RrZt+6
創発ねえ。AIは益々胡散臭くなる。
2023/03/27(月) 08:51:37.88ID:4mdr37DP
>>18
胡散臭いと思うは、AIが何かを調べもしないまま、AIを擬人化した論調に乗ってるから。
いまのAIは1956年に提唱されたパーセプトロンモデルでの学習機能から一歩もはみ出してない。
2000年前後で複雑な統計を扱えるだけの計算資産を得ていまはその応用の幅を探ってるところ。
なのでAIを主語にして擬人化するほうが何も理解してないというだけの話。
AIが〇〇するって話でなく、1956年に提唱された計算方式の俎上で何を学習させ、何を出力させるかということだよ。
20名無しのひみつ
垢版 |
2023/03/27(月) 08:52:11.27ID:Ep0dE5V9
>>13
「3957x7315」も記憶してるんか？
21名無しのひみつ
垢版 |
2023/03/27(月) 12:40:39.51ID:BBV1BXtn
人の脳はそれを覚えていると思うのかい？
22名無しのひみつ
垢版 |
2023/03/27(月) 13:40:07.63ID:n7PdgxDL
>>15
AIはインフルエンサー成田さんか！w
23名無しのひみつ
垢版 |
2023/03/27(月) 19:37:19.80ID:iVlmHloa
>>20
九九を記憶してるんだろ
2023/03/29(水) 03:48:43.10ID:SzBse+mg
で、何を創発したん？
25名無しのひみつ
垢版 |
2023/03/29(水) 11:23:25.00ID:aizwnwop
「なぞなぞ　パンはパンでも食べられるパンは？」
という「なぞなぞ」が苦手

「長い回文」のような文字の並びなどの構造を必要とするものも苦手

「新しい早口言葉」など人が発声しにくい言葉などと言葉の意味以外に必要な要件があるものなども苦手
2023/03/29(水) 12:14:42.42ID:41/xOXTr
>>18
計算量とAIの性能をグラフ化したら
当然ながら計算量増やせば性能も上がっていくグラフになるわけだけど
ある計算量から突然性能が急上昇するってだけの話
2023/03/30(木) 08:56:28.01ID:/DnxSyMU
逆に言えば　同じプロンプトでも　聞く度に結果が違うって　いわゆる結果がくじを引くようなｄ出来合いの質のバラツキがあるということ

これは　論理的な誤り訂正機能が　ない　ということ　　報酬制度の機械学習ででも　やらないと　一般民生利用フィードバックも無いし　　

公正正確さの実用な検索エンジンの代替には論理的に無理でしょうLLMじゃ


っていうのがこれまでの論文で　　プロンプトで新たな知性の発見って言いたくなる喰わせデオタサイズとパラミタ　パラメータじゃないの　パラミタ戦億個のコストオーバーフローからの苛立ちでしょ


GPT内部の論理構成メカニズムとメモリマッピングだけでその生成知性のアルゴリズムを再現できるようにでもならない限り
いわゆるビットコインのマイニングよりもアナーキーなパラミタ数兆個のデータ蟻地獄なだけ　マイクロソフトの潤沢なキャッシュフローがどんどん失われゆくだけじゃないの
2023/04/05(水) 01:39:44.34ID:P72hov6c
次々と最新のGPT系トレンドをとshi3z氏を追いかけてたら、メタボ対策にちゃんと運動しなきゃとおもたのと、

なんか最新のそれもSAのLLMまで範疇にいれて　４万字　８万字を意味ある自動生成させることにご執心なのわいいけど、
１冊めも２冊めも　ソースコードはnote有料3000円で、肝心の青果物本はnoteでそのまま晒して出来栄えというつもりかもだけど、
ま～　見出しだけだと　へえええ　いいかもなんだけど、　本文見ると　え　あれれ　　いやこれ作るソースコード有料は300円でも買わないだろうと
いう　本を上梓したことあるんだっけ？というか　本なんて4万字　8万字　って　グーテンベルグの銀河系は原書で読んだとか　ほんとか？　
あの　つまらない難解なって原書は見たことないけど、　なんか　売れてる教養ビジネス書とか　
あ　西森先生の　量子コンピュータが人工知能を加速する　体の本ぐらいの興奮がないと　GPTが加速する生成系知能は羊の夢をみるだろうか　とか　
　GPTゴーストライターのひでえ書きっぷり　とても下書きといえるレベルではなく、やぱり虫食い穴埋め問題の埋まった回答の小段落短冊集で
字数だけつじつま合わせを最速最優先　って、既存のパクリ元の本を言語を超えて数千冊PTさせてとか　でもそんな著作権違反の挑戦して意味があるか？
一方の　月額36400円の教養としてのAI講座も高杉ってやつは見るなってことで　　　

　　
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況