探検

【AI】ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能 [すらいむ★]

■ このスレッドは過去ログ倉庫に格納されています
1すらいむ ★
垢版 |
2023/02/25(土) 20:57:48.53ID:SHaqqmj3
ChatGPTをオープンソースで再現、わずか1.6GBのGPUメモリですぐに使用でき7.73倍高速なトレーニングが可能

　OpenAIの対話型AI「ChatGPT」は史上最も急速な成長で「月間1億ユーザー」をわずか2カ月で達成するなど、大いに注目を集めています。
　それに伴い、GoogleがChatGPTのライバルとなる会話型AI「Bard」を発表したり、中国企業が続々とChatGPT風AIを開発していると報道されている一方で、OpenAIはChatGPTのコードを公開していないためChatGPTを効果的に複製することは難しくなっています。
　AIのディープラーニングトレーニングを最適化するオープンソースプラットフォームのColossal-AIが、ChatGPTトレーニングプロセスをわずか1.6ギガバイトのGPUメモリで7.73倍高速なトレーニングに再現したと告知し、オープンソースで公開しています。

（以下略、続きはソースでご確認ください）

Gigazine 2023年02月24日 08時00分
https://gigazine.net/news/20230224-colossal-ai-chatgpt/
2023/02/25(土) 21:05:19.22ID:CMOXYGZw
>>1
たった1.6GB!!!!!

これならGTX1060の3GB版ですら使えるくらいじゃないか！！！

あるいは上手にメモリ制限しながらなら
8GBVRAMの多くのGPUで複数の言語モデルを動かして
互いに対話させるとか
あるいは12GBVRAMのGPU上でメモリを分かち合って物体検出モデルと組み合わせて使う、
なんてのが可能になるのか
2023/02/25(土) 21:21:42.80ID:fHuQ6Ts2
最初から出せや
2023/02/25(土) 21:27:36.85ID:xH0iKXuD
ブラウザでやってる時処理はクラウドでやってんの？
2023/02/25(土) 21:36:54.05ID:HekbiyTR
有料化して月20㌦もふんだくろうとしてるchatgptが泣きを見るのは良いニュース
2023/02/25(土) 22:03:59.63ID:fautA8E+
押入れを抜けるとそこは岩国だった。
2023/02/25(土) 22:59:57.57ID:KIQ9JgwB
ソースはGIGAZINE
2023/02/25(土) 23:05:50.59ID:CMOXYGZw
GIGAZINEとカラパイアとnoteとqiitaとGithubで日が暮れるｗ
2023/02/25(土) 23:50:57.87ID:Lq+Jmvy7
1.6GBを「わずか」と言えるような時代になったんだね
俺の若い頃は64kBの壁がどうこう言っていたものだ
2023/02/26(日) 00:32:50.28ID:Qj33pJRN
640KBの壁の事ならHIMEM.SYSやLUMB.EXEを駆使してやりくりしてたな
2023/02/26(日) 00:55:20.02ID:rnSxghTZ
128MB使うプログラムをスーパーコンピューターに送って順番待ちしながら
この計算がパソコンで出来たらどんなにいいだろうと思ってた頃
2023/02/26(日) 01:04:05.25ID:9YE2l+Zq
隙あらば爺の昔話
13名無しのひみつ
垢版 |
2023/02/26(日) 01:17:20.38ID:6TlrxQud
そんなによければGoogleも苦労しないでしょw
2023/02/26(日) 02:03:08.76ID:LUFtOhGf
個人向けChatGPTを持てば、ユーザーの癖を学習して代わりに仕事してくれるようになるとか？
2023/02/26(日) 04:08:57.65ID:hzTX77DY
もはやOPENEYESの時代だ！光りも闇も表も裏も全てのカラクリインチキイカサマが明らかになるときだ！wwwwww
片目じゃ駄目だよ両目だよ！www
2023/02/26(日) 04:16:28.12ID:hzTX77DY
>>15
オープン•アイズ•トゥルース•ドラゴン飛翔！
ターンエンドや！wwwwww
17名無しのひみつ
垢版 |
2023/02/26(日) 06:50:43.01ID:Hu4pwj9a
しかしこの分野での日本の存在感まったく無いな…
第5世代コンピューターで世界最先端の時代もあったのに…

失敗と決めつけて予算を切った罪務省のせいやな
18名無しのひみつ
垢版 |
2023/02/26(日) 07:06:19.33ID:FvFmLdDd
問題は速度じゃないんだがｗ
2023/02/26(日) 07:23:25.62ID:qcrt2x0s
できる事少ないだろうけど
おもしろそう
2023/02/26(日) 07:25:58.22ID:IsDKvagr
>>12
直近の技術史も覚束ないようなのが現状の技術に取り組めてるとはとても思えない。
21名無しのひみつ
垢版 |
2023/02/26(日) 08:07:34.45ID:DT9/J0Z3
トレーニングしたAI同士の中で一番成果を上げたAIがAI同士を繋げるAIになって、その中で成果を上げたAIが統括し今後の方針を決めるAIになると。
それで得られる利益を人間が享受すると考えれば、なんか何処かで聞いた話しやなw
2023/02/26(日) 08:29:41.24ID:W0PH3sMb
使用料は上場企業から徴収する仕組みにしよう。
2023/02/26(日) 08:57:49.39ID:E9/ArpA5
これ、PS5あたりでも組み込めるって事？
繋げば何か出来そう
24名無しのひみつ
垢版 |
2023/02/26(日) 10:00:24.56ID:bjJ09vAU
>>3
提供してもらってる立場でその物言いは引くわ
25名無しのひみつ
垢版 |
2023/02/26(日) 12:15:05.45ID:w1CwOh6a
日本語での受け答え翻訳が不正確
英語でQ&Aすべきだな
英語でも間違っていることあるけど
26名無しのひみつ
垢版 |
2023/02/26(日) 12:19:19.37ID:w1CwOh6a
>>17
何年も前に人工知能研究で中国人研究者に笑われて相当のショックだったらしい
その時点で世界の最先端からは完全に蚊帳の外だったのだ
方針転換したころにはすでに周回遅れ
27名無しのひみつ
垢版 |
2023/02/26(日) 12:20:55.10ID:w1CwOh6a
日本は情報収集＆発信の意志と能力が決定的に欠けている
英語が不自由なせいもあるだろうな
2023/02/26(日) 12:58:55.73ID:AgeiX5sH
老害は何でも否定、隙あれば自分語り
内容も大した事はない。
2023/02/26(日) 13:06:03.74ID:cNfOfY5K
一体どう表現したら文句付かないかという本質から外れた事に費やす時間が大幅に減らせそうだ。助かるよこれは。
2023/02/26(日) 14:20:42.00ID:qcrt2x0s
今老害wって年上馬鹿にしてる奴は
数十年後その老害っぽい事をやるようになるし、
その時若い世代から同じようにバカにされるようになるよ
2023/02/26(日) 14:43:39.85ID:vFF/gKVE
それは単に歴史は繰り返す事の一例に過ぎないし、今の老害が嫌悪され馬鹿にされないための予防線にはならない

老害はやはり何を言っても老害でしかないな
2023/02/26(日) 16:13:40.97ID:SkA78HCP
1.7兆のパラメータを教育するのにどんくらいかかるんやろ？
2023/02/27(月) 05:41:13.36ID:t94bVdNZ
>>9
そうそう
たいていはnear jumpで十分だった
2023/02/27(月) 09:35:50.03ID:jf2epbuD
データはどうするの
2023/02/27(月) 09:46:23.04ID:u3ymtAzP
青空文庫みたいに著作権が切れてる図書の学習でどこまでいけるかな
2023/02/27(月) 09:49:36.42ID:u3ymtAzP
>>30
若い頃から異なる世代と相互理解を心がけない人は年取ったらますます酷くなりそう
2023/02/27(月) 13:51:52.73ID:qWbhtyGE
1.21ジゴバイト以下では無理なの？
2023/02/27(月) 14:20:41.43ID:8xjjD6Um
ワイドショーのコメンテーターとかAIのが良さそう
2023/02/27(月) 18:20:45.28ID:kxJzUhA+
>>38
AIコメンテーターって割とすぐ登場してくると思う
最初は用語解説から始まって、だんだんAI池上彰みたいな存在になる
いずれは政治的スタンスや偏見も混ぜていってAI玉川徹や青木理が誕生する
2023/02/27(月) 23:48:45.11ID:CsWi6FnO
>>30
むしろ最近は若いのに老害みたいなこと言ってるやつ多いぞ
マインドが老人のZ世代
2023/02/28(火) 01:12:54.54ID:BeWk2R3j
というか対立煽りは中華工作を疑った方がいいよ（間接も含む）。世代、性別、地域（特に沖縄）、などなど。
日本語書いてたって日本人とは限らない。
日本語を見たら無条件で日本人と思っちゃう人が多いから簡単に誘導できる。
2023/02/28(火) 07:29:24.75ID:YBuH4Len
当然ですが
学習データは別
2023/02/28(火) 13:20:23.58ID:IWSDECuh
学習ソースは厳選して
5chとwikiで十分だな
44名無しのひみつ
垢版 |
2023/03/01(水) 13:20:06.56ID:VANAqpcu
AIが煽りを書く日も近いw
2023/03/01(水) 16:28:52.95ID:neOHrXuZ
煽れと指示されて煽るとか、何か指示されて手段として煽るAIは近いけど
何も指示されないで自発的に煽るAIはまだ遠い。
2023/03/01(水) 16:34:01.39ID:H6XnN8qB
昨日はじめて試したけど、延々回答が帰ってこなくてブラウザ閉じたわ
47名無しのひみつ
垢版 |
2023/03/01(水) 19:22:05.52ID:JnIKNYxO
何回か使ってみたけど結局ググった事まとめた程度のことしか言わないし
新しい事言うようなAIが出来たら起こして
2023/03/02(木) 00:06:59.82ID:joTd0UwP
ググった事をまとめることもできない科学記事があふれ返る中で、あれだけの質のものをアウトプットできるAI登場の意味が理解できない老化した脳の奴が多いんだな
49名無しのひみつ
垢版 |
2023/03/02(木) 01:34:27.44ID:sCMWtgUz
なるほどね
日本をディスるためにC国を引き合いに出してくるのが的外れ感あったわ
お前んとこじゃないだろー
ってみんな分かってるからわざわざ触れないってわけな
確かに工作員のどーでもいい対抗煽りに話を邪魔される方がよほど有害か
2023/03/08(水) 22:21:18.53ID:L+7UjkFY
chatGTPにマッチ棒パズルの難問を頼んでみた
「マッチ棒２４本をつかって正方形をつくれ」
これはすごい難問なんだそうだ
2023/03/09(木) 08:09:09.65ID:02Z6Irbe
正方形が１つとは言ってないな
2023/03/09(木) 13:10:42.97ID:zlWLIZDP
>>49
シナのことをちょっと悪く言った程度で大暴れするから分かりやすいよね。
53新規スレ立て人募集　社説＋の募集スレまで
垢版 |
2023/03/10(金) 01:59:45.32ID:/+Q4LzbK
>>2
鉄ヲタみたいに思える文章。アニヲタやらヲタってみんなそんなんなのか
54新規スレ立て人募集　社説＋の募集スレまで
垢版 |
2023/03/10(金) 03:08:45.54ID:igttlj5J
>>17
政治が幼稚園だからな
2023/03/10(金) 07:43:02.66ID:XzmOqPFd
うちの1030GTでもイケるのかい?
2023/03/12(日) 03:48:01.06ID:hKHpD4Q8
>>1
>PyTorchが80ギガバイトのGPUメモリで最大7億8000万のパラメータモデルしか起動できない一方で、
>Colossal-AIは単一のコンシューマレベルのGPUで満たすことができる最小1.62ギガバイトのGPUメモリで1億2000万のパラメータを満たすことができるとのこと。

ちょっとバカになるみたいだな

一方サービスしてる方のやつはGPT3からGPT4に移行してさらに賢くなる模様
2023/03/12(日) 10:05:10.53ID:r2sJIasD
しかしChatGPTもここ二週間ほどでバカになってるという話を聞く
もともとのパラメーターよりもコントロール側の影響があるのか
2023/03/12(日) 14:02:03.39ID:PWBQHxfA
規制が多くなってその会話はしたくないって言われることが増えたね

だからローカルで自由に発言させたい
そのためには高価なグラボ買ってもいいわ🥺
2023/03/12(日) 14:50:34.96ID:ziDu51Zf
>>57
有料会員にはちゃんと答えるんだよ　ケチな貧乏人にまともに答える意味ないだろ？
60名無しのひみつ
垢版 |
2023/03/17(金) 09:57:39.92ID:u9E9DAKK
「浦島桃太郎の話を作ってください」とお願いすると
傑作が大量生産される。

笑いのツボまで知ってるな
2023/03/17(金) 12:02:45.68ID:16ekkRPU
「東京ウンコチンコという漫才師の持ちネタはどんなものですか？」

答えるんだからすごいよ
62名無しのひみつ
垢版 |
2023/03/17(金) 16:02:17.53ID:r/oFnVkQ
かぐや姫がラスボスの浦島太郎の話を考えてといれたら
乙姫と一緒に月に向かうことになりました
63名無しのひみつ
垢版 |
2023/03/17(金) 19:24:02.32ID:dbWknzPA
chatGPTってけっこういい加減なことや嘘をもっともらしく言うだけのとき多いね。
禅問答の「柏手は右手が鳴るのか左手が鳴るのか」を質問したらきっぱりと「一般的に右手ですが左手が鳴るときもあります」と返されだぜ
2023/03/17(金) 20:39:18.02ID:gKUGQp9o
人間の間でも答えの出てないことをAIに聞いても答えられないから😭
65名無しのひみつ
垢版 |
2023/03/17(金) 22:47:50.55ID:lnRWAg5J
「埼玉県音頭を作ってください、コード進行付きで」
とやったら
歌詞とコード進行を返してきたよ
コード進行なんて作曲じゃんか…なんでできるの？
2023/03/18(土) 19:46:43.79ID:nyyqgXo6
>>17
あれはハードウェア部門は完全な失敗だった
データフロー計算機を三菱と一緒に作ってたのは
ソフトウェアは面白かったから継続するべきだった
ニューラルネットや帰納学習の専門家もいたし
ソフトウェアアーキテクチャの荘園とかも面白かった
2023/03/18(土) 19:52:48.81ID:nyyqgXo6
>>48
纏める力の偉大さが分からないんだろうな
射影は一意でないからそこで総合判断力が必要になると分かってない
分からないからChatGPTも「分からない」
射影こそ力なり
世界は丸ごと頭にすこんとは入らないんですよ
2023/03/18(土) 19:53:30.81ID:nyyqgXo6
>>64
えっ！？
69名無しのひみつ
垢版 |
2023/03/19(日) 17:51:44.66ID:H9cpXIkP
技術屋とかエンジニアとか言われている連中は
顧客という素人に説明するのに苦労するものなのだが
言いたいこと、説明したいことをAIがうまく文章にまとめてくれるようになれば社会の発展に寄与するよな
70名無しのひみつ
垢版 |
2023/03/19(日) 18:43:23.16ID:VJeqMQsI
人類待望の「自分の代りに見積もり作業してくれるAI」の誕生は近いな
2023/03/19(日) 19:04:04.23ID:XZ92jlfK
>>64
人間ではできない大量の計算とか出来るでしょ
それと論理で推測できれば人間の代わりに考えてくれるのでは
2023/03/19(日) 19:11:47.05ID:XZ92jlfK
>>65
埼玉っぽいのができた？
73名無しのひみつ
垢版 |
2023/03/20(月) 07:54:20.93ID:WG5h78pM
出来てたね
妙に秩父推しだったから
秩父まつりに引っ張られていたのかもしれないけれど
2023/03/20(月) 17:20:11.03ID:0zR2Ymjc
>>1
頑張ったわりにガッカリするからあまり広めるのはやめておけｗ
75名無しのひみつ
垢版 |
2023/03/20(月) 20:48:03.12ID:gELEA6cT
>>74
いま大手の大規模AIやってガッカリするのは規制

だからローカルで規制なしでAIに自由にやらせてみたい需要😭
2023/03/23(木) 21:04:59.96ID:xdiYZuqa
キャラブをベースにして延々と執筆して欲しい
77名無しのひみつ
垢版 |
2023/03/24(金) 16:46:49.41ID:94k5OeiD
浦島太郎のお話をラップ調で話して」とかはもう
無茶振りでもなんでもないレベルでこなすね

なんか、こっちが思いつく無茶振りなんて鼻で笑われているような悔しさが
78名無しのひみつ
垢版 |
2023/03/24(金) 17:13:07.14ID:n9QUVWYx
まじ、スゲーよこれ
なんか来年の今頃は恐ろしい事になってそう
2023/03/24(金) 20:54:14.70ID:VjwX8lnw
>>17
最近のai技術の概念てバブル時代付近にできてたみたいだし
海外の研究者が発掘しなかったらそのまま消えてたらしいね

日本このパターン多くない？
2023/03/25(土) 06:16:30.51ID:FVSmu26T
30年前にはニューロやってたし
手書き文字認識くらいはできてたな。
それくらいなら、ただのCPUだけでもできた。

これがブレイクしたのは
GPUで計算量が飛躍的に上がって
ニューロの数を増やせるようになり
層を増やせるようになった。
いわゆる深層学習である。
2023/03/25(土) 06:28:08.49ID:FVSmu26T
今は、googleやアマゾンが保有する
演算能力でAIが席巻されている。

随分昔にコンピュータ将棋から
囲碁の時代になったが、
googleが演算能力であったが
AIの研究の一環でついでにやったふうに
あっという間に囲碁を席巻してしまい

開発競争すらろくに起こらずに
ブームは消えた。

今はこのパターンがChatGPTなどで
今は全世界で同時に大量に
同じようなものが現れているが
すぐに淘汰されて、急速に減っていくだろう。

個人的にはもうAIシステムは
ありふれたシステムになっており
むしろ、楽習させるデータを持つ、
さらに新たに入手でき続けるものが
覇権を取るだろう。
2023/03/25(土) 10:00:03.77ID:TopeKRnw
そんなアホでも知ればすぐ分かる結論を長々と書かなくて良いんだよ
2023/03/25(土) 10:03:35.64ID:jtqogAY8
もちろん初歩も初歩だが、
わからんで迷走してる記事も多いからなあ。
2023/03/25(土) 12:03:09.20ID:6Cwl9wt+
>>80
gpuの性能が上がったんじゃなくて、fpgaやasic使わなくても安価なgpuで十分な精度が出るのが分かって研究者が参入したのが大きい
2023/03/25(土) 13:52:46.18ID:KxbUDF+j
多層がすごいんじゃなくて、多層学習を安定させたのがすごいんだよ。他にも何点かある。
計算パワーだけあっても全然上手くいかないことは計算パワーが足りない頃からわかってた。
86名無しのひみつ
垢版 |
2023/03/25(土) 16:57:11.92ID:gXLYRMRl
AIが導出した結論の根拠となる情報は取り出せるのかいね？
87名無しのひみつ
垢版 |
2023/03/25(土) 17:13:01.90ID:U/E7UPj6
コンパクトなのはいいよね
やっぱそこに痺れる憧れる
2023/03/25(土) 18:52:20.03ID:1KcnBaji
>>86
根拠も添えて、と指示すればいいだけでは
2023/03/26(日) 17:55:23.99ID:esDjZ22C
ローカルで自分用に学習させられるのはよさげ
2023/03/27(月) 10:36:51.58ID:8IOszNKb
また一人一台の時代から一極集中の時代に逆戻りするのかと思ったが個々でAI育てられそうで何より
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況