【AI】Microsoftがたった13億のパラメーターでGPT-3.5超えのパフォーマンスをたたき出す「phi-1」を発表 [oops★]

LLaMaやFalconといった小型の大規模言語モデル(LLM)が矢継ぎ早にリリースされる中、Microsoft ResearchのAI研究チームが、プレプリントサーバーのarXivで、Transformerベースのモデル「phi-1」を発表しました。このモデルは、パラメーター数がGPT-3.5の100分の1以下の13億しかないにもかかわらず、テスト用データセット・HumanEvalでGPT-3.5を上回る成績を収めたことが報告されています。

以下は、phi-1のパフォーマンスを他のモデルと比較したものです。phi-1はプログラミング能力を評価するためのデータセットであるHumanEvalで50.6％、MBPPで55.5％と、高い精度を示しました。この結果はGPT-4の67％には及びませんが、パラメーター数が1750億のGPT-3.5を上回るものでした。

https://i.gzn.jp/img/2023/06/22/phi-1-large-language-model-microsoft/s3632.png

phi-1がいかに軽量なのかについて、論文の著者のひとりであるセバスチャン・ビューベック氏は「他のHumanEval50％超えのモデルは1000倍も大きいです。例えば、WizardCoderはモデルサイズが10倍、データセットが100倍でした」と説明しています。

「Textbooks Are All You Need(必要なのは教科書だけ)」と題された論文によると、このモデルはインターネットから収集された教科書品質のデータセット60億トークンと、GPT-3.5から生成された教科書データセット10億トークンを使い、8台のNVIDIA A100によるわずか4日間のトレーニングで作られたとのこと。


※以下省略。記事全文はソース元にて

2023年06月22日 20時00分
https://gigazine.net/news/20230622-phi-1-large-language-model-microsoft/


■引用元記事
Microsoft Releases 1.3 Bn Parameter Language Model, Outperforms LLaMa
https://analyticsindiamag.com/microsoft-releases-1-3-bn-parameter-language-model-outperforms-llama/

■論文
Textbooks Are All You Need
https://arxiv.org/abs/2306.11644

にゲット

しかしパラメーター数増やしてもGPT-4を超えられないと言うオチなんだろ
なんでGPT-3.5とか言ってんだ

生成AIエロ動画早よ！

電力食い過ぎ

>>3
人知を超えることを目的でやってるやつと
そこそこ性能をコンパクトにの違いやろな🥺

MSのあれは性格がよくない感じ

独自にもやってたのか
いずれbingにも採用されるんかね

>>3
データ処理の技術ってだいたい似たようなアプローチになるよな。
最初は高性能を目指すんだけど、だんだん高性能なものは似たような品質になってきて区別がつきにくくなって、低性能でも高効率なものに関心が移りはじめる。

私のγ-GPTは530 です。

トレーニングでそうなるなら現実世界もそうなってほしいわ

>>1
（ﾟ∀。）ﾅﾙﾍｿ

Windowsにチャットgpt搭載するから軽量化が必要なんだろ
そしてロボットに組み込まれるようになる

近い将来はプロジェクターに表示されたバスケットボールでシュートできるようになるの

フット用とか膝用のVRをつけて感触とかも再現できるようになってバーチャルコート上でサッカーできるようになる
コートの幅も解像度の可変のように自由自在に変更できる

http://prw.kyodonews.jp/prwfile/release/M101092/201603299305/_prw_PI1im_97XG73oF.JPG

こういったホログラフィックマッピングを使えば三次元で映像を映すことができる

これを使ってバーチャルキーボードがあるように、すでに接触によるポインティング動作が可能になっている

これができればバーチャファイターも3d空間でできるようになる

http

s://xr-hub.com/wp-content/uploads/2019/02/gif-32-2.gif

マリオ64のラジコンが出る

GTPは…3.5。ザコだな

私のGTPは53万です。

1x1 pixel の背景画像を指定するとネットスケープでは極端に描画が遅くなるところ、IEでは描画が瞬時に行われ、これを持ってIEは速い！とか騒いでたんだっけな。

技術は技術だよ

まぁ元はシンプルで組み合わせで多様性を表現してる
極論すりゃ0と1の二つで歪な仮想空間構築できるくらいにはね
ファクターが多けりゃいいってもんでもないよね
知らんが

>>13
搭載するわけないだろ
そんなことしたら他社にモデルを解析されてしまう
Windows はサーバと通信して結果を取得してるだけ

最新AI画像
何も違和感はない。
http://imgur.com/24mA4le.jpg

たった13億って、どういう意味？
なんと13億も、じゃないの？

>>22
そんな懸念知らんがオフラインチャットgptはすでにアプリで出てる

色々と設定が必要なようだが
ググればでてくる
https://gigazine.net/news/20230522-private-gpt/

すぐインストールできりゃいいが素人には難しそうだな

ネットの情報は嘘も多いからチャットgptも学習で曖昧な返事したり断り書きするよな。感情をもたないとかで

でもローカルチャットgptの場合自分で裏付けた資料を読み込ませて学習させることができる

研究用として使えるし、そういった裏付けが取れるものはネットでも評価されるだろう
事実なら

一般的なものよりオカルト絡みのチャットgptとかも出てくるかもしれない

結局技術的な問題が開発として解決したらその読み込ませは最重要になる
自分で本を読み込ませて学習させることは良いか悪いかはわからない
だけど真実ならやって見る価値はある

>>23
痛そう

>>25
オープンソースの GPT モデルを使えばそりゃできるだろうけど
Microsoft が採用してる GPT モデルはオープンソースじゃないから

>>3
そりゃ、3.5と4じゃ必要パラメーター数が一桁二桁違うんだから当たり前
まず3.5超えることを実証しないとその上は目指せない

結局使ってみないと分からんからなあ
プログラムもスクラッチで作ることよりもやり取りする中でこちらの支持をちゃんと聞いてくれるかの方が大事だし
あとGPT-3.5は3550億パラメーターな

>>19
表示中のウェブサイトをファイルで保存したとき
1ピクセルだけの画像が入っていることがちょくちょくあったけど
そういうことだったのか

>>28
それはない
人工知能のりんなのころからマイクロソフトが作ってる
オープンソースというよりwindowsと同じgptと所有者がマイクロソフトでそれを所有者がかけないわけ無い

というかもうマイクロソフトは今後11にgpt搭載するって発表してるよ