探検


【国産AI】400億パラメータで日本語特化 情報通信研究機構、独自の生成AIを試作 [oops★]

■ このスレッドは過去ログ倉庫に格納されています
1oops ★
垢版 |
2023/07/05(水) 01:15:54.45ID:kSQ+RuPA
https://image.itmedia.co.jp/news/articles/2307/04/my_0704nict01.jpg
試作モデルの返答例。質問に対する回答ではなく、文章の続きを生成する

https://image.itmedia.co.jp/news/articles/2307/04/my_0704nict02.jpg
存在しない「本居宣長」に関する映画について、映画のあらすじや、その映画にまつわるプロモーション活動に関するテキストが創作されている例など

情報通信研究機構(NICT)が、日本語に特化した大規模言語モデルを試作した。Webから独自収集した350GBの日本語テキストをもとに開発したモデルで、400億のパラメータを持つという。

試作したモデルは、プロンプトを途中まで入力すると、大規模言語モデルが続きのテキストを生成する。ファインチューニング、強化学習などは実施しておらず、「性能面ではChatGPTなどと比較できるレベルではない」ものの、日本語でのやり取りが可能な水準には達したという。ただし、事実と異なる内容や意味をなさないテキストを生成することも確認しているとする。

また、現在「GPT-3」と同規模となる1790億パラメータを持つモデルの事前学習をスタート。学習用テキストの大規模化にも取り組んでいるという。さらに、民間企業、大学、国立研究所などとの共同研究を拡大し、安全に活用できる大規模言語モデルの研究開発に産学官連携して取り組む予定としている。


※以下省略。記事全文はソース元にて

2023年7月4日
https://www.itmedia.co.jp/news/spv/2307/04/news174.html


■国立研究開発法人情報通信研究機構プレスリリース
日本語に特化した大規模言語モデル(生成AI)を試作
~日本語のWebデータのみで学習した400億パラメータの生成系大規模言語モデルを開発~
https://www.nict.go.jp/press/2023/07/04-1.html
2023/07/05(水) 01:16:16.96ID:d5E4PW6z
ドラマを降板、休養中の鈴木京香、激変した現在の姿が話題…激ヤセか、心配の声が相次ぐ
https://hyuih.centromedicopaz.com/0703/byvt/99d0bd.html
2023/07/05(水) 03:51:55.66ID:mLyqpFua
まともに日-英翻訳できるAI笑が現れたら認めてやってもいい
2023/07/05(水) 06:08:31.06ID:VjVEdLKn
WEBから集めた日本語テキストって2ちゃんの過去ログ?
5名無しのひみつ
垢版 |
2023/07/05(水) 06:29:12.22ID:TmDyOp1u
日本語って世界屈指の変化速度と変化率の高い言語だろ
知らねえぞ
6名無しのひみつ
垢版 |
2023/07/05(水) 06:55:55.06ID:igvNVraO
日本語やれたら大したもんですよ
行間を読ませるんだからね
2023/07/05(水) 08:47:20.80ID:vsN1lSPN
400億は少ないなあ
「優しく丁寧な人」への対応でも1桁足りない

日本の重箱の隅つつく層を対象にしたら10兆オーバー必要か
2023/07/05(水) 08:55:46.11ID:BzlZ1Ps/
>>6
縦読みもあるで
2023/07/05(水) 10:57:54.98ID:4WrdlOOY
俺の書いたエロ小説も収集されたんかな
2023/07/05(水) 11:28:20.24ID:H+sMtiZk
現状だと、AIの誤情報を鵜呑みにする人間が危ない
2023/07/05(水) 12:22:50.85ID:CVte7KY8
〇〇の誤情報を鵜呑みにする人間
 ……
 ・映画館? 井戸端?
 ・テレビ
 ・えすえぬえす
 ・chat AI  ← 今ここ
 ……
2023/07/05(水) 19:02:51.88ID:hVDnZAG1
>>8
縦見抜けるようになったら本物やな。
13名無しのひみつ
垢版 |
2023/07/05(水) 20:07:51.21ID:IpB2Phz2
日本は日本語モデルを作れるがai自身は作れない
根本的な更新をすることができなく常に後付け後追いのテクノロジーしか持ってない

もっというとai以上(他国産以上)のものを作れない
14名無しのひみつ
垢版 |
2023/07/05(水) 20:09:16.47ID:IpB2Phz2
中国が作ってアメリカが気に食わなくなるくらいできないと国産なんて夢の話
15名無しのひみつ
垢版 |
2023/07/05(水) 21:09:56.80ID:TmDyOp1u
>>8
紅組「人民とバチバチにバトルしまくった結果斜め読みも初歩レベルという有様です
16名無しのひみつ
垢版 |
2023/07/05(水) 22:27:37.04ID:6Jo5Lr5M
東ロボくん
17名無しのひみつ
垢版 |
2023/07/06(木) 07:38:02.88ID:O6wybWGC
ただチャットgptを日本向けにしてるだけだ
試しに法律関係聞いてみろ
国産なら答えてくれる
だけどパクリモデルの改造に過ぎないので日本の法律を答えてるわけではない
外国(アメリカ)の法律を規準に物事を語ってるから話が噛み合わなくなる
2023/07/06(木) 07:54:28.85ID:Ke0iMGyJ
結局GPUの性能しだいだし
ケチな日本人には無理な分野
19名無しのひみつ
垢版 |
2023/07/06(木) 08:05:18.80ID:O6wybWGC
根本的にオリジナルでなければだめだ
オリジナルという言葉ですらもう定着してるくらい根源がない

0と1以外で物事動かせなきゃだめだよ
もし日本が完全に覇権取るなら
20名無しのひみつ
垢版 |
2023/07/06(木) 16:45:07.17ID:CPCaH939
試作を一々発表するな
2023/07/07(金) 14:19:03.88ID:bUKintfk
>>20
成果発表しないとお金貰えないから
2023/07/07(金) 15:38:51.63ID:JIO7aRjp
予算を割り当てられたんだから報告するのは義務だぞ。
義務を果たすのは当然のことで、報告が次の予算の保証になんかならない。
23名無しのひみつ
垢版 |
2023/07/07(金) 15:57:13.01ID:Y6rlAcHA
AIと言いつつ言語に囚われる謎
2023/07/07(金) 19:23:44.87ID:BrF3+uF9
Gptプリトレーニングレベルで10億円くらいの経費、とか言ってたし、、
金がかかるよな
25名無しのひみつ
垢版 |
2023/07/09(日) 18:58:37.62ID:covCcXZd
ぴゅう太
26名無しのひみつ
垢版 |
2023/07/10(月) 07:01:10.60ID:0fuoTq3W
>>23
多言語データ学ばせる力って実は凄いな
27名無しのひみつ
垢版 |
2023/07/10(月) 23:48:45.58ID:uZnqOCV2
>日本語って世界屈指の変化速度と変化率の高い言語

イミフw

ネラーの使うネットスラングを言ってるのか?
あんなの無くても日本語として会話は可能だし、そもそも日本語の「文法」「音声(発音)」「は世界から見れば
難しい言葉ではない ロシア語やフィンランド語と比べれば「簡単すぎる」としかいいようがない
助詞の数、動詞・形容詞の変化の数など、どれをとっても日本語は「簡単」だ

語彙が多い、表記が難しい、文法や発音とのギャップが酷すぎる・・・と言うのは事実だがね

それを以て「日本語を知ってるオレらスゲーwww」ってのには安易に同調できないなw

少なくとも>>5はスゴくないしw
28名無しのひみつ
垢版 |
2023/07/17(月) 00:42:40.61ID:hrEtrrip
パラメタの多い長期間のトレーニングには
とっても電気代が掛かるはず。
■ このスレッドは過去ログ倉庫に格納されています