https://image.itmedia.co.jp/news/articles/2307/04/my_0704nict01.jpg
試作モデルの返答例。質問に対する回答ではなく、文章の続きを生成する
https://image.itmedia.co.jp/news/articles/2307/04/my_0704nict02.jpg
存在しない「本居宣長」に関する映画について、映画のあらすじや、その映画にまつわるプロモーション活動に関するテキストが創作されている例など
情報通信研究機構(NICT)が、日本語に特化した大規模言語モデルを試作した。Webから独自収集した350GBの日本語テキストをもとに開発したモデルで、400億のパラメータを持つという。
試作したモデルは、プロンプトを途中まで入力すると、大規模言語モデルが続きのテキストを生成する。ファインチューニング、強化学習などは実施しておらず、「性能面ではChatGPTなどと比較できるレベルではない」ものの、日本語でのやり取りが可能な水準には達したという。ただし、事実と異なる内容や意味をなさないテキストを生成することも確認しているとする。
また、現在「GPT-3」と同規模となる1790億パラメータを持つモデルの事前学習をスタート。学習用テキストの大規模化にも取り組んでいるという。さらに、民間企業、大学、国立研究所などとの共同研究を拡大し、安全に活用できる大規模言語モデルの研究開発に産学官連携して取り組む予定としている。
※以下省略。記事全文はソース元にて
2023年7月4日
https://www.itmedia.co.jp/news/spv/2307/04/news174.html
■国立研究開発法人情報通信研究機構プレスリリース
日本語に特化した大規模言語モデル(生成AI)を試作
~日本語のWebデータのみで学習した400億パラメータの生成系大規模言語モデルを開発~
https://www.nict.go.jp/press/2023/07/04-1.html
【国産AI】400億パラメータで日本語特化 情報通信研究機構、独自の生成AIを試作 [oops★]
■ このスレッドは過去ログ倉庫に格納されています
1oops ★
2023/07/05(水) 01:15:54.45ID:kSQ+RuPA2023/07/05(水) 01:16:16.96ID:d5E4PW6z
ドラマを降板、休養中の鈴木京香、激変した現在の姿が話題…激ヤセか、心配の声が相次ぐ
https://hyuih.centromedicopaz.com/0703/byvt/99d0bd.html
https://hyuih.centromedicopaz.com/0703/byvt/99d0bd.html
2023/07/05(水) 03:51:55.66ID:mLyqpFua
まともに日-英翻訳できるAI笑が現れたら認めてやってもいい
2023/07/05(水) 06:08:31.06ID:VjVEdLKn
WEBから集めた日本語テキストって2ちゃんの過去ログ?
5名無しのひみつ
2023/07/05(水) 06:29:12.22ID:TmDyOp1u 日本語って世界屈指の変化速度と変化率の高い言語だろ
知らねえぞ
知らねえぞ
6名無しのひみつ
2023/07/05(水) 06:55:55.06ID:igvNVraO 日本語やれたら大したもんですよ
行間を読ませるんだからね
行間を読ませるんだからね
2023/07/05(水) 08:47:20.80ID:vsN1lSPN
400億は少ないなあ
「優しく丁寧な人」への対応でも1桁足りない
日本の重箱の隅つつく層を対象にしたら10兆オーバー必要か
「優しく丁寧な人」への対応でも1桁足りない
日本の重箱の隅つつく層を対象にしたら10兆オーバー必要か
2023/07/05(水) 10:57:54.98ID:4WrdlOOY
俺の書いたエロ小説も収集されたんかな
10名無しのひみつ
2023/07/05(水) 11:28:20.24ID:H+sMtiZk 現状だと、AIの誤情報を鵜呑みにする人間が危ない
11名無しのひみつ
2023/07/05(水) 12:22:50.85ID:CVte7KY8 〇〇の誤情報を鵜呑みにする人間
……
・映画館? 井戸端?
・テレビ
・えすえぬえす
・chat AI ← 今ここ
……
……
・映画館? 井戸端?
・テレビ
・えすえぬえす
・chat AI ← 今ここ
……
13名無しのひみつ
2023/07/05(水) 20:07:51.21ID:IpB2Phz2 日本は日本語モデルを作れるがai自身は作れない
根本的な更新をすることができなく常に後付け後追いのテクノロジーしか持ってない
もっというとai以上(他国産以上)のものを作れない
根本的な更新をすることができなく常に後付け後追いのテクノロジーしか持ってない
もっというとai以上(他国産以上)のものを作れない
14名無しのひみつ
2023/07/05(水) 20:09:16.47ID:IpB2Phz2 中国が作ってアメリカが気に食わなくなるくらいできないと国産なんて夢の話
15名無しのひみつ
2023/07/05(水) 21:09:56.80ID:TmDyOp1u >>8
紅組「人民とバチバチにバトルしまくった結果斜め読みも初歩レベルという有様です
紅組「人民とバチバチにバトルしまくった結果斜め読みも初歩レベルという有様です
16名無しのひみつ
2023/07/05(水) 22:27:37.04ID:6Jo5Lr5M 東ロボくん
17名無しのひみつ
2023/07/06(木) 07:38:02.88ID:O6wybWGC ただチャットgptを日本向けにしてるだけだ
試しに法律関係聞いてみろ
国産なら答えてくれる
だけどパクリモデルの改造に過ぎないので日本の法律を答えてるわけではない
外国(アメリカ)の法律を規準に物事を語ってるから話が噛み合わなくなる
試しに法律関係聞いてみろ
国産なら答えてくれる
だけどパクリモデルの改造に過ぎないので日本の法律を答えてるわけではない
外国(アメリカ)の法律を規準に物事を語ってるから話が噛み合わなくなる
18名無しのひみつ
2023/07/06(木) 07:54:28.85ID:Ke0iMGyJ 結局GPUの性能しだいだし
ケチな日本人には無理な分野
ケチな日本人には無理な分野
19名無しのひみつ
2023/07/06(木) 08:05:18.80ID:O6wybWGC 根本的にオリジナルでなければだめだ
オリジナルという言葉ですらもう定着してるくらい根源がない
0と1以外で物事動かせなきゃだめだよ
もし日本が完全に覇権取るなら
オリジナルという言葉ですらもう定着してるくらい根源がない
0と1以外で物事動かせなきゃだめだよ
もし日本が完全に覇権取るなら
20名無しのひみつ
2023/07/06(木) 16:45:07.17ID:CPCaH939 試作を一々発表するな
22名無しのひみつ
2023/07/07(金) 15:38:51.63ID:JIO7aRjp 予算を割り当てられたんだから報告するのは義務だぞ。
義務を果たすのは当然のことで、報告が次の予算の保証になんかならない。
義務を果たすのは当然のことで、報告が次の予算の保証になんかならない。
23名無しのひみつ
2023/07/07(金) 15:57:13.01ID:Y6rlAcHA AIと言いつつ言語に囚われる謎
24名無しのひみつ
2023/07/07(金) 19:23:44.87ID:BrF3+uF9 Gptプリトレーニングレベルで10億円くらいの経費、とか言ってたし、、
金がかかるよな
金がかかるよな
25名無しのひみつ
2023/07/09(日) 18:58:37.62ID:covCcXZd ぴゅう太
26名無しのひみつ
2023/07/10(月) 07:01:10.60ID:0fuoTq3W >>23
多言語データ学ばせる力って実は凄いな
多言語データ学ばせる力って実は凄いな
27名無しのひみつ
2023/07/10(月) 23:48:45.58ID:uZnqOCV2 >日本語って世界屈指の変化速度と変化率の高い言語
イミフw
ネラーの使うネットスラングを言ってるのか?
あんなの無くても日本語として会話は可能だし、そもそも日本語の「文法」「音声(発音)」「は世界から見れば
難しい言葉ではない ロシア語やフィンランド語と比べれば「簡単すぎる」としかいいようがない
助詞の数、動詞・形容詞の変化の数など、どれをとっても日本語は「簡単」だ
語彙が多い、表記が難しい、文法や発音とのギャップが酷すぎる・・・と言うのは事実だがね
それを以て「日本語を知ってるオレらスゲーwww」ってのには安易に同調できないなw
少なくとも>>5はスゴくないしw
イミフw
ネラーの使うネットスラングを言ってるのか?
あんなの無くても日本語として会話は可能だし、そもそも日本語の「文法」「音声(発音)」「は世界から見れば
難しい言葉ではない ロシア語やフィンランド語と比べれば「簡単すぎる」としかいいようがない
助詞の数、動詞・形容詞の変化の数など、どれをとっても日本語は「簡単」だ
語彙が多い、表記が難しい、文法や発音とのギャップが酷すぎる・・・と言うのは事実だがね
それを以て「日本語を知ってるオレらスゲーwww」ってのには安易に同調できないなw
少なくとも>>5はスゴくないしw
28名無しのひみつ
2023/07/17(月) 00:42:40.61ID:hrEtrrip パラメタの多い長期間のトレーニングには
とっても電気代が掛かるはず。
とっても電気代が掛かるはず。
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 広島戦力外の矢野ら3選手が球団に「要請書」を送付「信頼関係構築が難しい人物であるとの発言は直ちに撤回されるべき」 [Ailuropoda melanoleuca★]
- GDP速報値は年率0.1%マイナス 4期ぶりのマイナス成長 個人消費は低調 ★3 [首都圏の虎★]
- 中国、3カ国首脳会談で「大国関係の安定促進を議論」 米中露が第二次大戦の戦勝国と強調 [煮卵★]
- 給付イメージ、年収上限450万円 支援金3000万人対象で―片山財務相 [蚤の市★]
- 「仕方ない」「どう考えてもおかしい」生活保護費の見直し“1年前倒し”にネット賛否…国民年金満額より多い支給額に広がる不公平感 [首都圏の虎★]
- あぼーん
- HanaE.sys " Anthropic"
- 【実況】博衣こよりのえちえちホロ雀コラボ🧪
- 🏡
- ( 👁 )
- シチューを米にかけるカスをぶっ叩くスレ
- シャコって美味くも不味くもないよな