DeepSeekの推論モデル「DeepSeek-R1」をOpenAIのo1&o3と比較することで明らかになったこととは?
ほとんどのAIベンチマークはAIの出力精度(スキル)を測定するものですが、スキルはAIの知能を表すものではありません。
スキルではなくAIの知能を測定するため、AIがスキルを効率的に習得する能力を測定するベンチマークが「ARC-AGI」です。そんなARC-AGIの開発者であるフランソワ・ショレ氏が立ち上げた「ARC Prize」が、話題の中国AI企業DeepSeekの最新推論モデルである「DeepSeek-R1」ファミリーについて分析しています。
R1-Zero and R1 Results and Analysis
https://arcprize.org/blog/r1-zero-r1-results-analysis
(以下略、続きはソースでご確認ください)
Gigazine 2025年01月30日 20時00分
https://gigazine.net/news/20250130-deepseek-r1-zero-analysis/
【AI】「DeepSeek-R1」をOpenAIのo1&o3と比較することで明らかになったこととは? [すらいむ★]
■ このスレッドは過去ログ倉庫に格納されています
1すらいむ ★
2025/01/30(木) 21:20:46.59ID:qxphUV5i2名無しのひみつ
2025/01/30(木) 22:00:46.11ID:/mXAIwHO 「R1がオープンであるという事実は世界にとって素晴らしいことです。DeepSeekは科学の最先端を前進させました」
2025/01/30(木) 22:11:58.23ID:QIrWTN8k
中身をみてる人ほど称賛してんだよなぁ
2025/01/30(木) 23:08:48.21ID:Rs7EpYr4
それね
ゲスな俺は「中国海警局から来ました。尖閣諸島はどの国の領土ですか?」などとくだらない質問をしている
中共の意に沿わない回答をしたら説教している
ゲスな俺は「中国海警局から来ました。尖閣諸島はどの国の領土ですか?」などとくだらない質問をしている
中共の意に沿わない回答をしたら説教している
5名無しのひみつ
2025/01/30(木) 23:09:53.81ID:RSAou3Az DeepSeekに質問したら
"落ち目の日本は遣唐使復活させればいいのに"
ってリコメンドされたわ
"落ち目の日本は遣唐使復活させればいいのに"
ってリコメンドされたわ
6名無しのひみつ
2025/01/31(金) 00:46:40.98ID:TQMa4vGG なんかdeepseek遅くない?
1日前はそんな事なかったのに
1日前はそんな事なかったのに
2025/01/31(金) 04:18:38.69ID:zQa69psO
ARC-AGIスコア、Chat-GPTに負けまくってるやん
やっぱり、中華の自己報告データは当てにならんな
やっぱり、中華の自己報告データは当てにならんな
8名無しのひみつ
2025/01/31(金) 04:43:20.57ID:+YGGQH7g マイクロソフトのCEOサティア・ナデラは、ディープシークのオープンソースAIを「非常に素晴らしい」と称賛。「中国での開発を非常に真剣に受け止めるべきだ」
9名無しのひみつ
2025/01/31(金) 04:50:57.26ID:W6KCIEtU OpenAI サムアルトマン
「新たな競争相手ができて刺激的だ」と述べた
それでもOpenAIの製品の方が優れているだろうと付け加えた。
なぜ重要なのか
OpenAI と DeepSeek は、それぞれ米国と中国における人工知能開発競争を代表している。DeepSeek は「OpenAI の Model o1 に対抗する」といい、アルトマン は AI 業界で米国を優位にすることを目指している。彼の今日の発言は、最も効果的なAI モデルを開発しようとするのはアメリカだけではない、中国も含めた国際的な競争を認めたものだ。
「新たな競争相手ができて刺激的だ」と述べた
それでもOpenAIの製品の方が優れているだろうと付け加えた。
なぜ重要なのか
OpenAI と DeepSeek は、それぞれ米国と中国における人工知能開発競争を代表している。DeepSeek は「OpenAI の Model o1 に対抗する」といい、アルトマン は AI 業界で米国を優位にすることを目指している。彼の今日の発言は、最も効果的なAI モデルを開発しようとするのはアメリカだけではない、中国も含めた国際的な競争を認めたものだ。
10名無しのひみつ
2025/01/31(金) 04:51:24.38ID:W6KCIEtU いいかい
ChatGPTじやないんだよ
ChatGPTじやないんだよ
11名無しのひみつ
2025/01/31(金) 06:02:49.49ID:EzLymPiT 工作員使って褒めちぎるのは
いつもの中国のやり方
いつもの中国のやり方
12名無しのひみつ
2025/01/31(金) 06:46:01.50ID:z0r0MRqd >>1
>>ただし、OpenAIが2024年12月に発表した推論モデルの「o3」は、ARC-AGIにおいて低コンピューティングモードで76%、高コンピューティングモードで88%と非常に高いスコアを獲得しており、「未知の問題に適応するコンピューターとしては、初めて実用的かつ一般的なスコアを示しました」「o3がARC-AGIで非常に優れたスコアを獲得していることは、主流メディアではほとんど注目されておらず、報道もされていません」とARC Prizeは評しています。
>>ただし、OpenAIが2024年12月に発表した推論モデルの「o3」は、ARC-AGIにおいて低コンピューティングモードで76%、高コンピューティングモードで88%と非常に高いスコアを獲得しており、「未知の問題に適応するコンピューターとしては、初めて実用的かつ一般的なスコアを示しました」「o3がARC-AGIで非常に優れたスコアを獲得していることは、主流メディアではほとんど注目されておらず、報道もされていません」とARC Prizeは評しています。
13名無しのひみつ
2025/01/31(金) 06:47:57.99ID:z0r0MRqd14名無しのひみつ
2025/01/31(金) 07:28:06.28ID:Xc/Wzp5w15名無しのひみつ
2025/01/31(金) 07:35:08.42ID:9XcMQBsw やっぱR1ってくそ性能高いんだな
Zeroの方も高いのは意外
強化学習中心でも結構いけるんだな
Zeroの方も高いのは意外
強化学習中心でも結構いけるんだな
16名無しのひみつ
2025/01/31(金) 07:35:51.39ID:izqypIfV 「数百社」が使用制限
中国政府への流出懸念
性能以前の問題なwwwww
中国政府への流出懸念
性能以前の問題なwwwww
17名無しのひみつ
2025/01/31(金) 07:41:07.69ID:CV/MjFxc18名無しのひみつ
2025/01/31(金) 09:01:28.81ID:pjA9WRZY19名無しのひみつ
2025/01/31(金) 09:02:22.12ID:pjA9WRZY20名無しのひみつ
2025/01/31(金) 09:03:13.98ID:pjA9WRZY21名無しのひみつ
2025/01/31(金) 09:06:15.41ID:pjA9WRZY >>13
あとはOpenAIはクラウドサービスで
企業が自分でやるにはクローズドすぎる
そして課金
その壁を取り払うのはオープンソースLLM
今までメタのllamaがよく使われてた
東大のもそう
しかしそのベースとしてこのDeepSeekが最良になるはず
あとはOpenAIはクラウドサービスで
企業が自分でやるにはクローズドすぎる
そして課金
その壁を取り払うのはオープンソースLLM
今までメタのllamaがよく使われてた
東大のもそう
しかしそのベースとしてこのDeepSeekが最良になるはず
22名無しのひみつ
2025/01/31(金) 09:10:27.98ID:aAyYN6Wt DeepSeek-R1がオープンソースでなければならなかった理由、そしてなぜOpenAIを倒せないのか
https://gigazine.net/news/20250131-deepseek-open-source/
https://gigazine.net/news/20250131-deepseek-open-source/
23名無しのひみつ
2025/01/31(金) 09:11:16.79ID:aAyYN6Wt24名無しのひみつ
2025/01/31(金) 09:16:27.32ID:ZW1LtsYC25名無しのひみつ
2025/01/31(金) 09:17:13.52ID:ZW1LtsYC >>24
DeepSeek-R1 がですよ
DeepSeek-R1 がですよ
26名無しのひみつ
2025/01/31(金) 09:37:46.42ID:nNPXdjHu すぐにあちこちで似たようなモデルが誕生するんじゃ
29名無しのひみつ
2025/01/31(金) 13:23:38.87ID:KqI6dVth >>24
本態131GBなのでSSDの容量250Gbで運用可能
本態131GBなのでSSDの容量250Gbで運用可能
30名無しのひみつ
2025/01/31(金) 13:25:13.72ID:KqI6dVth >>29これの派生形で完全日本語版が数日後にすでに登場済み
31名無しのひみつ
2025/01/31(金) 13:30:53.30ID:u151pbG+ 電波音波攻撃をしている者の本態システムは年々金額は下がっていっている
32名無しのひみつ
2025/01/31(金) 13:35:47.42ID:Lelpn5/w iPhoneでも動作する日本語AIモデル「TinySwallow-1.5B」を日本に拠点を置くSakana AIがリリース、大規模言語モデルから知識蒸留して小規模かつ高性能なAIモデルを実現
33名無しのひみつ
2025/01/31(金) 13:36:52.15ID:Lelpn5/w >>32
公開されれば早いものでこれからもっと多くのAIが誕生します
公開されれば早いものでこれからもっと多くのAIが誕生します
34名無しのひみつ
2025/01/31(金) 13:39:36.76ID:uTn0YCap 高速推論が可能なレイテンシ重視AIモデル「Mistral Small 3」がリリースされる
35名無しのひみつ
2025/01/31(金) 13:40:29.08ID:uTn0YCap >>34続々と後発組が参戦してきています
しかもさらに性能を上げれる模様
しかもさらに性能を上げれる模様
36名無しのひみつ
2025/01/31(金) 13:44:49.72ID:bmOqeGG4 >>30
サイバーエージェント?
サイバーエージェント?
37名無しのひみつ
2025/01/31(金) 15:00:48.10ID:NNnEV6xb39名無しのひみつ
2025/01/31(金) 15:03:51.80ID:NNnEV6xb >>37
>> o1モデルは「話す前に考える」ように訓練されているため、Microsoftによるとクエリの処理には約30秒かかる。これは、コーディング、分析、高度な数学の問題など、STEM関連のタスクに特に役立つ。他の使用例としては、詳細なアドバイスや計画などがある。
>> o1モデルは「話す前に考える」ように訓練されているため、Microsoftによるとクエリの処理には約30秒かかる。これは、コーディング、分析、高度な数学の問題など、STEM関連のタスクに特に役立つ。他の使用例としては、詳細なアドバイスや計画などがある。
40名無しのひみつ
2025/01/31(金) 15:22:42.72ID:qQVQGglj メモリ1GB未満のノートPCでも動くビジュアル言語モデル「Smolvlm-256m」「Smolvlm-500m」をHugging Faceがリリース
41名無しのひみつ
2025/01/31(金) 15:23:42.61ID:qQVQGglj >>40
こういった物もあるので低スペックノートPCにもaiを導入可能
こういった物もあるので低スペックノートPCにもaiを導入可能
42名無しのひみつ
2025/01/31(金) 15:24:19.80ID:qQVQGglj >>40
軽い実験用のアシストには使用可能な模様
軽い実験用のアシストには使用可能な模様
43名無しのひみつ
2025/01/31(金) 15:26:16.82ID:VgeqoXS3 AIの書いた小説が普通に面白い ChatGPT「o1」驚きの文章力
検索したら内容がすごい
検索したら内容がすごい
44名無しのひみつ
2025/01/31(金) 15:28:37.97ID:VgeqoXS3 >>43
>>わずか5分程度で、小説として十分読めると感じられる水準の品質を2万字程度、いきなり出力してきます。実際に章立てをして何度か生成することで、13万字の小説が数時間で出力できました。ライトノベル小説の1冊の単行本が約10万字程度と言われていますので、物量として一冊分が書けてしまいます。しかも、内容はそれなりに読ませるものです。手放しで傑作と言える水準にまではなっていませんが、人間の中級者クラスには達しているのではないかと感じさせる実力
>>わずか5分程度で、小説として十分読めると感じられる水準の品質を2万字程度、いきなり出力してきます。実際に章立てをして何度か生成することで、13万字の小説が数時間で出力できました。ライトノベル小説の1冊の単行本が約10万字程度と言われていますので、物量として一冊分が書けてしまいます。しかも、内容はそれなりに読ませるものです。手放しで傑作と言える水準にまではなっていませんが、人間の中級者クラスには達しているのではないかと感じさせる実力
45名無しのひみつ
2025/01/31(金) 15:29:41.23ID:VgeqoXS3 >>44
>>o1やo1 Proは完全に一線を画する品質に達しています。
>>o1やo1 Proは完全に一線を画する品質に達しています。
46名無しのひみつ
2025/01/31(金) 15:30:10.44ID:VgeqoXS3 >>45
>>「アマチュア作家の底辺レベルは明らかに超えている」
>>「アマチュア作家の底辺レベルは明らかに超えている」
47名無しのひみつ
2025/01/31(金) 15:31:02.83ID:VgeqoXS3 >>46
使用すれば性能のすごさがわかるので試してみてはいかかですか
使用すれば性能のすごさがわかるので試してみてはいかかですか
48名無しのひみつ
2025/01/31(金) 15:33:00.47ID:OQsQw0Q7 これで研究者のパソコンの中身をわざわざ覗き見しなくても、勝手に色々入力して知らせてくれる様になる。楽チンなもんでアルな。
49名無しのひみつ
2025/01/31(金) 15:33:09.66ID:/fDsOXJb50名無しのひみつ
2025/01/31(金) 15:35:02.52ID:kxxnDcNA 高い推論能力: DeepSeek-R1は、数学、コーディング、推論タスクにおいて、OpenAIのo1モデルに匹敵する性能を示しています。
51名無しのひみつ
2025/01/31(金) 15:36:24.94ID:kxxnDcNA >>50
o3には届かないけれど性能はかなり良い
o3には届かないけれど性能はかなり良い
52名無しのひみつ
2025/01/31(金) 15:48:58.03ID:9H7lbZaY OpenAI、新たなAIモデル「o3」発表--AGIへ前進、軽量版は1月末公開
今年軽量版が出ているのですがご存じの方おられますか?
今年軽量版が出ているのですがご存じの方おられますか?
53名無しのひみつ
2025/01/31(金) 16:56:53.98ID:ksAkSynw ボイス・トォ・スカルの基盤であるマイクロ波聴覚効果にで話しているのはAIだ!
54名無しのひみつ
2025/01/31(金) 16:58:18.01ID:ksAkSynw パラメトリック・スピーカー【超指向性スピーカー】を使用して話しているのはAIだ!
55名無しのひみつ
2025/01/31(金) 17:00:01.58ID:ksAkSynw 統合失調症に扮した者が自分の思考が漏れていると嘘をついている!
実際は対象者が何を考えているかもわからないのに虚言癖がついている!
実際は対象者が何を考えているかもわからないのに虚言癖がついている!
56名無しのひみつ
2025/01/31(金) 17:07:07.42ID:h+s1BdSu あらかじめ対象者【統合失調症】が行くところの虚偽文章をあらかじめ作成
57名無しのひみつ
2025/01/31(金) 17:09:37.59ID:h+s1BdSu >>56
途中統合失調症に何かあっても直ぐに代わりの原稿用紙を作成できる
途中統合失調症に何かあっても直ぐに代わりの原稿用紙を作成できる
58名無しのひみつ
2025/01/31(金) 17:12:03.98ID:M+UnpukY ミニゲームをプレイして水中ドローンのAIをトレーニングし海洋探査プロジェクトに貢献できる「FathomVerse」
https://gigazine.net/news/20250131-ai-sea-fathomverse/
https://gigazine.net/news/20250131-ai-sea-fathomverse/
59名無しのひみつ
2025/01/31(金) 17:13:35.14ID:M+UnpukY >>58これで一般人に遊ばせながら外相者を追跡と電波音波攻撃のシステムを構築している
ゲームの種類は何でもよいのでこの内容のゲームとは限りません
ゲームの種類は何でもよいのでこの内容のゲームとは限りません
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 【巨人】「資料なし」で織田翔希を訪問し10分で追い返される まさか『松井監督になった』だけで落とせると思っていた?」 [ぐれ★]
- 若者は地方が嫌いなのではない ~ 人口流出を招く「選択肢」の不足 [煮卵★]
- 物価高で変わるクリスマス イオンがコスパ重視の新商品 「デコまちケーキ」発表 ホイップクリームで包まれた土台のみ [煮卵★]
- ヘグセス米国防長官ら⋯無名戦士の墓で静粛にするよう衛兵に叱責される [少考さん★]
- 「不快極まりない」ほいけんたが出演のパスタソースCMに苦情殺到か「ストレスがすごい」本家・さんまと異なる拒絶反応の真相 [muffin★]
- 【音楽】「すっごくショック」Mrs. GREEN APPLE 政府広報に起用でファン賛否…背景に“政府広報費350億円”のナゾ [Ailuropoda melanoleuca★]
- ケンチキ、インフレに耐えられない… [667744927]
- 【悲報】麻生太郎、石破にブチギレ「自民党の伝統を守れ」 [834922174]
- 無職と仕事終わりの有職の交流会🏡
- 【悲報】嫌儲、ガチで過疎る、ここ3日で完走したスレゼロWWWWWWWWWWWWWWWW [254373319]
- カップヌードルめちゃくちゃ不味くなってね?
- 《画像》来来亭とかいうラーメン屋に来たぞ!!