前スレ M4以降のMac mini 総合 Part9
https://egg.5ch.io/test/read.cgi/mac/1767679872/
M4以降のMac mini 総合 Part10
■ このスレッドは過去ログ倉庫に格納されています
名称未設定
ローカル生成AIが違法になる日が来るの!?
こういう人増えたよね
名称未設定
家宅やられたら逮捕案件とか絶対出るだろうな、TVニュースで晒される(笑)
名称未設定
注文できるmac miniの構成がどんどん減ってるね
いわゆる「吊るし」と言われる16GB/256GBが注文できなくなってる
いわゆる「吊るし」と言われる16GB/256GBが注文できなくなってる
名称未設定
アプグレチャレンジできなくしただけか
名称未設定
いよいよ新型でるのかな?
M5AIRを見送って待ってるんですよ!
M5AIRを見送って待ってるんですよ!
メモリ不足の影響で秋まで出ないことが濃厚になったよ
M5 mac miniそろそろでるでしょ
mac miniはほとんどはネット注文できなくなってるようだし
bic cameraでm4 mac miniは生産終了と表示されていたらしい。
appleからbicに通知あったのかもしれない
mac miniはほとんどはネット注文できなくなってるようだし
bic cameraでm4 mac miniは生産終了と表示されていたらしい。
appleからbicに通知あったのかもしれない
名称未設定
名称未設定
YouTuberがそんなこと言ってたね
名称未設定
名称未設定
ハルシばっかのローカルAIなんて需要ある?
>>106
一般人はいらないかもしれないが、
プログラミングする人はLocal LLM欲しくてしょうがないんだ。
例えばClaude Codeは月200ドルもする。サブスクの維持費が高すぎて使えない
賢いlocal LLM動かそうとすると現状はハード、GPU、メモリなどが高いが
3年以内には20万以下のハードでも実現可能になるだろう。
一般人はいらないかもしれないが、
プログラミングする人はLocal LLM欲しくてしょうがないんだ。
例えばClaude Codeは月200ドルもする。サブスクの維持費が高すぎて使えない
賢いlocal LLM動かそうとすると現状はハード、GPU、メモリなどが高いが
3年以内には20万以下のハードでも実現可能になるだろう。
ただLocal LLM考えると
appleのunified memoryのデザインは最悪だ
最大メモリがしょぼすぎる。
今後local LLM流行りだしたらunified memoryはappleは捨てると読んでいる。
メモリ少なくてLLM利用者に相手にされなくなる。
appleのunified memoryのデザインは最悪だ
最大メモリがしょぼすぎる。
今後local LLM流行りだしたらunified memoryはappleは捨てると読んでいる。
メモリ少なくてLLM利用者に相手にされなくなる。
名称未設定
おしりくちゅくちゅ揉んだれ♪
月200ドルなんて高くないし
疑問がられているのは、そう言う書いてるか書いてないかって意味よりも
現実的に実行できる環境構築と理想像の剥離が広すぎて
AI云々を駄弁れる事してないだろ。って事だと思うが
現実的に実行できる環境構築と理想像の剥離が広すぎて
AI云々を駄弁れる事してないだろ。って事だと思うが
仕事で使うなら高くない
趣味で使うだけなら高い
趣味で使うだけなら高い
名称未設定
趣味こそ金なんていくらでも突っ込むだろ
要するに高くないよな
だからLLMに走るってのも分からんし
だからLLMに走るってのも分からんし
>>114
アプリ公開してる人は趣味でもあり仕事でもある
アプリで利益だそうとしてるから趣味とも違う。
副業でやってる人も多い
あと仕事ならリーマンは会社が金だしてるわけだから高くなくてあたりまえ
それ自分では金払ってないだろw
アプリ公開してる人は趣味でもあり仕事でもある
アプリで利益だそうとしてるから趣味とも違う。
副業でやってる人も多い
あと仕事ならリーマンは会社が金だしてるわけだから高くなくてあたりまえ
それ自分では金払ってないだろw
名称未設定
金出せない奴はいつまでも待っていればいいのさ。
>>120
年間なら38.4万。高いでしょ普通に
あと勘違いしてる人多すぎだが200ドルのプランでも使い放題じゃないんだよ
利用制限かかってしまう
あとはセキュリティ的にはLocal LLMが圧倒的に安全。
AIのせいで機密情報もらしてる事例がおおすぎる
AIなしではコーディングできない人は払わざるを得ないんだろうけど
自力でコーディングできるからそんなに急いではいないということ
年間なら38.4万。高いでしょ普通に
あと勘違いしてる人多すぎだが200ドルのプランでも使い放題じゃないんだよ
利用制限かかってしまう
あとはセキュリティ的にはLocal LLMが圧倒的に安全。
AIのせいで機密情報もらしてる事例がおおすぎる
AIなしではコーディングできない人は払わざるを得ないんだろうけど
自力でコーディングできるからそんなに急いではいないということ
名称未設定
AIのせいで機密情報漏らしてる事例なんて見つからないけど?
>>123
AIは致命的な間違いを犯すからしょっちゅう事故は起こってる。
昨日もこんなとんでもない事故。おまえらこれでもAIに月に3万払う?
AIエージェントが本番環境のデータベースとバックアップを全破壊
https://gigazine.net/news/20260427-ai-coding-agent-deleted-database/
AIは致命的な間違いを犯すからしょっちゅう事故は起こってる。
昨日もこんなとんでもない事故。おまえらこれでもAIに月に3万払う?
AIエージェントが本番環境のデータベースとバックアップを全破壊
https://gigazine.net/news/20260427-ai-coding-agent-deleted-database/
クラウドAIとローカルAIの差は縮まるかもしれないが、
追いつくことは絶対にないし、
高いとか言ってる人は3年後も同じようなこと言ってるんじゃないかな
今3万円かけてでもやれることやっといた方が得すると思うけどねぇ
コーディングスピードも桁違いだし、ちゃんと使えば余裕で元取れるわ
情報の取扱い方だけは気を付ける必要あるけど
追いつくことは絶対にないし、
高いとか言ってる人は3年後も同じようなこと言ってるんじゃないかな
今3万円かけてでもやれることやっといた方が得すると思うけどねぇ
コーディングスピードも桁違いだし、ちゃんと使えば余裕で元取れるわ
情報の取扱い方だけは気を付ける必要あるけど
ぶっちゃけーカルLLMでQwen やGemmaを制限なしの無料チャットとして使えるだけでも十分価値があると思うわ。数年前を思えば本当にすごいことなのに、いかんせん今のGPTやClaudeの処理スピードや品質と比較してしまうから感覚が麻痺してる。
名称未設定
mac miniなら消費電力も気にならんから24時間稼働させてAI鯖にするつもり
運よく午前中に注文出来た整備済品が早々と発送されたな
>>125
3年後はただの緩めの予想だ。
各社DRAM増産が2027年といわれてるから2028年には
DRAMはかなり安くなる。
それを受けてVRAMを大量につんだGPUなどが2029年には出るはず。これが3年後の根拠。
DRAM slotが大量にあるマザーもでるかもしれない。Local LLM向けだ。
追いつく必要はない。モデルは最高性能でなくてもいい。最高のモデルは常に高くつくから。
自分の用途で使えるレベルと思った品質、速度を達成すればいい。
3年後はただの緩めの予想だ。
各社DRAM増産が2027年といわれてるから2028年には
DRAMはかなり安くなる。
それを受けてVRAMを大量につんだGPUなどが2029年には出るはず。これが3年後の根拠。
DRAM slotが大量にあるマザーもでるかもしれない。Local LLM向けだ。
追いつく必要はない。モデルは最高性能でなくてもいい。最高のモデルは常に高くつくから。
自分の用途で使えるレベルと思った品質、速度を達成すればいい。
バカかコイツ
2年先とか3年先がどうなってるかとか、
そんなこと考えても何の意味もないよな
ことAIに関しては特に
そんなこと考えても何の意味もないよな
ことAIに関しては特に
>>131-132
Localで実行できるかの目安がDRAM/VRAMだと俺は気づくし
おまえらは気づいてないというだけ
DRAM企業ののニュース追いかけてれば2027から2028年に
下がるとみるのは合理的な予想
見えてる世界の広さが違う
Localで実行できるかの目安がDRAM/VRAMだと俺は気づくし
おまえらは気づいてないというだけ
DRAM企業ののニュース追いかけてれば2027から2028年に
下がるとみるのは合理的な予想
見えてる世界の広さが違う
広さ()
なぜこうも極端で、合理的と判断する材料が大衆主義的な俗解なのか
なぜこうも極端で、合理的と判断する材料が大衆主義的な俗解なのか
そもそもローカル連呼の割にモデルやライブラリの具体例が微塵もなく、
ただただデカい数字を求めているだけで、それが何のために求めているかも曖昧だ。
そんな印象を持たれるくらい常時フワッフワ。
それでいてこの言いぐさと言うか、鼻の穴膨らませてて迷惑だなぁ
ただただデカい数字を求めているだけで、それが何のために求めているかも曖昧だ。
そんな印象を持たれるくらい常時フワッフワ。
それでいてこの言いぐさと言うか、鼻の穴膨らませてて迷惑だなぁ
>>135
週単位で新しいモデル出てくる状況だし
ここのひとはそもそもDeep Seek V4のベンチマーク結果すら
知らない人ばかりなのだから数字だしても伝わらない。
ClaudeもOpus 4.7で逆に頭が悪くなったとか言われてる。
ハードもソフトの知識もなくニュースも見ていない上に
プログラミングもできない、そんな人に話しても的外れなレスしかこないだろ
週単位で新しいモデル出てくる状況だし
ここのひとはそもそもDeep Seek V4のベンチマーク結果すら
知らない人ばかりなのだから数字だしても伝わらない。
ClaudeもOpus 4.7で逆に頭が悪くなったとか言われてる。
ハードもソフトの知識もなくニュースも見ていない上に
プログラミングもできない、そんな人に話しても的外れなレスしかこないだろ
今動けてないやつは3年後も動けてないよw
永遠に待ちつづけてただ時間が過ぎていくだけ
永遠に待ちつづけてただ時間が過ぎていくだけ
純粋に疑問なんだけどなんで今MacユーザーだけLocalのLLMに熱中してんの?
WinとかLinuxの方だと一通りエロ絵生成するぐらいで生成AI活用するならクラウドだよねって流れだと思うのだが
WinとかLinuxの方だと一通りエロ絵生成するぐらいで生成AI活用するならクラウドだよねって流れだと思うのだが
名称未設定
>>138
悪い言い方すれば周回遅れ。
良い言い方すれば一般家庭レベルでワークステーション級のライブラリを遅いながらも完走できる。
ってので需要出てきちゃった。
んまぁ、ユニファイド+スワップで物理メモリ以上のグラフィックメモリをiogpulimitで確保した所で
クッッソ遅くてお試しで1回やるだけだと思うが
悪い言い方すれば周回遅れ。
良い言い方すれば一般家庭レベルでワークステーション級のライブラリを遅いながらも完走できる。
ってので需要出てきちゃった。
んまぁ、ユニファイド+スワップで物理メモリ以上のグラフィックメモリをiogpulimitで確保した所で
クッッソ遅くてお試しで1回やるだけだと思うが
エロのためにそこまで金かけるかね
単純に疑問
単純に疑問
プライベート案件とエロ目的が大半だろうな
それ以外ならクラウドの無料AIで事足りるし
それ以外ならクラウドの無料AIで事足りるし
>>138
Windowsでやろうとすると40万円クラスのGeforce必要だったりする。
だからMac miniでお手軽にやってる人が増えてるということ
ただMacでやってる人もたいてい32GBだよ
お絵描きもガチでやってるひとはLocal LLMなんじゃないかね
クラウドは利用制限が厳しくなってる
Windowsでやろうとすると40万円クラスのGeforce必要だったりする。
だからMac miniでお手軽にやってる人が増えてるということ
ただMacでやってる人もたいてい32GBだよ
お絵描きもガチでやってるひとはLocal LLMなんじゃないかね
クラウドは利用制限が厳しくなってる
今70万
ローカル向けのLLM、今はVRAM16GB程度のミドルレンジGeForceで十分動くほうに進化してきてるから、やっぱMacいらんで
なんか偉そうに語ってるわりには微妙に情報が古いんだよなこの人
なんか偉そうに語ってるわりには微妙に情報が古いんだよなこの人
そもそもお絵描き() AI生成は元から自家だろうが
ってツッコミも追加で
ってツッコミも追加で
>>147
具体的にどのグラボだよ
GPUピンキリすぎてミドルレンジじゃわからない。
あと16GBだとクラウドAIレベルに性能も速度も遠く及ばないんじゃないか?
実在するならYouTubeとかのURLあげてくれよ
おそいLLMなら俺のコーディングのが速いわけよw
「進化してきてる」そんなことはしってる。
だからこそぼったくりクラウドではなくLocalでやろうとしてるんだろ
Claudeに年間48万もはらっても利用制限ひっかかるなんてだるくてやってられない
具体的にどのグラボだよ
GPUピンキリすぎてミドルレンジじゃわからない。
あと16GBだとクラウドAIレベルに性能も速度も遠く及ばないんじゃないか?
実在するならYouTubeとかのURLあげてくれよ
おそいLLMなら俺のコーディングのが速いわけよw
「進化してきてる」そんなことはしってる。
だからこそぼったくりクラウドではなくLocalでやろうとしてるんだろ
Claudeに年間48万もはらっても利用制限ひっかかるなんてだるくてやってられない
お前、ここ2-3年前に生まれたんか?
ってレベルの認識で笑う。
もうMac板は名人多すぎだよ、
毎年定期的に現れるのは何かの呪い?
ってレベルの認識で笑う。
もうMac板は名人多すぎだよ、
毎年定期的に現れるのは何かの呪い?
名称未設定
俺は新幹線より速く走れるんだ
レベルの妄想垂れ流すのやめろ
レベルの妄想垂れ流すのやめろ
大量のM4 miniはタイとミャンマーの国境付近に持ち込まれ
クラスターLLMとして数十億以上を荒稼ぎするんじゃないのかな?
エロとかとは別次元だろ
クラスターLLMとして数十億以上を荒稼ぎするんじゃないのかな?
エロとかとは別次元だろ
>>151
ほら、具体的な話できないひときた
70万のGPUってなんだよ
おれは価格コムみてるしおまえらのがずれとる
VRAM12GB程度では良質なコーディングモデルは使えない
スワップさせて使えてる、とかは論外な
ほら、具体的な話できないひときた
70万のGPUってなんだよ
おれは価格コムみてるしおまえらのがずれとる
VRAM12GB程度では良質なコーディングモデルは使えない
スワップさせて使えてる、とかは論外な
名称未設定
M5はM4からCPU強くなりそう?GPUとかNPUは置いといて
12GB程度かよw
ドキュメントすら入らんわw
120bでhalo要求するレベルなのにw
ドキュメントすら入らんわw
120bでhalo要求するレベルなのにw
ここは詳しいな
https://jisaku.com/posts/local-llm-llama-gemma-qwen-pc
上で俺がGPU 40万とかいたのはRTX 3090だ。価格コム36万円
おそらく70万とかいたひとはRTX 4090だろうな
どちらもVRAM24GBだ
それで高品質なモデルだとVRAM24GBでも足りないのだ。
他のサイトでもLocal LLMは推奨VRAM24GBとかかれてたのよ
だからRTX3090を念頭に40万円とかいた。ぜんぜんずれてないわけ。
https://jisaku.com/posts/local-llm-llama-gemma-qwen-pc
上で俺がGPU 40万とかいたのはRTX 3090だ。価格コム36万円
おそらく70万とかいたひとはRTX 4090だろうな
どちらもVRAM24GBだ
それで高品質なモデルだとVRAM24GBでも足りないのだ。
他のサイトでもLocal LLMは推奨VRAM24GBとかかれてたのよ
だからRTX3090を念頭に40万円とかいた。ぜんぜんずれてないわけ。
ずれとるわw
rtx3080を1台じゃ12b以下やぞ
コーダー支援で有意義って言われているのが30b以降なのに
rtx3080を1台じゃ12b以下やぞ
コーダー支援で有意義って言われているのが30b以降なのに
rtx3080❌
rtx3090⭕
rtx3090⭕
それこそ一部をオフロードにすれば20bも行ける範疇だが、
スワップ無しでとかほざいたやつがそんな事考える訳ないよな?
どっちにしろ20bじゃチャッピーの領域出てねぇが
スワップ無しでとかほざいたやつがそんな事考える訳ないよな?
どっちにしろ20bじゃチャッピーの領域出てねぇが
>>158
157のサイト読んだか?
24GBで足りない分をDDR5のDRAMで補完してんだよ
お高いGPU2台とか買いたくないし。発熱と電源もどうするんだって話よ
騒音もうるさいだろうし、電気代もバカ食い
GPU使うとしても現実的には1台構成までだろう
157のサイト読んだか?
24GBで足りない分をDDR5のDRAMで補完してんだよ
お高いGPU2台とか買いたくないし。発熱と電源もどうするんだって話よ
騒音もうるさいだろうし、電気代もバカ食い
GPU使うとしても現実的には1台構成までだろう
Miniでいいじゃん。70bを完走できるし、
お前の言っている訳の分からない事なんざ1つもねぇよ。
それにwindowsじゃ"お高い"GPU2台でも足りねーよ
コインマイナーみたいな構築かhaloかDGXぐらい繋げろ
お前の言っている訳の分からない事なんざ1つもねぇよ。
それにwindowsじゃ"お高い"GPU2台でも足りねーよ
コインマイナーみたいな構築かhaloかDGXぐらい繋げろ
名称未設定
それに足りない部分をDRAMが肩代わりしてるってスワップやん。
それをオフロードって言うんだが、別に補完している訳ではないし頻繁になればなるほど遅いし完走もしなくなるぞ。
と言うかDDR5のDRAMって言い回し面白いわ。
共有メモリとかRAMで良いだろ普通w
それをオフロードって言うんだが、別に補完している訳ではないし頻繁になればなるほど遅いし完走もしなくなるぞ。
と言うかDDR5のDRAMって言い回し面白いわ。
共有メモリとかRAMで良いだろ普通w
>>164
スマホでストレージのことをROMと表記するバカ企業増えただろう
だから誤解を招かないようROMとかRAMはあまり使わないようにしてるわけ
DDR5 DRAMなら誤解されようがない
VRAMならDDR5じゃないし
おまえみたいにswapと書いて誤解されないようになってるわけ
スマホでストレージのことをROMと表記するバカ企業増えただろう
だから誤解を招かないようROMとかRAMはあまり使わないようにしてるわけ
DDR5 DRAMなら誤解されようがない
VRAMならDDR5じゃないし
おまえみたいにswapと書いて誤解されないようになってるわけ
何が普通だよ。元の位置から移設された物は全部スワップだし、
勘違いの懸念なんてそんな程度でしか知識のないお前の問題だ。
DDR5で作られたVRAMもあるし、FlashROMをROMと呼ぼうがチャイナ英語には興味なんざないから知ったこっちゃない。それこそお前の語学環境に興味が無い。
それにトークン化された物にモデルの違いなんざメモリに関係するか?
既にトークン化されているんだぞ、「ここが詳しいな」で、お前が提示したURL先のモデル一覧にメモリの推奨書いてあるだろうが。
「LLM」の違いでパラメータ数自体の処理サイズは変わらねーの。
あるのは重み判断の良さとそれに伴う速さだ。
プロンプト稼働中のメモリ消費量はパラメータの数でしかないんだよ
勘違いの懸念なんてそんな程度でしか知識のないお前の問題だ。
DDR5で作られたVRAMもあるし、FlashROMをROMと呼ぼうがチャイナ英語には興味なんざないから知ったこっちゃない。それこそお前の語学環境に興味が無い。
それにトークン化された物にモデルの違いなんざメモリに関係するか?
既にトークン化されているんだぞ、「ここが詳しいな」で、お前が提示したURL先のモデル一覧にメモリの推奨書いてあるだろうが。
「LLM」の違いでパラメータ数自体の処理サイズは変わらねーの。
あるのは重み判断の良さとそれに伴う速さだ。
プロンプト稼働中のメモリ消費量はパラメータの数でしかないんだよ
>>168
長くPCやってきてるひとはスワップといったらメモリからストレージへの退避で
激しく遅くなるやつをイメージするのがふつう
メモリは速いパーツだからメモリへのスワップというのは想像されない。
どうしてもスワップという言葉しか使えないなら「メモリへのスワップ」とかかないと伝わらない
長くPCやってきてるひとはスワップといったらメモリからストレージへの退避で
激しく遅くなるやつをイメージするのがふつう
メモリは速いパーツだからメモリへのスワップというのは想像されない。
どうしてもスワップという言葉しか使えないなら「メモリへのスワップ」とかかないと伝わらない
>>168
モデルによって変わるに決まってんだろw
おまえがプログラミングできないのはわかった。
Mixture of Experts使ってれば全体のパラメータ数と
必要メモリ容量は全然違ってくる。
GoogleのTurboQuantでもメモリ使用量を劇的に減らしたりしてる。
いかに少ないリソースで効果的に結果を出すか
これがモデルの良しあしに直結する。
全部のモデルで同じとかいってるようではなにもわかってない
モデルによって変わるに決まってんだろw
おまえがプログラミングできないのはわかった。
Mixture of Experts使ってれば全体のパラメータ数と
必要メモリ容量は全然違ってくる。
GoogleのTurboQuantでもメモリ使用量を劇的に減らしたりしてる。
いかに少ないリソースで効果的に結果を出すか
これがモデルの良しあしに直結する。
全部のモデルで同じとかいってるようではなにもわかってない
「おそいLLMならおれのほうが速いw」って言うだけのことはあるわ。
長年やってると言う想像は随分と変だな。メモリブロックの反転を使ったアドレス移動もスワップだが、
文脈から想像できないのはソイツが"足りない"か聞いてないのどちらかしかない気がするんだが。
普通にバーチャルメモリとか、windowsはページングファイル、Macは圧縮メモリ(compressed memory)と言う名称もある。
どれを使っても問題ないが、理解力の不足は不足側の問題になり得るぞ。
パラメータ数が違うなら消費メモリ違うだろ。
本当に「ここが詳しいナ」ってお前が提示したURL先すら理解してないのか?
長年やってると言う想像は随分と変だな。メモリブロックの反転を使ったアドレス移動もスワップだが、
文脈から想像できないのはソイツが"足りない"か聞いてないのどちらかしかない気がするんだが。
普通にバーチャルメモリとか、windowsはページングファイル、Macは圧縮メモリ(compressed memory)と言う名称もある。
どれを使っても問題ないが、理解力の不足は不足側の問題になり得るぞ。
パラメータ数が違うなら消費メモリ違うだろ。
本当に「ここが詳しいナ」ってお前が提示したURL先すら理解してないのか?
アホなリーニングを愚直にやって重複した回答を続けりゃそれだけリソースの無駄になる。
それをトークンとしてモデル内に残した所でパラメータは愚直に計算するだけだ。
それを減らすのが最適化であって、減ったらパラメータの数はどうなる?
それをモデルとして持ち上げたところで、
パラメータ数がメモリ消費に直結する。と言う事>>168に何の反論もないって事になるよ。
何が言いたいのお前?
それをトークンとしてモデル内に残した所でパラメータは愚直に計算するだけだ。
それを減らすのが最適化であって、減ったらパラメータの数はどうなる?
それをモデルとして持ち上げたところで、
パラメータ数がメモリ消費に直結する。と言う事>>168に何の反論もないって事になるよ。
何が言いたいのお前?
そもそもMoEはメモリ消費の削減する訳じゃなくて高速化だし
Quantは圧縮技術だし
Quantは圧縮技術だし
ま、パラメータがfp16か32かでサイズが変わるんだがな
>>173
MoE メモリ等の消費リソース削減のための技術にきまってんだろw
TurboQuantも発表と同時にメモリ関連企業の株価が急落したりした
5chやる時間けずってプログラミングの勉強してこい
かなりセンスはなさそうだが
MoE メモリ等の消費リソース削減のための技術にきまってんだろw
TurboQuantも発表と同時にメモリ関連企業の株価が急落したりした
5chやる時間けずってプログラミングの勉強してこい
かなりセンスはなさそうだが
AI Overview
LLM(大規模言語モデル)におけるMoE(Mixture of Experts:混合専門家モデル)は、一言で言うと「モデルの賢さ(性能)を維持・向上させながら、計算コスト(時間・金)を抑える」目的で採用されています。
従来の「全パラメータを毎回使うモデル(Denseモデル)」とは異なり、入力に応じて必要な「専門家(サブネットワーク)」だけを動かすため、以下のようなメリットがあります。
MoEを採用する主な理由
推論の高速化(コスト削減)
モデルのパラメータ総数は非常に巨大(1兆個以上など)でも、実際に推論(回答生成)に動くのはその一部の専門家だけです。
結果として、賢いモデルでありながら、少ない計算資源で高速に動作します。
LLM(大規模言語モデル)におけるMoE(Mixture of Experts:混合専門家モデル)は、一言で言うと「モデルの賢さ(性能)を維持・向上させながら、計算コスト(時間・金)を抑える」目的で採用されています。
従来の「全パラメータを毎回使うモデル(Denseモデル)」とは異なり、入力に応じて必要な「専門家(サブネットワーク)」だけを動かすため、以下のようなメリットがあります。
MoEを採用する主な理由
推論の高速化(コスト削減)
モデルのパラメータ総数は非常に巨大(1兆個以上など)でも、実際に推論(回答生成)に動くのはその一部の専門家だけです。
結果として、賢いモデルでありながら、少ない計算資源で高速に動作します。
大規模言語モデルやベクトル検索エンジン向けに大規模な圧縮を可能にする、理論的に根拠に基づく高度な量子化アルゴリズムのセットをご紹介いたします。
Quantはそう言っているな。
当たり前だが、コイツはデータブロックのベクトル化&検索なだけでMMLではない。
コイツがAIとして機能するのではない。
これはライブラリの最適化アルゴリズムであって、これをMMLと言うのは情弱ぐらいだな
それにMoEはオフロードの技術だ。
GPUメモリが確保できるならそっちの方が速いし、そもそもVRAMが足りないから生まれた技術だ。
結局の所は計算量は変わらないし、そんなチンケなGPUでやるしかない環境向けなんよ
Quantはそう言っているな。
当たり前だが、コイツはデータブロックのベクトル化&検索なだけでMMLではない。
コイツがAIとして機能するのではない。
これはライブラリの最適化アルゴリズムであって、これをMMLと言うのは情弱ぐらいだな
それにMoEはオフロードの技術だ。
GPUメモリが確保できるならそっちの方が速いし、そもそもVRAMが足りないから生まれた技術だ。
結局の所は計算量は変わらないし、そんなチンケなGPUでやるしかない環境向けなんよ
センス皆無だよ。ID:ZCqmSdqI0が
もうこのレスバ大好き人間は無視するか
プログラミングできない人とこういう話しても意味ない
貴重の時間というリソースが無駄になってる
プログラミングできない人とこういう話しても意味ない
貴重の時間というリソースが無駄になってる
もっと早く気付けアホ
ここはお前の砂場じゃねぇし、妄想垂れ流したいなら正当化主張すんなや。
妄想を邪魔されたくないなら妄想から出てくんなし
おかしいから指摘されるし、訂正されるのは間違えているからだろ。
それを意味ないで一蹴するなら何しに来たんだよ。
お前の妄想なんて価値ねぇのよ
もっと反論したいならAI要約とかよりソースを出せ。
そしてソースをよく読んでから話せ。「ここが詳しい」でソース提出側が何も読んでないとかネタかよ
妄想を邪魔されたくないなら妄想から出てくんなし
おかしいから指摘されるし、訂正されるのは間違えているからだろ。
それを意味ないで一蹴するなら何しに来たんだよ。
お前の妄想なんて価値ねぇのよ
もっと反論したいならAI要約とかよりソースを出せ。
そしてソースをよく読んでから話せ。「ここが詳しい」でソース提出側が何も読んでないとかネタかよ
名称未設定
そろそろスレチになってきたから
パソコンの大先生たちどっか他所でやってれないかな
パソコンの大先生たちどっか他所でやってれないかな
どうせ隔離スレだからスレチも何もないと思うが
名称未設定
友達のMac mini で使ってるエクセルの調子が悪いそうなんですが質問いいですか?
名称未設定
まず友達を呼べ
名称未設定
女子高生のフリをしたら親切に教えてくれるかも
名称未設定
>>185
↓こっちにいけ
Mac初心者質問スレッド298
https://egg.5ch.net/test/read.cgi/mac/1766662737/
調子が悪い なんて言われても
エスパーでも解らないけどね
とりあえず再起動くらいさせとけ
↓こっちにいけ
Mac初心者質問スレッド298
https://egg.5ch.net/test/read.cgi/mac/1766662737/
調子が悪い なんて言われても
エスパーでも解らないけどね
とりあえず再起動くらいさせとけ
どうせ大してネタもないし続けていいよ
カンガルーの殴り合いにしか見えないけど
カンガルーの殴り合いにしか見えないけど
カンガルーに失礼だろ
名称未設定
ワラビーならええんですか?
前スレでローカル画像生成でやっぱMac(M4 Pro 64GB)はきついからRTX5070ti搭載のWindowsマシン買ったものなんだけどさ、試しにLMStudioで Gemma4を動かしてみたら、これもMacと比べて出力爆速でマジ驚いたわ。。メモリ帯域が3.3倍も↑だから当然なのかもしれんけど、、マジ感動したわ。
しかも使用中にファンが轟音状態になるMac mini とくらべて静かなままだし。
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 【速報】高市首相の空港出迎え「適切」と中国 [蚤の市★]
- 【旭川】ゲームセンターなどで大暴れ 3歳と5歳含む男女9人に暴行しけがさせる 女を逮捕 10/30にも同ゲーセンで現行犯逮捕 [七波羅探題★]
- 六花亭オンラインショップに不正アクセス カード番号全桁、セキュリティコード、名義人、有効期限が流出か 約8000件対象 [煮卵★]
- 「ほぼ全人類が永久に失業する」Anthropic研究者がAIの未来を予測★3 [♪♪♪★]
- 【速報】JT ロシア子会社の支配喪失に伴い、26年12月期に1兆3770億円損失計上 [蚤の市★]
- 【速報】 トランプ米大統領、中国習近平氏の演説中に居眠りしてしまう 歴史的な首脳会談中 英BBCが映像公開 [お断り★]
- 【動画】高市早苗、トランプに話しかけたのに無視されるwwwwwwwwwwwwwwww [931948549]
- 誠活保護だけど、今日も誠貧に生きました!
- 何なのら…?!?!(・o・🍬)🏰
- 旭川で22歳の女が大暴れ 商業施設で3歳〜46歳の男女9人に叩く・ひっかく・蹴る・髪を引き抜くなどの暴行を加えて逮捕 [597533159]
- 女だけど今の一番の楽しみが射精の奴ちょっと来て
- 首相周辺「メディアには公開されてませんが、控室では各国首脳が高市総理に入れ替わり立ち替わり話しかけてきて賑やかだった」 [834922174]