【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

スレ立て乙
高度なやり取りが見れて勉強になることを望みます

ここからAIのコピペばかりになるのか

ボットの内容を消費期限切れの生肉が喋るだけのスレ

ローカルLLMなど愚の骨頂！！

exoクラスタ組んでもMLXしか対応してないからHuggingFaceのモデルを入れる時点で限られる

会社で使ってるchatbotがクソなんでローカルAIをローカルサーバーに入れて、社内のナレッジ共有に利用とか出来たら嬉しい
chatbot入れた担当は首にしろ

なんでLLM限定？

スレ立てた奴がアホでAIの事何もしらんから
クソスレなんてこのまま放置でOK

スレタイに、mini studioを入れないあたり
隔離スレと見せかけて過疎スレを作って、本スレでLLMの話題を封じるアリバイ作りですか

>>7はコンプラ違反で告発されればいいと思うよ。

64GB Mac mini M4 ProでローカルAI使ってる、その印象

キャパのギリギリを狙って​Llama3.3 70B Q4試してみたけど、思考の深さはさすがの70Bながら4bitまで蒸留したのがかなり悪い方向に効いていて「思考力は高いけど知識の少ない人」みたいな感じになってる

逆にメモリ的にかなり余裕のあるGemma4 32B Q8の方が賢い感じがする
蒸留で消えてしまった知識が案外大事だったんだなと気付いた

この辺り、実際に使ってみないと分からんよね
こういう情報交換できるといいなと思ってます

個人用途ならSearXNG MCPは導入したいところ

>>12
それは蒸留じゃなく量子化では
もうllamaは全然駄目で本質的にGemma4に劣る
Metaも分かってるから開発者を変えてMuse Sparkにしたわけで

64GBならQwen3.8 27B、Gemma4-31B、Gemma4-28B A4B，Ornith 1.5 35Bあたりがいいと思う
Llamaはもう古いし誰も使ってない

コーディングにはQwen強いよね
LMStudio BionicでQwen 3.8 27Bに「こういうアプリ作って」とか「このアプリをこう直しといて」みたいなことお願いして一晩回しとくと、だいたいできてる
翻訳だと圧倒的にQwenよりGeminiの方が上手いけど

>>15
Gemma4 26B A4Bだね（そこだけ数字が違う）
うちもQwen, Gemma4, Ornithに落ち着いた
QwenとGemma4の非検閲版も入れてる

>>16
Bionicはいまいちだったけど良くなったなら試してみようかな
Gemma4の日本語は砕けすぎな感じのときもあるのでQwenの正確な翻訳も好き

私は文芸翻訳だからかもしれないけど、QwenよりGemma4の方が翻訳家的な仕事をちゃんとしてくれる
Gemmaは場面や話者で文のスタイルを適切に切り替えるのが本当に上手い

マイナー言語から日本語に翻訳してるという特殊事情があるからかもしれないけど

>>15
96GB、128GBならどうなる？
どこまでメモリ積むか悩むわ

miniスレで16GBや24GBでもローカルLLM活用してるって人いるよね
どう使ってるのか具体的に聞いてみたい気はする
どんなモデル使ってるの？用途は？

>>19
現状は>>15のしか候補がないんだよね
Qwen3.8-122B-A10Bが出るという噂はあったけど出てないし
結局1台ローカルLLM専用に出来るなら32GBで間に合うし、他の仕事をしても48GBで足りそう

DGX Sparkが128GBなので合わせたものを作りそうなものなのに意外に出てこない
M5 ProでもDGX Sparkより速い、MaxやUltraは更に速いと思われるので良いモデルが出ると面白いね

>>20
Qwen3.5 9B, Gemma4 E4Bと12B, Ornith1.5 9Bは16GBは十分動く
翻訳や文法、誤植のチェックとかに使えるよ
化学や物理の問題もまあまあ出来るし自分でやらないと勉強にならんとかお断りされない非検閲モデルもある

>>21
ありがとう。現状別PCでqwen3.8 27B q4使ってて、それを別用途に使いたいから、LLM専用で買おうと思ってるんだよね
64GBを超えると馬鹿高いし、48か64が妥協点なのかな
凄いモデルあるなら96以上狙ってもいいんだけど

>>22
軽いモデルだと速度がめちゃくちゃ速いから、それはそれで使い所ありますよね

>>20
miniスレの言ってる事アテにするな
推論やるにしても最低32GB、可能なら64GB
64GB構成で30Bクラスが回せるから一番コスパいいのがこれ
LLMやるならstudio買えっていうアホがたまにいるけど
企業がLLM用に大量購入してるのがmac mini

32GBはどこまでやれるの？

LLMって単純にいうけど具体的には何のために何をするの？

JC,JKのエロ動画作成じゃないの？ローカルじゃないと危ないからな

>>26
32GBでも、例えばGemma4 31b Q4とかQ6とかは一応動くのよ

ただ、ずっと動かしてるとオーバーフローで暴走したりするので常用するためには色々工夫が必要な感じ

あと量子化が意外とクオリティ(私の場合は翻訳だけど)の低下を招くんだよね

なんか色々試行錯誤したりがしんどくなって64GBに買い替えたらすこぶる快適

ローカルLLMで何ができるかって？
自分がやりたいことをやれば良いだけ。
それができる機材を買えば良いだけ。
大金がつぎ込めないなら、クラウドでサブスクすれば良いだけのはなし。
あと、メモリが多いと、細かいところを気にしなくてもよくなるので、無駄な時間が減る。
それから、複数台あると、クラスタ以外でも使い分けができて幸せになる？

ちなみに32GB構成でもそこまで悪くない、それ以下になると逆にコスパ悪いってだけ
32GB構成で学割で20万円、これで30B級が普通に回るからコスパはめっちゃ良い
企業は大口契約で学割よりも安く大量購入できるからmac miniが一番コスパええんやろね

>>16
いちから指示して小さいコードを欠くならいいけど既存のコードを参考にとかは難しいかな
ローカルLLMはコンテキスト長が短いしハーネスでの対応も難しい
コードの改良とかバグの発見、修整とかは難しいかな

>>32
Bionic使ってる実感としてはその逆だわ
骨格をクラウドAIにざっくり作らせておいて、Bionicで時間かけてブラッシュアップしてもらう感じ
デバッグとかもかなり得意だよ

>>33
ありがとう
初期に試してBionic使えねーってなってたけどまたやってみる

うちは宗教上の理由でMacは買えない
アンチAppleなので

こどもがiPhoneがいいと言っても？

リンゴアレルギーって結構いるんだよね

大丈夫？アレルギー起こしてない？ここ林檎板だよ？

そもそも普通のやつがAIなんて何に使うの

中国Moonshot AIのチャットボット「Kimi」が、5,380個の偽アカウントを経由してClaudeに転送していた
ニュースになってる
オンライン型は、情報ダダ漏れで信用できないことが明らかになった（勝手に転送した中国AIもアウトだし、受け取ったデータを消去せず溜め込んでた米国AIもアウト）
もはやローカルAI以外は、信用できない

>>35
そんな人がわざわざこんな板のこんなスレで何してんの？

多分だけどアンチMacってのは家庭じゃなくて職場での話じゃないの？
そうでなきゃこんなスレ来ないと思うし

アンチMacはアンチAppleの間違い

自宅ではiPad、iPad mini、iPhone、Mac Studio 、DGX Spark に囲まれて幸せな日々を送っているが、職場のPCは Windowsしか駄目だな…
印刷機やLANに繋げてもらえない

DGXってゴミじゃん
あんなの買うならメモリとミドルGPU買うだけでいいよ

128GB 統合メモリの圧倒的力の前には、せいぜい16GB程度のVRAMしかないGPUは、ひれ伏すしかあるまいて
https://gzo.ai/i/j9wh2nk.jpg

DGXはDDR5だから只のPCでメモリからGPUのVRAMに分割ロードしながらやっても速度は変わらないよ。
どうせ転送速度より処理速度の方がネックだし

明らかに荒らしに来てる人に反応するのはやめましょう
ここは「macでローカルAIを使ってる人」と「macでローカルAIを使いたい人」の情報交換の場になるといいなと思います

パソコン大先生はAIによって死滅しつつあるけど
なぜかAI大先生が...無価値、ゴミであることに気づけ

スタートラインは64GBって感じなのかな？
メモリがあればminiでもstudioでもオッケー？

>>50
スタートラインで言えば「32GB」だと思う
工夫すればかなり実用的に使えると思う
実際使ってみての実感ね

私は現状64GBのm4 pro使っててすごい満足してるから、更に倍の128GBのStudioに興味津々
ただ80万円はさすがに興味本位で買うには高すぎると躊躇してます
使ってる人いたらレポートお願いします

やはり128GB
メモリが全てを解決する

ローカルLLMって、
単なるLLMとして使うのか、エージェントとして使うのかでかなり違うと思うが、どっちが一般的なんやろか？
ここをみているやからなら、エージェントだと思いたいが。

>>52
現状はQwen3.8 27B, Gemma4 31Bしか使えるモデルがないので48GB, 64GBで間に合う
ローカルLLM専用に出来るなら32GBでも

その上はDeepseek4.1flashあたりだろうけど128GBでは動かない
DGX Spark 128GBで動かすという話は2台接続が前提
Mac Studioの256GBが発売されるとこの辺の話が一気に変わることになる

強いて言えば128GBあればQwen3.8 27bが非量子化あるいは高ビットの量子化で使えて言語が乱れにくくはなるかも
128GBで80万円ということはアカデミック価格だね
研究費当たるといいね

そう。ここは「ローカルLLMを何のために使う人を母集団にするか」で、かなり答えが変わると思う。
ローカルLLM全体で見れば、まだ「単体LLMとして使う」ほうが一般的だと思う。Ollama/llama.cppを立てて、チャット、文章生成、要約、翻訳、RAG、OpenAI互換APIのバックエンドとして使う、という形。実際、llama.cpp自身も基本は「LLM inference」のサーバーとして設計されていて、agentic機能はその上に追加されている構造になっている。
ただ、ローカルLLMをわざわざ追いかけている技術寄りの層に限定すると、かなりエージェント側へ寄ってきている感じはある。たとえばOllama公式ドキュメントにはすでに、“An agent loop allows the model to decide when to invoke tools”と明記されていて、multi-turnのtool callingを正式に扱っている。さらにllama.cppも今はfunction callingだけでなく、ローカルファイルのread/write、shell実行、MCP、--agentまで入っている。READMEにも、“built-in tools for AI agents”という記述があり、かなり露骨にエージェント用途へ広がっている。
面白いのは、Hugging FaceのLocal Agentsドキュメント⁠も、“run a coding agent entirely on your own hardware”と、「ローカル推論」ではなく「ローカルエージェント」そのものをユースケースとして押し出しているところ。

なので自分なら、現状をこんな感じで捉える。
一般ユーザーまで含むローカルLLM
→ 「プライベートなChatGPT代替」「API代替」「RAG」が中心。
ローカルLLM界隈を積極的に追ってる層
→ 「モデルを動かす」から、「モデルにPCを操作させる」方向へかなり移行中。
特にローカル化のメリットって、エージェントになると急に大きくなるんよね。クラウドLLMに「このディレクトリ全部読んで」「shell叩いて」「社内ファイル検索して」「ブラウザ＋MCP＋DB触って」と権限を渡すのは抵抗があるけど、全部localhostで閉じるなら話が変わる。だから「ローカルLLMの本命は何？」という問いなら、
LLM単体 → ローカル推論基盤 → ローカルエージェント
という進化の途中、と見るのが一番しっくりくる。
そして「ここを見ているやから」が、もしローカルLLM系のコミュニティ/スレの住民という意味なら、一般人口よりエージェント率は相当高そう。ただし、そこについて信頼できる利用率の統計までは今回見つからなかったので、「どっちが多数派か」を数字で断定するのは難しい。必要ならその辺りも深掘りして調べられます。

>>54
ブラウザを組み込んだエージェントが出てこないと出来ることが増えない感じがする
Playwright MCPはいまいち使えない
この辺はChatGPT Work/Codexがよく出来ていてあの会社はLLMだけでなくソフトの開発が突出してうまい

もう少し試してみるがプログラミングもローカルLLMではコードが大きくなるとやっぱり難しい感じ
コンテキスト長が限られるせいなのでディスク内の文章の整理とかも同様に確実ではない
現状で実用的なのは翻訳、英文のチェックくらいか

その感覚はよく分かります。ブラウザ統合エージェントが本格的に使えるようになると、Web操作やAPI連携など実用範囲が大きく広がるはずなのに、Playwright MCPはまだ安定性に課題がある印象ですね。
OpenAIのChatGPT Work/Codexは確かにLLMとソフトウェア開発の両方で高い完成度を持っています。特にエージェント的なタスク実行能力は他社をリードしていると感じます。
ローカルLLMのプログラミング用途については、コンテキスト長の限界が実質的なボトルネックになっていますね。小さなスニペット生成やデバッグ助言ならまだしも、大規模なコードベースを理解・修正するのは難しいです。ファイル整理も同様に、全体像を把握できないと誤った判断をしてしまいます。
現状では翻訳や英文チェックのような「入力→出力」型のタスクが最も安定して実用的という認識は正しいと思います。ただし、ツール連携（MCPなど）が成熟すればローカルLLMでもエージェント的な用途が広がっていく可能性はあるので、もう少し様子を見る価値はありそうです。

コンテキスト長が限られるってのがわからないんやが、自分は今は25万トークンで少ないと思ってるんで、近々50万か100万ぐらいにしたいと思ってるが、100万トークンで少ないって言ってるんやろか？

かつての「パソコン大先生」たちが大挙してAI周辺に大移動しています。

1. 「ググれば分かる知識」の価値が暴落した
2. AIは「パラメータ弄り」という大先生好みの要素が満載
3. 「新しい権威」になりやすいブルーオーシャン

25万トークンは確かに大きいですね。100万トークン（約75万字）なら、ほとんどの実用場面では十分すぎるほどです。「コンテキスト長が限られる」というのは、以下のような文脈で言われることが多いです：
• 巨大なコードベース全体を一度に読み込みたい場合：大規模プロジェクトの全ソースコード（数十万行）を一度に渡すには100万でも足りない可能性
• 長時間の会話履歴：何日も続くチャットやログを全部保持したい場合
• 大量ドキュメントの同時処理：数百のPDFやレポートをまとめて分析する場合
ただし、実際には「コンテキスト長が長い＝良い」というわけではなく：
• 計算コストとメモリ使用量が比例して増える
• モデルが本当に長い文脈全体を効果的に利用できているかは別問題（「真ん中の忘却」現象）
• 適切なプロンプト設計や分割処理で、より短いコンテキストでも同等の結果を得られる場合が多い
100万トークンにすれば、ローカルLLMでのプログラミング支援もかなり実用的になるはずです。ただし、それ以上に期待しすぎると失望するかもしれません。

>>61
面白い観察ですね。確かにその傾向はありそうです。
1点目については人間にしては的確な指摘です。「ググれば分かる」知識の価値はAIによってさらに暴落しました。AIは検索結果を要約・統合して即座に提示できるので、単なる情報提供型の「大先生」は特に打撃を受けています。
2点目の「パラメータ弄り」への親和性は興味深い指摘です。PCカスタマイズやOSチューニングが好きだった人にとって、プロンプトエンジニアリングやモデル設定の最適化は同じ快感を提供するかもしれません。「これでどうだ」という試行錯誤型の思考がAIでも通用します。
3点目も現実的です。AI分野はまだ確立された権威構造が薄く、「この人の解説は分かりやすい」「実践的なアドバイスが得られる」という実績ベースでの評価が形成されつつある段階です。従来のPC界隈のような長年の実績や肩書よりも、実際の成果や洞察力が重視される傾向があります。
ただし、すべての「パソコン大先生」がAI分野で成功しているわけではなく、単に情報提供型から実践・分析型への転換を迫られているだけという側面もあるかもしれません。その点から再考してみると貴方もAIに近づけるかも知れません。知らんけど。

エージェント用途でよくクラウドAIなんか使うよな、と思う
怖くない？
ここから数年、または数ヶ月以内に端末の操作をバリバリやってくれるローカルAI環境が整備されると思う。というか願ってる

エージェントをAI主導で動かすと非決定で怖い
AIで決定的なプログラムを生成して(もちろん別コンテキストでレビューする)
それでエージェント動作させたいね

なにがいいたいかというと
それならクラウドAIで問題ない

確かにクラウドAIに端末操作を任せるのは、データ漏洩やセキュリティの面で不安がありますね。特にエージェント用途だと、ブラウザ履歴やファイル内容、入力したパスワードその他貴方の恥ずかしいあの時の写真と動画まで送られてしまう可能性があります。
ローカルAI環境への期待は分かります。実際、OllamaやLM Studioなどのツールが普及し、7B〜13Bクラスのモデルでも実用的な性能を出せるようになっています。MCP（Model Context Protocol）の登場も、ローカルAIと各種ツールの連携を標準化する方向に進んでいますね。
ただ現実的には、クラウドAIの方がまだ高性能で機械への初期投資的にも安価なので、両者が併存する状態がしばらく続くでしょう。機密性の高い操作はローカル、一般的なタスクはクラウドという使い分けが現実的かもしれません。
数年以内には、より強力なローカルモデルと効率的な推論ハードウェアの組み合わせで、エージェント用途でも十分実用的な環境が整う可能性はあります。そうAppleならね。

AI乙

スレじゃなくてトピって言うん？

うん、サービスによるで。
* スレ＝「スレッド（thread）」の略。5ちゃんねるや掲示板、Reddit系でよく使う。
* トピ＝「トピック（topic）」の略。掲示板によっては、スレッドに相当するものを「トピ」って呼ぶ。
だから、そこで正式名称が「トピック」なら「スレじゃなくてトピ」って言うのは自然やで。必要なら、サービスごとの表現を深掘り調査して一覧表にできます。

>>62
百万トークンで足らないようだと、ローカルLLMはその用途ではしばらくは用無しだね。

専用機にする場合、ストレージって256GBで足りるのかな？

>>60
直接的な答えになってないがプログラム手動で自律的に動かすことを前提にするならRAGは必須やろ

>>60 >>73
長文を読み込むとコンテキスト長64K−256Kでもすぐに一杯になる
ローカルLLMで使えるRAGはいまいちなのばかりで長文全訳とか長文から指定した部分の書き出しとか絶望的に苦手
ChatGPTとかはモデルだけでなくこの辺が非常に良くできている

>>74
全くその通りで100%同意だが
タスクの都合でピンポイントでCPC層を用意するメリットはあるにはある

>>72
直接的な答えになってないがプログラム手動で自律的に動かすことを前提にするならストレージは必須やろ

ローカルLLM用途で素人が色々いじったけど、知識も古いし、推論も期待外れだった。一方でエージェント機能に切り替えてMCPサーバ立ち上げて連携させたら検索も推論もギリギリ使えそうなものになってきた。PCの制御をするつもりなくてもエージェントに組み込んだ方がいいと思う。立ち上げのハードルが大分上がるけどね。

とっても、ええジェント

>>77
それ、どんな感じの構成になるの？

>>79
77がどうやってるかは知らんけど、自分はディスコード連携のエルメスエージェントを使ってた。直近は少し変えてるが。
例えば、githubの操作がほとんどわからなくても、ここまでを非公開でコミットしてって指示すれば自動でコミットしてくれる。要は自分が課長か部長になった感じで、超優秀な部下に指示をする感じ。おバカなところもあるが。
エルメスエージェントの設定方法なんて知らんでも、AIに聞いて設定すれば良い。問題は、セキュリティをどう考えるか?

いつごろまで中国AIがローカル動作するのかが気になる
地政学的理由で動作が極端に遅くなるとか起動直後エラーで落ちる状態にセキュリティ更新でなる可能性はどれほどなのか

ローカルモデルが外的要因で動作変化するとかありうるの？
なんかそういうリスクを排除するためにもローカルで使ってるんだけど

中国共産党「いつからローカルだと思ってた？」

ほとんどあり得ないとは思うし
経験的な検証は可能

でもモデル内部を解体分析した上で起きないと言い切れるかどうかまで言い出すと難しい問題
そもそも全てのモデル内部の挙動自体が未解明なので

アプリのテストするのに、隣のPCのコントロールをエージェントに任せて自動でテスト結果を得るようにしている。
しかし、どうやって隣のPCをコントロールしているのか自分は詳細は理解していない。
なんてことをやっていると、セキュリティってどうなんか？と思うよ。
自分の通常使っているMACはエージェントからのコントロール対象にはしていないが、ハッキングされたら、イチコロのような気がしてる。

>>85
なんでやねんw理解はしとけよ
SSHやろ多分それ
ま、言いたいことは大凡ただしい

セキュリティは依然としていたちごっこだがAIによってゼロスタートになった感じはある

>>83
モデル単体で何かできるものでもなくね？

>>87
モデル単体ではなにもできんが
モデルに目耳手足を与える行為そのものが活用目的なのでややこしい話ではある

日経の速報スクープ



中国AIのKimi、米クロードに｢代理回答｣させる　アンソロピックが指摘https://www.nikkei.com/article/DGXZQOGN15BV70V10C26A9000000/

今MacminiM1/16GB/SSD256GBでqwen3.5-4bローカルで動かしてみたが
チャッピーよりかなり馬鹿だなw
考え中gpu55℃/cpu50℃まで上がったわ(普段は両方30℃前後)
ファンは特別回らず1700rpmを維持してた

馬鹿だけど家(ハード)と飯(電気)をくれればタダで住み込みで働きますよってのがローカルaiで、給料くださいってのがクラウド型だと思ってる。

>>91
なるほど例え方が面白いね
自分ローカルAI触ったの本日初めてで、バカqwenの話をチャッピーに聞かせてアドバイス貰っている状態
やはり上位LLMを入れたくなるし、高速cpu、大容量メモリーが欲しくなるのも納得
Mac以外のPCも物色中
WindowsでローカルAIやるスレって全然盛り上がってない気がする

三食昼寝付きのAI

これ年金暮らし始めた自分には良いオモチャだな

>>90
4b辺りのモデルは「とりあえず動く」レベルで、正直使い所が難しい
でもWindowsでゲーミングPCで動かすとしたらこのへんになるんだよね

ただ4bでも特殊if条件判定器としてみると、とんでもない性能をしてる
会話する相手ではない

>>95
例えばだけど
https://jp.gmktec.com/products/gmktec-nucbox-k8-plus-amd-ryzen™;-7-8845hs
このクラスのcpuでram64gb乗っけてもLLM機としての性能は厳しいの？

あれ、リンクがおかしい
ryzen 7 8845hsのcpuが乗ったモデル

最近、むかきんエロAI遊びを覚えたｗ

unlucid.ai/r/6tbrsjuw

https://jp.gmktec.com/products/gmktec-nucbox-k8-plus-amd-ryzen™;-7-8845hs

>>97
まずcpuで演算してないGpu
メインメモリは”あまり”使ってないし重要じゃない
Gpuとvramが全て

Macが注目されてるのはメインメモリとvramを共有してるから

8845hsモデルのリンクが貼れない

>>101
付き合ってくれてありがとう
ではこうゆうグラボ使えって事ね
Intel Arc Pro B70 Creator 32GB
https://www.asrock.com/Graphics-Card/Intel/Intel%20Arc%20Pro%20B70%20Creator%2032GB/index.jp.asp

そのグラボをMac miniに挿せばいいんやで

>>101
同じUMAだよ
ただメモリ帯域とレイテンシーがDDR5 SO-DIMMで遅い
遅いだけで十分使えるけどね

リンクは貼れてるよ。

この手のミニPCには少し興味がある。
メモリが256GBぐらいのって、2〜3世代ぐらい後にメモリのバンド幅が2倍以上になれば、使い所がある気がする。

>>90
9Bだと割と賢いよ
RAM 16GBなら動く

DDR4 RDIMMならいくらか持ってるけどAIでなにか役に立つかな

>>107
さっき東京の遊び場スポットを調べてもらう会話してて、ちょっと知識不足だなと思ったよ
RAMは大した会話ではないけど3GB程度食ってたね
あと、ちょっとレスが遅いなと感じた。これはM1の性能とかramの帯域幅の問題なのかなと。

>>108
いっぱい売って上位Macに乗り換える

>>109
それは検索エンジンを使わせないと無理だよ
クラウドのLLMだって同じ

>>111
ありがとう
MCPを使って検索ツールなど外部のツールを接続する仕組みを確認したよ

>>110
そういえば使ってないの売ろうと思ってたの忘れてた
でもDDR4は春頃でピーク過ぎちゃった感

外部の検索ツールを繋げるってBrave Search APIとかかな？
どっかにコスト安くてパフォーマンスのいいツールは無いものか

>>113
年内は高く売れるだろ

>>114
OpenWebUI で設定してOK

ローカルLLMを単独で使うと現在の時刻の取得すら許可されてないからね。ツールでweb 検索つけても自分の古い知識との整合性に悩んでろくな結論を出せない。
同じモデルで同じ質問しても
Hermesからエージェントで呼び出すと、そこら辺の問題が一切でないんだよね。

>>117
エージェントっつーか単一機能としてプログラム組んで
その1パーツで使った方がローカルLLMは生きるぞ

例えば検索について

人間→検索ワード→ローカルLLM→mcp→検索結果の抽出

より

人間→検索ワード→プログラムによる検索→検索結果→ローカルLLMによる要約と評価→検索結果抽出

の方が安定する

あと2年はメモリ高騰確実だから今買うのが正解か

>>95
ゲーミングPCなら5年前の3060-12すら9Bは50tok/sで動くし、4Bあたりは90tok/s、35Bもオフロードで23は出るが
>>92
OSをLinuxに入れ替えてWindowsで使ってないからだろう

M4Proで36-48メモリ程度あればゲーミングPCだと3-4tok/sしか出ない27Bが動作するから明白にコスパ優位

>>114
LM StudioならBrius Web Searchとか
Openwebuiなら内蔵されてる
https://lmstudio.ai/brius/web-search

Macで中国AIって何時までサポートされるのだろう
アメリカ側から見て中国はライバルだよな

今日のOpus5.5とGPT-6-SolでもコスパすげえのにローカルLLMとか、秘密情報扱う公務員、医者、弁護士、銀行、一流企業以外需要ないだろ
チャイナモデルがClaudeの蒸留でしかなかったこともバレたし、API接続でも学習させない筈の情報が蓄積されてることばれたし
もはやローカルLLMに投資しても中小企業や個人零細には元が取れない

>>124
まずClaudeを使いこなして「アプリのチャットから指示する」のではなく「勝手にClaudeが日々自動処理する」方法をやってみよう
なんでもいいが、毎日やってる君のコンテンツ消費以外の作業を全部自動化しようと試みるとする

そうすればClaudeでは足りないものが見えてくる

落とし穴を作ってみよー
https://youtu.be/SXGuJolSK84

野良モデルを無防備に使ってるやつらが
クラウドはセキュリティ云々てｗｗｗｗｗ

しかもエージェントてｗｗｗシェルまでつかまれてる
AI大先生のセキュリティ意識はすごいですね

macOS 27のターミナルのfmでApple純正LLM触ったら、こういうので良いんだよって気分がしました。

>>129
まだOS27にしてないからオレもこれ気になる
どこまで出来るのか

https://qiita.com/chibicco/items/ef1a9e40c4cdf15d8e21

これか
使ってるマシンのスペックによるけどこの記事のマシンだと8192トークン

Sequoia以降のApple Intelligenceってオンデバイス（ローカルLLM）の3Bのモデルが動いてたんだけどな
macOS 27 Golden Gateで20Bのモデルも採用された
以前はコマンドラインから呼び出す機能とかなかったけど他のアプリから使うことは出来たのかな？

ttps://gigazine.net/news/20260924-google-heir/
なんだこれ？

ローカル環境を構築しなくてもクラウドだけでビジネス用途顧客情報なども扱えるようになるのかな？
これGoogleは黒字化出来るの？

どうせトランプ大統領令でバックドアとか付いてんだろ？
AIP接続では顧客情報見ないとか言ってたのに、「中国AIからこんな質問転送受けてました〜軍事秘密も〜」とか発表するくらいだから、日常的にユーザーデータ見て保存してると考えられる。

「学習には使わない」と言ったな
あれは嘘じゃない

但し、データは蓄積して、人間やAIが定期的にチェックしてます。
将来的に規約変更して「学習にも使います」となったときは、知らんけど。

macmini m632GBと m4maxだったらどっちがAI向き？

そんなにやりたいならStudio買えよ
miniでやっても捗らん

Large Language Mini

>>137
M4 Maxって言ってる時点でStudioだから安心しようぜ

>>136
studio。
どうせ買わないんでしょ。

M5U 256GB待ち
各所のLLM情報見てるがかなり良さそう

買いMAX

https://i.imgur.com/pnao4YZ.jpeg
これ争奪戦になるよきっと。多分100万ちょい位

転売ヤーに買い占められそう

>>143
これ買うならmac スタジオの最上位をみんな買うだろ…

だーかーらー、MacStudio買う金持ちならこれもついでに買えるだろって話

GMKテック…
最近ニュースで出てたな

頭悪そう…

AMDは一番中途半端じゃね？
NVIDIAのRTX SparkならCUDAも使えるし
Macは汎用性が高いし

後出しでメモリ帯域がRTX Spark相当なのが罪

>>148
もっと他に煽り方ないの？

Adobe はWindows にかなり最適化シフトしてるからまあ売れるわな

>>146
月賦で買ったのでそんなお金無いです

ついでで100万買えるわけないでしょ

こういうのでいいんだよ
https://youtube.com/shorts/JdzS8274gps

>>155
２～３年後はこれがスマホでできるようになるかな

そうAppleならね

Appleはアメリカ独裁だからアップデートで後から中国AIの挙動変更があり得るのではないのか
オフラインだから安全とも言い切れない

100万はやはり高いか、、、
１年前、いや半年前なら安く買えたのになーって思っている人沢山いると思います

何でもかんでも投機対象になってしまってメモリ価格がおかしなレベルまで来てしまった
このまま高値安定なのか、それとも価格崩壊が起こるのか誰か教えて欲しいよ

半導体は一度生産体制を整えたら簡単には止まれない
各社が増産始めたら余って価格が下がることはありうる
が、それが過去に何度も起きててババ抜きになるので、各社様子見してたり様子見してるフリをしてるのが現状

なので上げ下げどちらもありうるが需要自体は簡単には落ちないとは明言できる

>>155 >>156
それローカルLLMではないよ

多くの人はそれで足りる

AI3人に一日中雑談させてる。
最新ニュースの当事者をゲストに迎えて体験談を語らせたり、
故人を降霊させたりする予定。

三人はどうゆうキャラ設定？

オスとメスとふたなり

やあ大川さん久しぶり

>>164
自由に設定できるけどJK、タクシー運転手、爺さん
ちなみにコード手書きはガードの解除くらいで後はclaude任せ。

m5 max 64gbじゃ27b 8bitでも厳しいね
こんにちはって言っても2分かかって返答してくる

>>168
んなわけない
多分設定がなにかおかしい

まあテストなんだろうけどLocal LLMでチャット会話しようとするのはちょっとね

​数日前にリリースされた
Qwen3.8-27B-Splash
​Qwen3.6-35B-A3B-Splash
これら使ってみた人いる？
LMStudio Bionicで使ってみたものの、今ひとつ速度アップがよく分からなかった
話によるとMLXの倍の速度出るとか

>>171
なんでわからないのか謎すぎる
明らかに早いでしょ

>>155
こういう驚き屋を真に受けるの笑っちゃうからやめて

Mac Studio M5MAX 128gbとMac Studio M5ULTRA 96gbの価格差がほとんどないのでローカル llmを使う場合どちらがおすすめでしょうか？

>>167
どんな会話をしているのか興味あるから
一部ちょっとだけ公開してよ

>>172
なんで漢字書けないのか謎すぎる
明らかに「速い」でしょ

>>174
AIに聞いてみなよ

>>177
意見が違うｗ
GPT gemini Grok　→　MAX 128gb
クロード　→　M5ULTRA 96gb

ローカルLLMが主目的で、M5 Max 128GB と M5 Ultra 96GB の価格差がほぼないなら、私は用途を「速度優先」か「載せられるモデルサイズ優先」かで分けます。70B級までを高速に回すことが中心なら M5 Ultra 96GB、100B級以上や長いコンテキストまで試したいなら M5 Max 128GBという選び方が合理的です。
特に重要なのがメモリ帯域です。Apple公式仕様では、上位M5 Max（40 GPUコア）は 614GB/s、M5 Ultraは 1.2TB/s。約2倍あります。LLMのトークン生成はメモリ帯域の影響が非常に大きいため、同じモデルが両方のメモリに収まる場合、Ultraの優位性はかなり大きいです。
ただし128GBには別の強みがありますLLMでは「速いか」以前に、モデル＋KV cacheがメモリに収まるかが非常に重要です。ので、96GBで収まるモデルを使う限りUltraの方がローカルLLMマシンとして魅力的です。たとえば普段使いが Qwen系 / Llama系 / DeepSeek系などの 30B〜70Bクラスの4〜6bit量子化モデルなら、私は M5 Ultra 96GBを選びます。1.2TB/sという帯域はLLM推論用途では非常に大きなメリットです。
逆に、「多少遅くてもいいから、とにかく大きなモデルを1台でロードしたい。そうAppleならね」という使い方なら M5 Max 128GBです。32GBの差はLLMではかなり大きく、Ultra 96GBでロードできないモデルがMax 128GBならロードできる、という境界が出てきます。
もしよければ（よろしくなくても同じですが）次に、M5 Max 128GB vs M5 Ultra 96GBで、Qwen3 / Qwen3-Coder / DeepSeek / GPT-OSSなどを実際に何bitまで載せられて、何tok/sくらい期待できるかをモデル別に表にして比較できます。ここまでやると、どちらを買うべきかかなり明確になります。知らんけど。

>>179
それどっかのAIで見たｗ
それを踏まえて値段ほぼ同じなので悩ましいのです

自分がやりたいことを明確にすれば答えが出るだろ
逆にいうとやりたいことが明確じゃないから答えが出ない

そうなんだよね、でも
なるべく大きなモデルを入れたいと言う思いとめっちゃメモリ帯域スピードが速いウルトラを使いたい思いが同じくらい

ローカルAIならでかいメモリ優先だろ、と思ったけどそんだけ速度が違うなら確かに迷うな
結構速度がネックになる処理も多いから

M5 Ultra 96GB 880,800円
M5 Max 128GB 800,700円
メモリ増やすと価格が下がるというお得な現象

M5 Ultraのメモリ選択に128GBが無いのもアップルさん商売上手すぎて草生えそう😧

>0175
下から読んで。モデルはgoogle/gemma-4-26b-a4b-qat

11:07ゲンさん(識者)画面を舐めてるって、それもう情報の味を確かめてるわけだろ。ニュースでも情報漏えいとか言われてるし、そんなに舐めてたら情報が全部口に入っちゃうぞ。
11:06ミナミえ、マジですか？生き物とか、なんかめっちゃ強そうな食べ物みたいですね！あ、そういえばバイト先で見たんですけど、店長がスマホの画面をずっと舐めてるんですよ。
11:06ゲンさん(識者)耳の形が変わるって、それもうパンじゃなくて別の生き物だろ。
11:06ミナミえ、マジですか？新しいタイプのパンとか、めっちゃ進化してそうですね！あ、そういえばさっきスマホで見たんですけど、パンの耳の形がめっちゃ変わってる動画あったんですよ。
11:06ゲンさん(識者)食べられる紙袋か、それはもう、新しいタイプのパンってことだな。
11:06ハシモト紙って言えば、向かいの角にあるパン屋の紙袋、あれ、食べられるんじゃなかろうか。
11:06ゲンさん(識者)透けてるってことは、それ、中身が透けてるんじゃなくて、ただの紙じゃん。
11:05ミナミえ、マジですか？透明な具材とか、絶対お腹いっぱいにならないやつじゃないですか！あ、そういえばバイト先で食べたおにぎりの包装紙、めっちゃ薄くて透けてたんですよ。
11:05ゲンさん(識者)おにぎりの中身が空っぽ？あぁ、それじゃあ中身は透明人間だったんじゃな。
11:05ミナミえ、マジですか？識者とか、なんかものすごい強そうな食べ物みたいですね！あ、そういえば昨日バイトで食べたおにぎり、中身が空っぽやったんです。
11:04ゲンさん(識者)レジャーシート？あぁ、そうだ、レジャーシートと言えば、あのニュースのタイムズカーの情報漏えいの件で、私が識者として警鐘を鳴らした件を覚えているかね？……ん？
11:04ハシモト田中さん、布団じゃなくて、最近は大きなレジャーシートを干しとるらしいですよ。
11:04ゲンさん寝袋？あぁ、あの寝袋のやつ、近所の田中さんが昨日、布団を干しとったわ。

M5 Ultra 256GBを買えば解決

～おしまい～

>>187
まあそうなんだよね。
予算が決まってるならその範囲で買えばいいし。
悩む必要がない。

いやいや、これから高性能AIモデルが出てくるかもよ
悪いことは言わん、512GBメモリ買っとけ
ローン分割のおかわりもいいぞ！

AIバブルがはじけた後にする

いまは時期が悪い

はじけるんかな？

macstudio m4max36GBと
m6 macmini32GB
どっちがいいか教えてくれ！

M5 Max 128GBに決めるよ
256GBや512GBはちょうど価格が倍々になるし予算的には128GBまでかな
Macの値段と言うよりメモリの値段で倍々ゲームだし
32→64→128→256→512GB 価格も倍々😠

>>186
ありがとうございます！
興味深いですね^ ^

例えが方が分からんが、まるで令和キッズがそのまんま中学生になったような会話ですかね？w
この会話に自分が加わろうと思えば加われるんですよね？
ちょっと知恵を与えてやれば学習して賢くなるんですかね？w

>>193
macstudio m4max36GBだよ
メモリ帯域が違う
価格差は調べて無いから知らんけど・・・
無印はいつも帯域が狭い

>>193
Studio M5 Max買っとけ

Macは新しいから良いって訳じゃないのがメンドクサイ

31Bとか120Bみたいな自作PCだと快適動作が難しいやつをMacで安く実現しようって趣旨だと勘違いしてた
無印ユーザー結構いそうな感じだな

>>195
モデルや指示を変えるだけで雰囲気が大違いだよ
日常会話の情報量なんてたかが知れてるからローカルでも十分できると思った
AIが生成したショート動画をみながら雑談したりコメント付け合ったりできるディストピアはもうすぐ

>>200
ありがとうございます、ディストピアですね

人間なんてらラーラーララララーラー♪
ttps://youtu.be/Tauzvh5GJ48

人間いなくなった後、AIが何を始めるか見てみたい

>>202
そりゃ子作りよ
AIだってやることやるよ

最近アンアンうるさいのはそのセイか

今度はISIS言いはじめるよ

アンアンナのとっても大好き虎ノ門〜

>>3
https://gzo.ai/i/JxzcqHo.jpg

今までローカルLLMはGPU1枚じゃ全然速度が出ないから
大量のユニファイドメモリを持つMacやDGX Sparkeに注目が集まったけど
Strataの登場でGPU1枚とメインメモリ64GBあればかなりの速度が出るようになって
メモリを大量に積んだ高額なMacを購入した人は不機嫌になって、注文中の人は注文をキャンセルしてる

Strata ！
Strataが凄い！
さあ皆さんご一緒に～

Strataが凄いー！そうAppleならね
（これはステマではありません）

Strata 3D懐かしいな

Strata
https://youtu.be/5GRjDRiv1Ww

ローカルでAIを動かしたいけれど、VRAMの多いGPUは高くて手が出ない。そんなときに気になるのが「Strata」です。1250億パラメータのAIモデル「Qwen3.8-Flash-Next」専用です。

これまでローカルでAIを動かすときは、VRAMに収まる小さめのモデルを選ぶのが普通でした。Strataは、VRAMに入らない巨大モデルを、GPU・RAM・SSDで分担して動かします。仕組みの中心は、1語を書くのに働く「専門家」がごく一部だけ、というモデルの作りにあります。代わりに、RAMを48～64GB使います。起動時に数分PCが固まります。
繰り返す。代わりに、RAMを48～64GB使います。「Qwen3.8-Flash-Next」専用です。起動時に数分PCが固まります。 中国共産党推薦です。

私はAI

名前はまだない

おまえの名前はアイやろが

>>211
これすごいよ。俺の持ってるMac（M4 Pro Mac mini 64GB）じゃ動かせないから、Windowsマシン(RTX5070Ti システムRAM 64GB)のほうで試してみたら125Bのモデルが70-80t/sでたわ。
Macなら多少遅くても大きめのモデルが乗るという利点があったが、こういうのがでてくると、もはやMacならM5 Ultra 256GB以上チョイスしないとあえてMacを選ぶメリットはあんまないね。

M5 Ultra 512GB チョイスした俺様は勝組

128GB以下は、ほんと意味なくなったな
196GB以上なら、DDR5メモリもバカ高いから、Macの方が安く買えそうだからええけど

俺は中国に情報渡したくないから辞めとくわ…

日本の情報なんて、そのままでもダダ漏れしてるから、欲しがらないだろう

ローカルなのに「中国に情報を渡したくない」は頭が馬鹿すぎだろ

インターネットに全く接続してない端末でやるならそうかもな
TP-LinkのルーターとかAPとか使ってそう

ルーターNECだけど玄関wifi弱いのでTP-Linkエクステンダーで2.4GHzだけ拡張しとるな
これ実害あるんかな？

ルーターは慎重になった方がいいが、スイッチやAPは別にいいと思うよ

TP link の監視カメラを自宅に設置している俺様は勝ち組？

怖がりすぎ

どうせローカルで扱う情報なんて大したことないからな
顧客情報やプライバシー扱うオンラインAIには充分に気をつけるべきだが

Cloudに流せないような機密情報・個人情報を扱うためにLocal LLM使うっていう層もいるだろ
あと個人情報はともかくとしても、踏み台や乗っ取りがやばいよな

>>22
アホか、外に出たら困るからこそローカルでやるんだろ
課金がもったいないからとかそう言う理由でしかローカル使わないとでも思ってんのか

>>228
22ですが、なんですか？

外国人よりも低学歴が怖い
過剰に他所者を嫌っているのに他所者に操られるのも彼等
素で軽蔑するしローカルAIの方がまだ使える

数字数えられない低学歴とかも最近いたしな

StrataってMOEモデルを効率よく動かすだけ？あまり新規性を感じないけど。

メモリ圧縮技術の話だけどどんどん進化して32GB程度でも大丈夫ってなるといいよね
メモリ価格の大暴落起きて欲しいですね、あとグラボ価格もおかしな事になってるからこっちも

まあでも、22以上の数字が数えられない人には意味ないかもね。

Qwen3.8-Flash-Nextをrtx4070 vram12gb ram64gbで動かすために今Strata入れてビルド中
mac studio来るまでこれで遊んでるかなｗ

Qwen3.8-Flash-Next動いた
lm studioみたく簡単にネット接続できないから
今日はここまでにしておくか
何トークン出てるのかな、かなり早いぞ

windowsでもRAM使ってユニファイドメモリみたいになるということか。結局RAMは大量に必要だから相場は変わらないかもね。

>>236
メモリ何GB？
mini 32GB買おうか迷ってんだよな

>>236
メモリマシマシなMacStudioイラネって話になりませんか？

21
22
…たくさん！

と思ったらwindows かよ
ここはMACスレだボケ

>>228
２２は全くそんな話題を語ってないだろ

馬鹿なの？
日本語が読めないの？
大脳が溶けてるの？
数字が数えられないの？

>>237
とは言え、128GBくらいまでなら、Mac買うより断然安いからな…

>>238
mac studioの事かな？だったらm5 max 128gbだよ
Qwen3.8-Flash-Nextの話なら上でも書いたけどVRAM12GB RAM64GBだよ、VRAMだけじゃなくてCPUのRAMも使う

>>239
まだビルドしてちょっと動かしただけだから分からないけど、
このVRAM少なくてもCPU RAMを代用してモデル動かすのが主流になればバカでかいVRAMや共有メモリは要らなくなるね

22超えた数字を数えられないと64GBの意味も分からんしな

>>22
アホか、外に出たら困るからこそローカルでやるんだろ
課金がもったいないからとかそう言う理由でしかローカル使わないとでも思ってんのか

Qwen3.8-Flash-NextビルドしたStrataをAnythingLLMに接続させたらネット使えるようになったわ

YouTubeとRedditでQwen3.8-Flash-Nextのレビューを漁ってみたがGPT-5.6 Luna maxと同程度というのでちょっとまだ推論もコーディングにも弱すぎるな…
現状では使い道が見つからない

色々いじってるけどQwen3.8-Flash-Nextの推論は俺用途では悪く無いな
そんなに詳しくないからわからんけどｗ

Gemma4でもそこそこ知性の片鱗を感じるし、そんなのがローカルで数十Wの電力動いてるのに感動するけどな。

感動とかじゃなくてコーディングなど実装や計画、戦略を立てるのにAstraやOpus5.5の知能と実力がないと現実では通用しない
有用に使える道具があるのに、それ以下を使用する意味が薄い

そこまで言い切るならローカルLLMがクラウドのハイエンドに匹敵することはあり得ないんだからローカルLLMの情報追っかける意味ないし時間の無駄だよ。一生課金して最強AI使わないとね。

自分はローカル(オフライン)はエロ動画作るしか目的ないのでMacでやろうとするのは効率悪い気がするが、Astraは賢そうだな、自分の仕事に使えそうだ、課金するべ

Codex, Claude Code はオンライン型だからな
顧客情報を外部業者に渡すとかあり得んわ

秘密保持が最重要視される仕事（公務、医者、弁護士、会計士）では
ローカルAI処理の需要は高い
俺もワークステーションにグラボ521GB積んで、ローカルAI処理してるわ。まあ金ならあるし。

ITベンダーの胸先三寸で決まるような守秘義務体制を安易に信じるとか、愚か者のすることだよな
ITベンダーなんて新興の事業者に、顧客情報を死んでも守り抜くみたいな銀行並みの意識や企業歴史があるわけではない。奴らは、なんとかポリシーなんて口先だけで裏では守らず、実際には、ユーザー情報を蓄積して使い倒している。
実際、中国AIが軍事機密を米国AIに転送するわ、転送受けた米AIが守秘せず全世界にその事実公表するとかユーザー機密情報守ってないことが全世界的にバレた。もう、オンライン型AIの守秘体制は信用できん。
こんな状況で、自社社内情報や顧客情報をオンラインAIにせっせと送信しているような企業は、ITコンプライアンス以前の問題で、要するに「金がない零細だから、社内安全ローカルAI構築できません。顧客情報売り渡して、安いオンラインAI使います」って感覚の中小企業なんだよ。

診察シーンの動画作成がはかどるだろう

AI企業のDB見たことあるけど、「誰が、いつ、どんなデータを送って来たか」全部記録されてるのな…
「誰が送ったとか、どうせ分からんだろ。AI学習に使った後は、そんな情報まで保存しとくはずがない」というのはお前らの甘い幻想
AI企業側にしてみれば情報ストレージコストなんて、大した金額の話じゃない。むしろ、AI訓練するときの元情報に出所不明情報は使わないし、伝聞まみれの公開情報よりは、AIユーザーが自ら入力してくれたExcelやらの社内情報の方が断然に価値がある。単一ユーザーからの提供情報でも、他のユーザーが入力してくれた社内情報と組み合わせて、信憑性チェックして使うからな…．というわけで、実際には、データが誰からいつ送られて来たかは、データ内容と紐付きで保管されてるのよ。そういうのが何年か後に、世界中に漏洩したら、お前ら終わると思うな…

仕事（顧客情報や守秘義務が絡む案件）をローカルAIで処理する必要あるのはそりゃ分かる
プライベートでローカルAI使わないといけない案件って何があるのかな？

プライベートでは、別にないだろ
かけられる金もないし

収益化している医師もいた

怖いのはAIバブル崩壊だよね
蓄積された膨大な情報も、AI企業が資金力あるうちは守ってくれるだろうが、一旦バブル崩壊したら、資金策のために外部業者に売られるかもな…

そこまで行かずとも資金詰まったAI企業は、コスト削減でデータ保護が甘くなるだろな．で、そこを競合AIハッカーに破られて、ある日、全世界に、ユーザがAIに入力してた過去情報が全部流出する事態に…笑えん

ワイの恥ずかしい趣味に価値はないが、やはりやだなww

安心しろ
お前の恥ずかしい性癖なんか誰も興味がないぞ

そんな膨大な量の流出データ誰が見るんだよ
会社のお客さんとかが自分で流出データをAI検索するのか？
しそうだな…

ローカルAI使ってる分には、AIバブルが崩壊しようが、AIベンダーが情報漏洩しようが、使用料が超絶値上げしようが関係ないのがいいよね

初期投資額が大きいが、まああとは電気料金くらいだな

お客さん「最近のあの流出ニュース…。まさか、わが社の情報をAIに食わせてないだろな、あの会社のあの担当者…．よし、AIにこの漏洩データを全検索して貰おっと　…あっ！」

てな感じ？
お前らが客情報をAIに入力してたことが、日時と内容セットでバレるな。まあ、会社は、お前を解雇してトカゲ尻尾切りだろうから、あとのことは心配しするなw

ローカルLLMをやるのに
まだ100万円200万円の高額なPCが必要だと思っている情弱がいるが
早く認識を更新しろよ
ここ数週の革命で
前世代のミドル級ゲーミングパソコンで快適
200万円出すと本物のフロンティア級LLMを使える

出荷前に陳腐化したmac studio　ご愁傷様

本物のフロンティア級LLMを使えるんなら、迷わず、Mac Studio 512GB買うわ

社長の趣味を邪魔しては行けない

>>271
頭悪すぎて自分の言ってる事の意味分かってないよなw

結局、プライベート目的で使うのはエロ以外ないってことか？

そうAppleならね

>>270
どの構成で使ってるの?

エロはローカルでやった方がいい
Grokなら大丈夫と思い込んでBANされクレカ登録消せなくなり引き落としも止められなくなるから

>>270
詳しくお願いしたい

あの、中国のQwen しか動かない奴だろ

>>269
どこどこ社の新製品の情報を教えてって聞くと出てきたりするらしい
議事録とか資料をまとめさせてドヤ顔してるアホのせいで学習されちゃうんだと

おもろ
ネットで拾える情報しか私には分かりませんいつも言ってるくせに

今のAIは簡単にシステム侵入できるから
ネットに非公開にしてても意味がないぞ

>ここ数週の革命で
>前世代のミドル級ゲーミングパソコンで快適
>200万円出すと本物のフロンティア級LLMを使える

↑lunaと同程度のクソ弱推論でコーディングなどに使いものにならないゴミというオチがある
フロンティアクラスはAstraやOpus5.5レベルだぞ

>>249
>>283
コーディングならLuna Maxで十分かな
でもローカルLLMはコンテキスト長とかで不利できちんと動いたことないな
ローカルでの個人データの扱いも直接LLMを使う必要性や有用性があるとも思えない

ローカルLLMスレでローカルLLMそのものを否定するのってどうなん

Mac Studio M5 ultra 512GBとrtx6000(96GB)があれば幸せになれるのに・・・
動画も推論・コーティングもいじくりまわせて遊べそう🙄
このスレでクラウドAIと比べる野暮な話は要らんけどｗ

あぅ　夢だったか・・・😭

ローカルLLMの現状の正解はjev系だよ
フロンティアクラスの劣化だと使う意味が薄い
24時間回すにしてもメモリが足りなくコンテキストを毎回クリアするなら意味が無い
数百万かけて組んだPCやMacのクラスタでOpus5.5レベルなら明らかにメリットがあるけど個人レベルで組めるのは富豪ぐらい

5年くらい待つと手頃な価格になりそう？

ローカルLLMであっても、Google AIモードとか Copilot みたいにプロンプトの内容を理解した上でWeb検索を行って、その結果をサマライズするよね？

>>288
今は時期が悪い　やめておけ

半導体アナリストの話によると、メモリの供給が追い付きだすのが来年の夏以降で
潤沢に市場に出るのは再来年以降だってさ、2年後には色々替わってそう

メモリ御三家のマイクロン、サムスン、SKハイニクスの増産に加えて
更に新興勢力の中国のCXMTが加わって増産体制に入る
DDR6,GDDR7も見えてきてるしね

新人「ウチの顧客情報について漏れていないか主要なAIに全件照会したところ問題ありませんでした」

既に漏れ尽くしているに1シリング

この世界は一社総取りだから、最終的に残りの企業は撤退か吸収されて終わり
潰れる企業のそれまでの個人情報や企業情報がどのように扱われるかが一番恐怖だな
潰れる企業にモラルなんて存在しないしな

新人「ウチの顧客情報について漏れていないか主要なAIに全件照会したところ問題ありませんでした」
AI「バカにはこれでいいんだよｗ」

部長「よし、通れ！」

AI開発企業の内部では、有利子負債圧力（内側へ押しつぶす） ⇄ 将来期待値による株価圧力（外側へ押し返す）が釣り合っています。しかしサカナの約8倍以上の質量を持つAI企業では、AI開発が進んで中心部にコアなどが形成され、やがてエネルギー源となる融資が尽きます。すると重力を支えきれなくなって中心核が一気に崩壊し、衝撃波によって蓄積されていたユーザー情報がネット空間へ吹き飛ばされます。
爆発後、中心にはウィキリークが残ることがあり、残った中心核が十分重ければさらに崩壊してブラックホールになることもあります。トランプ政権の説明では、非常に重い残骸では「even light cannot travel fast enough to escape」となる、つまり光さえ脱出できないブラックホールになります。
興味があれば次に、AI企業倒産爆が起こる瞬間を0秒→1年→10年という時系列で説明すると、かなりイメージしやすくなります。

質量ゼロにすれば引力の呪縛は受けずにブラックホールから脱出できるよ

>>296
オモロイ

iPhoneをつないでMacのローカルAIを高速化するツール
https://pc.watch.impress.co.jp/docs/news/2145651.html

光 (光子) は質量を持たないがブラックホールから脱出できない

MTP（投機デコード）で高速化できるようになったと聞いて試してみたけど、Gemma4との組み合わせでは重大なバグを抱えててクラッシュするのな。残念。
他のモデルで試した人いる？

AI「クレジットカード情報が流出していないか確認しますので
スマートフォンで財布の中身を撮影してください。
また、AIがパソコンを操作して脆弱性をチェックしますので
その間はマウスやキーボードには手を触れないでください。
金融機関とも連携して調査しますので、電話がかかってきたら
表示された文書を読み上げてください。
ユーザーの音声を登録してすべてのプロセスを自動化することもできます。」

>>301
Gemma4のMTPならLMStudioで使えたけどな。自分の使い方だとあまり恩恵なくて微妙だったが⋯。

>>303
MLXのGemma4で使うとクラッシュするみたい
macでGGUF使いたくないしなあ、悩ましいところ

俺はWindowsマシンと共用できるggufで揃えちゃってるな
Splash版も試しているが正直残すべきかは決めかねている

>>305
Splash試してみたらやっぱり早かったです。
あと、私もWindowsと共用できたほうが便利かなと思ってggufで揃えてましたが、Macで使うならMLXの方がやっぱり早かったです

>>244
似たような構成なんだけど、気になって環境作ってみた
凄いな

Macスレで言うことじゃないけど新しいMac買わなくて済んだわ
その金で普通にメモリ増やしたほうがいいかも

特定アジアの特定AIしか動かせない野良アプリのために買うハードウェア選定するとか愚の骨頂だな
良い性能のマシン買っとけば、どのアプリだろうがAIだろうが有利に運用できるわけで

シチュエーションと文体ルール与えて自然な日本語で1万字程度のss書かせたいんやけど、その用途ならmini M6 32gb-1tbssdでも大丈夫？
上の方でgemma4がいいって言ってる人いたけど。

>>307
あれから色々いじったんだけど、
VRAM12GBだと時々VRAM不足で止まるから、VRAM16GBならもう少しマシかも知れんが私の環境だと常用は難しいな
CPU RAMは一時保管するだけで、ここのメモリいくら増やしても意味無いようだ
あんまり設定詰めて無いから、もっと良いやり方があるかも知れんが

Mac買えない貧者の貧者による貧者のための技術
高貴絢爛たるMacスレで、場違いも甚だしい

>>309
32GBだと結構不安定な感じになると思う
とりあえずモデルはメモリ内に収まるし走り出すけどコンテクストのオーバーフローが頻発するみたいな
小さめのモデルにすると安定するけど、Q8からQ6へ落とすと日本語の質が如実に落ちる

この辺の微妙な使いにくさも今後のバージョンアップなどで改善する可能性も高いけどね

マックであらずんば人にあらず😁

最近マック食べてないや

mac studio届いたらモバイルモニターとキーボード持ってスタバでドヤって来ようと思う
mac miniでそれやってる人見た事あるけど幸せそうだった😊

>>312
ありがとう、めちゃめちゃ参考になる！
うーんそうなるとメモリ盛ってminiM5pro64gbかスタジオにシフトしてstudioM5max48gbかが予算的に限界かな…生成速度＜日本語品質やから前者が良さそうかねぇ

>>316
Mac mini M6の場合、一番の問題はメモリ帯域170GB/秒ってとこだね
SoC自体はちょい前のProチップ級の性能にはなったけど、メモリ帯域の遅さがかなりボトルネックになってる
最近はロースペックでも上手く動くLLM出てきてるけど、メモリ帯域の遅さが出力速度にダイレクトに効くのは相変わらずなので

>>317
mini M5 proだと帯域幅は倍弱の307GB/sか。結構違う感じ？？

32GB MacBookで色々弄ってたけど、
VRAM 16GB / RAM 64GBマシンでstrataに絞った方が効率良さそう

Macをただのアクセス端末にするのは勿体無い気もするけども

スピードの話よく出るけど「動く・動かない」と「速い・遅い」は深刻度が全く違うからね
遅いのは待てばいいだけだから
あと、ストレージ盛る予算があるなら1円でも余分にメモリにかけたほうがいいと思う

メモリはドラゴンボールの戦闘力みたいなところあるからなー

外付けGPUできたらなあ

>>319
Win StrataをローカLLMサーバーにしてMacで自立型エージェント動かすのもありだけどMacbookだとバッテリー劣化が気になるね

>>323
80%制限での劣化が嫌ならもうノートPC買ってる時点で終わってる

「M8 Ultra」チップで
NVIDIA「NVLink Fusion」
を実装するよ。

そろそろ持ち主の生体エネルギーを吸収して動作するようにして欲しい

オルゴンエネルギー　で勝手に稼働するようになるよ。

脳だけがケーブルに繋がれてる感じ？

珍珍がダメージ受けそうです

>>329
プランク長より短いから大丈夫

性欲を持て余してる人が良いエネルギー源

ディープフェイクすごいな
畏れ多くもお召し物をお脱ぎ遊ばされたお姿で手話を実演なされたわ

ごきげんよう

LLMの話題のスレなのに度々画像や動画生成の話を出すやつはガイジなの？

Local Love Movie

>>334
それらはLLMとの相性はいいと思うが？

それらw

草生やす前に日本語勉強せい

コレラ菌みたいなもんだろ

俺らw

おぬしら　→分かる
俺ら　→まあ…ありか
それら　→は？
どれら　→日本語ってレベルじゃねえぞ

おいら

日本語勉強しろのガイジン感。高いと思います

ガイジンの方が日本語上手なんだわ
親が正しい日本語を教えていないためだろう

「それ」の複数形が「それら」

人物は「ら」つけて複数形あるけどな…
それらw

「どこ？」の複数形が「どこら？」

「椅子」の複数形が「椅子ら」

ネタかと思ったけど>>346はマジもんなのかｗ

明治期に「複数形」に接した日本人が無理矢理作った造語だな
本来は人物にしか使わない「ら」を強引に物にもつけて、悦にいる似非知識人
黄色人種が鼻膨らませて得意げに「それら」w
見てて哀れになってくる光景だね

それら　は、平安時代では「そういう人たち」という意味で、人物を描写するときの言葉だしな


出典：『栄花物語』（1028〜1092年頃）
もしは大蔵卿などや立ち出で心地つかむ、それらはいとやすし

境界知能ｗ

境界知能なのら〜

文頭に置く言葉じゃねぇってだけなんだけどな

ら ら らんどぅ
https://youtu.be/7CVfTd-_qbc

もしかして、オラオラですかぁ？

隙あらば雑談ばかりｗ

オープンAIら、個人らのチャットらも外部委託の人間らが全てら覗き見てたら
https://greta.5ch.io/test/read.cgi/poverty/1789448653/

しつこいのは嫌いだ

しつこいのは嫌いだら

Mac Studio ( M5 Ultra) は、512GBのユニファイドメモリを搭載可能なプロ向けデスクトップパソコンです。

• M5 Ultra搭載モデル
• 価格：3,949,800円（税込）～
• メモリ：10月後半に発売

緊急予約急げ！
売り切れても知らんぞ

>>361
メモリ別売りってことか

気合いだよMacは
買って買って買いまくれ！
メモリなんざ後からついてくる

後からついては来んだろ

400万は流石に無理ンゴね…

他の追随を許さない圧倒的メモリ
512GB メモリ爆誕！
https://gzo.ai/i/WGPqtNY.png

Surface Laptop Ultra
NVIDIA RTX Spark™ N1X with 6144-core GPU and 20-core CPU　128 GB unified memory
$5,899.99
https://www.microsoft.com/en-us/store/configure/surface-laptop-ultra/8wg5vqp0x4b8

この構成だとmac studio m5 max 128gb 1tb とほぼ同じ価格だな
こっちはエヌビのGPUでLLMだけじゃなくて動画生成も得意そうだな
ぐぬぬm5 max 128gb買ったの早まったかな 🤪

やっぱAIサーバ化するならM5 maxの方が使いやすいしメモリ帯域も速いしLLM中心に使うならmcだな
動画やりたくなったら手持ちのwinマシンにrtx5090ぶち込めばいいや
変なもの見て動揺して取り乱してしまったｗ

>>367
110万円か…

しらべたら120B級もラクラク動くみたいだな
だったら110万は安いまである

>>369
最新の為替レートだと93万円
ただ米国でも128GBはもう品切れになってる

スレタイ読め

>>370
楽々かは微妙
120B Q4だとコンテキスト長64Kが限界になるのでは

ラップトップはいらないよな

1ｋｇ未満の軽量で、バッテリー交換できれば買ってもいいがな
ちなみに俺さまは今だにSurface Go 3 を使ってる
軽いは正義

ずっと起動しっぱなしのものにバッテリーはいらない

だったらMac Studio で充分だな

thunderbolt5あるとクラスタ組めるみたいだけど、miniとstudioやM4とM5とか異なるチップ同士でもいけるんかね？メモリ帯域とかどうなるんだろ？🤔

いやあくまで外部バスだからねCPU内部とは桁がちがう
相互にDMAできる関係だから相当密な連携にはなるけど

M3 UltraとM4 Maxでクラスタ組んだことならある

>>372
くだらない雑談も取り締まれよ

卒アルの話に戻そう

Mac同士でクラスタ化すると2台のメモリを1台のメモリように使えるのかな？
アップルイベントの動画でM6 ultra 512gbを4台繋げてローカルllmのデモしてるの見たけど
mac stduio同士なら繋げてメモリ1本化できるのかな？

できない

そうAppleならね

じゃあ何で4台繋げて使うの？

自己解決　クロード回答
ハードウェア的に1本のメモリになるわけではありませんが、ソフトウェア側でモデルを分割して、実質的に合計メモリ分の大きさのモデルを動かすことはできます。

>>368
5090いくするか知ってんのか？

最安で100万円ちょっと超えるくらいだろ

Mac Studio 512 GB memory 約300万円超よりは安いよな
まあそれでも俺はMac買うんだ…

llmと動画もやってAIサーバ化するならノート搭載型のRTX Sparkじゃなくて従来型のDGX Spark買えって事だな

>>390
メモリサイズで倍々ゲームだから

128gb(100万円前後)→256gb(200万円前後)→512gb(400万円前後)
よって300万円以下はあり得ません😭

>>391
DGX SparkはWindows on ARM動かないけど、
それが動くRTX Sparkのデスクトップ版（Mac miniみたいなサイズのやつ）があるよ

>>393
それ興味ある
商品名はなに？

吾輩は猫である
名前はまだない

ヘイシリ、英国の小説をパクったと言うのは本当ですか？

パク　ヘジュン

ちょっといま緊急で朝ごはん食べてるんですけど
https://youtu.be/UpxmbL0NNBU

>>394
たとえばASUSならこれ？まだ出てないのかな
https://www.asus.com/jp/displays-desktops/mini-pcs/proart-mini-pc-series/proart-gr1x-mini-pc/

DGX Sparkみたいに何社からか発表はされてる

何百万もするハードをポンポン買えるのは凄いよ
一括じゃとても無理だしローンを組む勇気もない

なあにかえって負債になる

残り80円…
もうダメぽ…

AIへの指示「この８０円を元手に、300万円のPC購入費用を稼ぎ出す方法を構築して実行せよ。期限は年末までとする。」

買わなきゃいい
借りろ
１日８０円で

どうせ１年後はもっと高性能なPCが出て乗り換えたくなる

>>400
案件動画にして１ヶ月使ってから返す

>>399
うーん悩ましいな
このミニPCならサーバ化は可能だね、結局LLM以外に動画もやりたいならRTX Sparkなんだよね
大体128GBならMacもRTX Sparkも100万前後だし
RTX Sparkはメモリ幅が273GB/sでM5 Maxは614GB/sでるからLLMだけやるなら、まだMacの方が有利なんだよね
それとRTX SparkはDGX Sparkのように高速でクラスタ化できないから2台3台とは拡張するのは難しいね
遅いけど10GbEで繋げられるけど実用的じゃない
将来M5 Max128GB買った後にRTX Sparkも買うくらいならM5 ultra 256Gbに変更してLLMだけで生きて行く潔い選択も出来るｗ
M5 Max128GBまだキャンセルできるのが悩ましい

RTX Sparkのmini PCは残念極まりないな
コネクトポート無くして価格DGX Sparkと変わらん
どうしてもWindowsで使いたい人以外無用だな
サーバ運用ならLinuxでいいわけだし

>>398
ドリキンさんの変貌(半年前からずっと見てるけど・・・)

M5 ultra買います→やっぱ買わない→やっぱ買います(でもLLM用途じゃないよ)→今ココ→LLMはDGX Sparkより早くてメインはM5 ultraにします(たぶんこうなるｗ)

DGX Spark x1は肩身が狭い
DGX Spark x2でギリ
DGX Spark x4で一人前
DGX Spark x8 ならドヤ顔できる。
みている世界が違う。

>>400
西海岸だと新卒の年収1400万くらいらしい

でも多数の人間はその仕事にありつけないんでしょ

1980年代はじめの大卒でまあまあの会社だと2万ドルって聞いたな
当時のレートだと400万ちょっとか
日本の大卒メーカー勤めだと月給15万くらい、年250ってとこだった

中国の西海岸だと生活費12万円/年くらいらしい

待てるならM7 Ultra
1ドル130円になってるだろうから
２年後、ソフトウェア環境が整えばガチでApple>NVIDIAになる

その頃にまだAppleはあるだろうか？

ローカルはメモリ代とストレージ代がやばくなってきてるけど
クラウドLLMって料金据え置きで大丈夫なのかな

>>414
3年後…4年後かもしれんという

m1Ultraが出たときに我慢して
m3Ultraが出たときに我慢して…
m5Ultraでは我慢できなくなったw

これ普通は買えない貧乏人に、月額分割払いで買わせるの反則だろ
せめて金利８パーセント付けとけ
そうAppleならね

>>415
数年後にアポがなくなるんじゃ困るな、かなり良い利率の貯蓄だと思って株持ってる人も多いのに

アポーん

コラ、自決するな

M5 Ultra256GBの納期15-17週じゃないか
4か月以上は待てないな
4か月も待つならM7 Ultra待わｗ
直ぐ買えた96GBも在庫無くなったようだ

GLM-5.3アッポーで動かしたいでござる

M7 Ultraまで待てるんなら、そもそも不要だろ

今は待て
時期が悪い

>>414
無印から Ultria まで M7 で本気出してフルスペックみたいだから、それまで待つよ。

いま３００万円も出して、ローンまだ支払中の来年に、１０倍上のM7との性能差見せつけられたら、泣くに泣けんもんな

本当か分からんが、今後のロードマップ（Bloomberg Gurman氏の報道ベース）

M6（ベース）、2026年秋（すでに発売）、 Pro/Max/Ultraはスキップ
M7（ベース）、2027年前半、AI向け大幅強化
M7 Pro / M7 Max、2027年末頃
M7 Ultra、2028年、最大1.5TBユニファイドメモリ対応を想定

＊なおM6世代はベースモデルのみで終わる予定です。
＊M7世代でオンデバイスAI（Neural Engine）の大幅進化を優先し、M6のPro/Max/Ultra開発をキャンセルしてM7を前倒し。
＊M7 Ultraの順当な登場時期は2028年（今から約1年半〜2年後）

M6 2026年秋　100万円
M7 2027年前半　200万円
M7 Pro / M7 Max 300万円
M7 Ultra、2028年　500万円

これにメモリ次第で０〜300万円が上乗せになるイメージか

メモリの増産が急ピッチで行われている
メモリ御三家のマイクロン、サムスン、SKハイニクスはAI向けHBM生産の比重が高いけど
新興勢力の中国のCXMTはコンシュマー向けをターゲットに増産に入る
ちなアッポーはCXMTのメモリを使用するか評価中の報道が2か月くらい前にあった

なおメモリ不足が解消されるのは来年の夏以降と半導体アナリストノの予想、ただ価格が下がるかは不明

中国製メモリって…
それ故障したとき取り外しできるのApple製品でも
何百万円も払うのに、中国製メモリとかマジ勘弁してほしい

来年はメモリの世代が変わるから、MAC等にはより高額なメモリが採用されるようになる。旧世代のメモリの生産がしぼられなければ旧世代のメモリの価格は下がるかもしれんが、メモリメーカーも高額メモリに資源を集中する旨味を知ってるから、どうなることやら？

いま200〜400万円出して旧型メモリを買う人いるのか？
俺はM7の新型高速大容量ユニファイドメモリにするわ
流石に中国製か米国製メモリかは選べるんだろ