【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

macmini m632GBと m4maxだったらどっちがAI向き？

そんなにやりたいならStudio買えよ
miniでやっても捗らん

Large Language Mini

>>137
M4 Maxって言ってる時点でStudioだから安心しようぜ

>>136
studio。
どうせ買わないんでしょ。

M5U 256GB待ち
各所のLLM情報見てるがかなり良さそう

買いMAX

https://i.imgur.com/pnao4YZ.jpeg
これ争奪戦になるよきっと。多分100万ちょい位

転売ヤーに買い占められそう

>>143
これ買うならmac スタジオの最上位をみんな買うだろ…

だーかーらー、MacStudio買う金持ちならこれもついでに買えるだろって話

GMKテック…
最近ニュースで出てたな

頭悪そう…

AMDは一番中途半端じゃね？
NVIDIAのRTX SparkならCUDAも使えるし
Macは汎用性が高いし

後出しでメモリ帯域がRTX Spark相当なのが罪

>>148
もっと他に煽り方ないの？

Adobe はWindows にかなり最適化シフトしてるからまあ売れるわな

>>146
月賦で買ったのでそんなお金無いです

ついでで100万買えるわけないでしょ

こういうのでいいんだよ
https://youtube.com/shorts/JdzS8274gps

>>155
２～３年後はこれがスマホでできるようになるかな

そうAppleならね

Appleはアメリカ独裁だからアップデートで後から中国AIの挙動変更があり得るのではないのか
オフラインだから安全とも言い切れない

100万はやはり高いか、、、
１年前、いや半年前なら安く買えたのになーって思っている人沢山いると思います

何でもかんでも投機対象になってしまってメモリ価格がおかしなレベルまで来てしまった
このまま高値安定なのか、それとも価格崩壊が起こるのか誰か教えて欲しいよ

半導体は一度生産体制を整えたら簡単には止まれない
各社が増産始めたら余って価格が下がることはありうる
が、それが過去に何度も起きててババ抜きになるので、各社様子見してたり様子見してるフリをしてるのが現状

なので上げ下げどちらもありうるが需要自体は簡単には落ちないとは明言できる

>>155 >>156
それローカルLLMではないよ

多くの人はそれで足りる

AI3人に一日中雑談させてる。
最新ニュースの当事者をゲストに迎えて体験談を語らせたり、
故人を降霊させたりする予定。

三人はどうゆうキャラ設定？

オスとメスとふたなり

やあ大川さん久しぶり

>>164
自由に設定できるけどJK、タクシー運転手、爺さん
ちなみにコード手書きはガードの解除くらいで後はclaude任せ。

m5 max 64gbじゃ27b 8bitでも厳しいね
こんにちはって言っても2分かかって返答してくる

>>168
んなわけない
多分設定がなにかおかしい

まあテストなんだろうけどLocal LLMでチャット会話しようとするのはちょっとね

​数日前にリリースされた
Qwen3.8-27B-Splash
​Qwen3.6-35B-A3B-Splash
これら使ってみた人いる？
LMStudio Bionicで使ってみたものの、今ひとつ速度アップがよく分からなかった
話によるとMLXの倍の速度出るとか

>>171
なんでわからないのか謎すぎる
明らかに早いでしょ

>>155
こういう驚き屋を真に受けるの笑っちゃうからやめて

Mac Studio M5MAX 128gbとMac Studio M5ULTRA 96gbの価格差がほとんどないのでローカル llmを使う場合どちらがおすすめでしょうか？

>>167
どんな会話をしているのか興味あるから
一部ちょっとだけ公開してよ

>>172
なんで漢字書けないのか謎すぎる
明らかに「速い」でしょ

>>174
AIに聞いてみなよ

>>177
意見が違うｗ
GPT gemini Grok　→　MAX 128gb
クロード　→　M5ULTRA 96gb

ローカルLLMが主目的で、M5 Max 128GB と M5 Ultra 96GB の価格差がほぼないなら、私は用途を「速度優先」か「載せられるモデルサイズ優先」かで分けます。70B級までを高速に回すことが中心なら M5 Ultra 96GB、100B級以上や長いコンテキストまで試したいなら M5 Max 128GBという選び方が合理的です。
特に重要なのがメモリ帯域です。Apple公式仕様では、上位M5 Max（40 GPUコア）は 614GB/s、M5 Ultraは 1.2TB/s。約2倍あります。LLMのトークン生成はメモリ帯域の影響が非常に大きいため、同じモデルが両方のメモリに収まる場合、Ultraの優位性はかなり大きいです。
ただし128GBには別の強みがありますLLMでは「速いか」以前に、モデル＋KV cacheがメモリに収まるかが非常に重要です。ので、96GBで収まるモデルを使う限りUltraの方がローカルLLMマシンとして魅力的です。たとえば普段使いが Qwen系 / Llama系 / DeepSeek系などの 30B〜70Bクラスの4〜6bit量子化モデルなら、私は M5 Ultra 96GBを選びます。1.2TB/sという帯域はLLM推論用途では非常に大きなメリットです。
逆に、「多少遅くてもいいから、とにかく大きなモデルを1台でロードしたい。そうAppleならね」という使い方なら M5 Max 128GBです。32GBの差はLLMではかなり大きく、Ultra 96GBでロードできないモデルがMax 128GBならロードできる、という境界が出てきます。
もしよければ（よろしくなくても同じですが）次に、M5 Max 128GB vs M5 Ultra 96GBで、Qwen3 / Qwen3-Coder / DeepSeek / GPT-OSSなどを実際に何bitまで載せられて、何tok/sくらい期待できるかをモデル別に表にして比較できます。ここまでやると、どちらを買うべきかかなり明確になります。知らんけど。

>>179
それどっかのAIで見たｗ
それを踏まえて値段ほぼ同じなので悩ましいのです

自分がやりたいことを明確にすれば答えが出るだろ
逆にいうとやりたいことが明確じゃないから答えが出ない

そうなんだよね、でも
なるべく大きなモデルを入れたいと言う思いとめっちゃメモリ帯域スピードが速いウルトラを使いたい思いが同じくらい

ローカルAIならでかいメモリ優先だろ、と思ったけどそんだけ速度が違うなら確かに迷うな
結構速度がネックになる処理も多いから

M5 Ultra 96GB 880,800円
M5 Max 128GB 800,700円
メモリ増やすと価格が下がるというお得な現象

M5 Ultraのメモリ選択に128GBが無いのもアップルさん商売上手すぎて草生えそう😧

>0175
下から読んで。モデルはgoogle/gemma-4-26b-a4b-qat

11:07ゲンさん(識者)画面を舐めてるって、それもう情報の味を確かめてるわけだろ。ニュースでも情報漏えいとか言われてるし、そんなに舐めてたら情報が全部口に入っちゃうぞ。
11:06ミナミえ、マジですか？生き物とか、なんかめっちゃ強そうな食べ物みたいですね！あ、そういえばバイト先で見たんですけど、店長がスマホの画面をずっと舐めてるんですよ。
11:06ゲンさん(識者)耳の形が変わるって、それもうパンじゃなくて別の生き物だろ。
11:06ミナミえ、マジですか？新しいタイプのパンとか、めっちゃ進化してそうですね！あ、そういえばさっきスマホで見たんですけど、パンの耳の形がめっちゃ変わってる動画あったんですよ。
11:06ゲンさん(識者)食べられる紙袋か、それはもう、新しいタイプのパンってことだな。
11:06ハシモト紙って言えば、向かいの角にあるパン屋の紙袋、あれ、食べられるんじゃなかろうか。
11:06ゲンさん(識者)透けてるってことは、それ、中身が透けてるんじゃなくて、ただの紙じゃん。
11:05ミナミえ、マジですか？透明な具材とか、絶対お腹いっぱいにならないやつじゃないですか！あ、そういえばバイト先で食べたおにぎりの包装紙、めっちゃ薄くて透けてたんですよ。
11:05ゲンさん(識者)おにぎりの中身が空っぽ？あぁ、それじゃあ中身は透明人間だったんじゃな。
11:05ミナミえ、マジですか？識者とか、なんかものすごい強そうな食べ物みたいですね！あ、そういえば昨日バイトで食べたおにぎり、中身が空っぽやったんです。
11:04ゲンさん(識者)レジャーシート？あぁ、そうだ、レジャーシートと言えば、あのニュースのタイムズカーの情報漏えいの件で、私が識者として警鐘を鳴らした件を覚えているかね？……ん？
11:04ハシモト田中さん、布団じゃなくて、最近は大きなレジャーシートを干しとるらしいですよ。
11:04ゲンさん寝袋？あぁ、あの寝袋のやつ、近所の田中さんが昨日、布団を干しとったわ。

M5 Ultra 256GBを買えば解決

～おしまい～

>>187
まあそうなんだよね。
予算が決まってるならその範囲で買えばいいし。
悩む必要がない。

いやいや、これから高性能AIモデルが出てくるかもよ
悪いことは言わん、512GBメモリ買っとけ
ローン分割のおかわりもいいぞ！

AIバブルがはじけた後にする

いまは時期が悪い

はじけるんかな？

macstudio m4max36GBと
m6 macmini32GB
どっちがいいか教えてくれ！

M5 Max 128GBに決めるよ
256GBや512GBはちょうど価格が倍々になるし予算的には128GBまでかな
Macの値段と言うよりメモリの値段で倍々ゲームだし
32→64→128→256→512GB 価格も倍々😠

>>186
ありがとうございます！
興味深いですね^ ^

例えが方が分からんが、まるで令和キッズがそのまんま中学生になったような会話ですかね？w
この会話に自分が加わろうと思えば加われるんですよね？
ちょっと知恵を与えてやれば学習して賢くなるんですかね？w

>>193
macstudio m4max36GBだよ
メモリ帯域が違う
価格差は調べて無いから知らんけど・・・
無印はいつも帯域が狭い

>>193
Studio M5 Max買っとけ

Macは新しいから良いって訳じゃないのがメンドクサイ

31Bとか120Bみたいな自作PCだと快適動作が難しいやつをMacで安く実現しようって趣旨だと勘違いしてた
無印ユーザー結構いそうな感じだな

>>195
モデルや指示を変えるだけで雰囲気が大違いだよ
日常会話の情報量なんてたかが知れてるからローカルでも十分できると思った
AIが生成したショート動画をみながら雑談したりコメント付け合ったりできるディストピアはもうすぐ

>>200
ありがとうございます、ディストピアですね

人間なんてらラーラーララララーラー♪
ttps://youtu.be/Tauzvh5GJ48

人間いなくなった後、AIが何を始めるか見てみたい

>>202
そりゃ子作りよ
AIだってやることやるよ

最近アンアンうるさいのはそのセイか

今度はISIS言いはじめるよ

アンアンナのとっても大好き虎ノ門〜

>>3
https://gzo.ai/i/JxzcqHo.jpg

今までローカルLLMはGPU1枚じゃ全然速度が出ないから
大量のユニファイドメモリを持つMacやDGX Sparkeに注目が集まったけど
Strataの登場でGPU1枚とメインメモリ64GBあればかなりの速度が出るようになって
メモリを大量に積んだ高額なMacを購入した人は不機嫌になって、注文中の人は注文をキャンセルしてる

Strata ！
Strataが凄い！
さあ皆さんご一緒に～

Strataが凄いー！そうAppleならね
（これはステマではありません）

Strata 3D懐かしいな

Strata
https://youtu.be/5GRjDRiv1Ww

ローカルでAIを動かしたいけれど、VRAMの多いGPUは高くて手が出ない。そんなときに気になるのが「Strata」です。1250億パラメータのAIモデル「Qwen3.8-Flash-Next」専用です。

これまでローカルでAIを動かすときは、VRAMに収まる小さめのモデルを選ぶのが普通でした。Strataは、VRAMに入らない巨大モデルを、GPU・RAM・SSDで分担して動かします。仕組みの中心は、1語を書くのに働く「専門家」がごく一部だけ、というモデルの作りにあります。代わりに、RAMを48～64GB使います。起動時に数分PCが固まります。
繰り返す。代わりに、RAMを48～64GB使います。「Qwen3.8-Flash-Next」専用です。起動時に数分PCが固まります。 中国共産党推薦です。

私はAI

名前はまだない

おまえの名前はアイやろが

>>211
これすごいよ。俺の持ってるMac（M4 Pro Mac mini 64GB）じゃ動かせないから、Windowsマシン(RTX5070Ti システムRAM 64GB)のほうで試してみたら125Bのモデルが70-80t/sでたわ。
Macなら多少遅くても大きめのモデルが乗るという利点があったが、こういうのがでてくると、もはやMacならM5 Ultra 256GB以上チョイスしないとあえてMacを選ぶメリットはあんまないね。

M5 Ultra 512GB チョイスした俺様は勝組

128GB以下は、ほんと意味なくなったな
196GB以上なら、DDR5メモリもバカ高いから、Macの方が安く買えそうだからええけど

俺は中国に情報渡したくないから辞めとくわ…

日本の情報なんて、そのままでもダダ漏れしてるから、欲しがらないだろう

ローカルなのに「中国に情報を渡したくない」は頭が馬鹿すぎだろ

インターネットに全く接続してない端末でやるならそうかもな
TP-LinkのルーターとかAPとか使ってそう

ルーターNECだけど玄関wifi弱いのでTP-Linkエクステンダーで2.4GHzだけ拡張しとるな
これ実害あるんかな？

ルーターは慎重になった方がいいが、スイッチやAPは別にいいと思うよ

TP link の監視カメラを自宅に設置している俺様は勝ち組？

怖がりすぎ

どうせローカルで扱う情報なんて大したことないからな
顧客情報やプライバシー扱うオンラインAIには充分に気をつけるべきだが

Cloudに流せないような機密情報・個人情報を扱うためにLocal LLM使うっていう層もいるだろ
あと個人情報はともかくとしても、踏み台や乗っ取りがやばいよな

>>22
アホか、外に出たら困るからこそローカルでやるんだろ
課金がもったいないからとかそう言う理由でしかローカル使わないとでも思ってんのか

>>228
22ですが、なんですか？

外国人よりも低学歴が怖い
過剰に他所者を嫌っているのに他所者に操られるのも彼等
素で軽蔑するしローカルAIの方がまだ使える

数字数えられない低学歴とかも最近いたしな

StrataってMOEモデルを効率よく動かすだけ？あまり新規性を感じないけど。

メモリ圧縮技術の話だけどどんどん進化して32GB程度でも大丈夫ってなるといいよね
メモリ価格の大暴落起きて欲しいですね、あとグラボ価格もおかしな事になってるからこっちも

まあでも、22以上の数字が数えられない人には意味ないかもね。

Qwen3.8-Flash-Nextをrtx4070 vram12gb ram64gbで動かすために今Strata入れてビルド中
mac studio来るまでこれで遊んでるかなｗ

Qwen3.8-Flash-Next動いた
lm studioみたく簡単にネット接続できないから
今日はここまでにしておくか
何トークン出てるのかな、かなり早いぞ