【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

そうなんだよね、でも
なるべく大きなモデルを入れたいと言う思いとめっちゃメモリ帯域スピードが速いウルトラを使いたい思いが同じくらい

ローカルAIならでかいメモリ優先だろ、と思ったけどそんだけ速度が違うなら確かに迷うな
結構速度がネックになる処理も多いから

M5 Ultra 96GB 880,800円
M5 Max 128GB 800,700円
メモリ増やすと価格が下がるというお得な現象

M5 Ultraのメモリ選択に128GBが無いのもアップルさん商売上手すぎて草生えそう😧

>0175
下から読んで。モデルはgoogle/gemma-4-26b-a4b-qat

11:07ゲンさん(識者)画面を舐めてるって、それもう情報の味を確かめてるわけだろ。ニュースでも情報漏えいとか言われてるし、そんなに舐めてたら情報が全部口に入っちゃうぞ。
11:06ミナミえ、マジですか？生き物とか、なんかめっちゃ強そうな食べ物みたいですね！あ、そういえばバイト先で見たんですけど、店長がスマホの画面をずっと舐めてるんですよ。
11:06ゲンさん(識者)耳の形が変わるって、それもうパンじゃなくて別の生き物だろ。
11:06ミナミえ、マジですか？新しいタイプのパンとか、めっちゃ進化してそうですね！あ、そういえばさっきスマホで見たんですけど、パンの耳の形がめっちゃ変わってる動画あったんですよ。
11:06ゲンさん(識者)食べられる紙袋か、それはもう、新しいタイプのパンってことだな。
11:06ハシモト紙って言えば、向かいの角にあるパン屋の紙袋、あれ、食べられるんじゃなかろうか。
11:06ゲンさん(識者)透けてるってことは、それ、中身が透けてるんじゃなくて、ただの紙じゃん。
11:05ミナミえ、マジですか？透明な具材とか、絶対お腹いっぱいにならないやつじゃないですか！あ、そういえばバイト先で食べたおにぎりの包装紙、めっちゃ薄くて透けてたんですよ。
11:05ゲンさん(識者)おにぎりの中身が空っぽ？あぁ、それじゃあ中身は透明人間だったんじゃな。
11:05ミナミえ、マジですか？識者とか、なんかものすごい強そうな食べ物みたいですね！あ、そういえば昨日バイトで食べたおにぎり、中身が空っぽやったんです。
11:04ゲンさん(識者)レジャーシート？あぁ、そうだ、レジャーシートと言えば、あのニュースのタイムズカーの情報漏えいの件で、私が識者として警鐘を鳴らした件を覚えているかね？……ん？
11:04ハシモト田中さん、布団じゃなくて、最近は大きなレジャーシートを干しとるらしいですよ。
11:04ゲンさん寝袋？あぁ、あの寝袋のやつ、近所の田中さんが昨日、布団を干しとったわ。

M5 Ultra 256GBを買えば解決

～おしまい～

>>187
まあそうなんだよね。
予算が決まってるならその範囲で買えばいいし。
悩む必要がない。

いやいや、これから高性能AIモデルが出てくるかもよ
悪いことは言わん、512GBメモリ買っとけ
ローン分割のおかわりもいいぞ！

AIバブルがはじけた後にする

いまは時期が悪い

はじけるんかな？

macstudio m4max36GBと
m6 macmini32GB
どっちがいいか教えてくれ！

M5 Max 128GBに決めるよ
256GBや512GBはちょうど価格が倍々になるし予算的には128GBまでかな
Macの値段と言うよりメモリの値段で倍々ゲームだし
32→64→128→256→512GB 価格も倍々😠

>>186
ありがとうございます！
興味深いですね^ ^

例えが方が分からんが、まるで令和キッズがそのまんま中学生になったような会話ですかね？w
この会話に自分が加わろうと思えば加われるんですよね？
ちょっと知恵を与えてやれば学習して賢くなるんですかね？w

>>193
macstudio m4max36GBだよ
メモリ帯域が違う
価格差は調べて無いから知らんけど・・・
無印はいつも帯域が狭い

>>193
Studio M5 Max買っとけ

Macは新しいから良いって訳じゃないのがメンドクサイ

31Bとか120Bみたいな自作PCだと快適動作が難しいやつをMacで安く実現しようって趣旨だと勘違いしてた
無印ユーザー結構いそうな感じだな

>>195
モデルや指示を変えるだけで雰囲気が大違いだよ
日常会話の情報量なんてたかが知れてるからローカルでも十分できると思った
AIが生成したショート動画をみながら雑談したりコメント付け合ったりできるディストピアはもうすぐ

>>200
ありがとうございます、ディストピアですね

人間なんてらラーラーララララーラー♪
ttps://youtu.be/Tauzvh5GJ48

人間いなくなった後、AIが何を始めるか見てみたい

>>202
そりゃ子作りよ
AIだってやることやるよ

最近アンアンうるさいのはそのセイか

今度はISIS言いはじめるよ

アンアンナのとっても大好き虎ノ門〜

>>3
https://gzo.ai/i/JxzcqHo.jpg

今までローカルLLMはGPU1枚じゃ全然速度が出ないから
大量のユニファイドメモリを持つMacやDGX Sparkeに注目が集まったけど
Strataの登場でGPU1枚とメインメモリ64GBあればかなりの速度が出るようになって
メモリを大量に積んだ高額なMacを購入した人は不機嫌になって、注文中の人は注文をキャンセルしてる

Strata ！
Strataが凄い！
さあ皆さんご一緒に～

Strataが凄いー！そうAppleならね
（これはステマではありません）

Strata 3D懐かしいな

Strata
https://youtu.be/5GRjDRiv1Ww

ローカルでAIを動かしたいけれど、VRAMの多いGPUは高くて手が出ない。そんなときに気になるのが「Strata」です。1250億パラメータのAIモデル「Qwen3.8-Flash-Next」専用です。

これまでローカルでAIを動かすときは、VRAMに収まる小さめのモデルを選ぶのが普通でした。Strataは、VRAMに入らない巨大モデルを、GPU・RAM・SSDで分担して動かします。仕組みの中心は、1語を書くのに働く「専門家」がごく一部だけ、というモデルの作りにあります。代わりに、RAMを48～64GB使います。起動時に数分PCが固まります。
繰り返す。代わりに、RAMを48～64GB使います。「Qwen3.8-Flash-Next」専用です。起動時に数分PCが固まります。 中国共産党推薦です。

私はAI

名前はまだない

おまえの名前はアイやろが

>>211
これすごいよ。俺の持ってるMac（M4 Pro Mac mini 64GB）じゃ動かせないから、Windowsマシン(RTX5070Ti システムRAM 64GB)のほうで試してみたら125Bのモデルが70-80t/sでたわ。
Macなら多少遅くても大きめのモデルが乗るという利点があったが、こういうのがでてくると、もはやMacならM5 Ultra 256GB以上チョイスしないとあえてMacを選ぶメリットはあんまないね。

M5 Ultra 512GB チョイスした俺様は勝組

128GB以下は、ほんと意味なくなったな
196GB以上なら、DDR5メモリもバカ高いから、Macの方が安く買えそうだからええけど

俺は中国に情報渡したくないから辞めとくわ…

日本の情報なんて、そのままでもダダ漏れしてるから、欲しがらないだろう

ローカルなのに「中国に情報を渡したくない」は頭が馬鹿すぎだろ

インターネットに全く接続してない端末でやるならそうかもな
TP-LinkのルーターとかAPとか使ってそう

ルーターNECだけど玄関wifi弱いのでTP-Linkエクステンダーで2.4GHzだけ拡張しとるな
これ実害あるんかな？

ルーターは慎重になった方がいいが、スイッチやAPは別にいいと思うよ

TP link の監視カメラを自宅に設置している俺様は勝ち組？

怖がりすぎ

どうせローカルで扱う情報なんて大したことないからな
顧客情報やプライバシー扱うオンラインAIには充分に気をつけるべきだが

Cloudに流せないような機密情報・個人情報を扱うためにLocal LLM使うっていう層もいるだろ
あと個人情報はともかくとしても、踏み台や乗っ取りがやばいよな

>>22
アホか、外に出たら困るからこそローカルでやるんだろ
課金がもったいないからとかそう言う理由でしかローカル使わないとでも思ってんのか

>>228
22ですが、なんですか？

外国人よりも低学歴が怖い
過剰に他所者を嫌っているのに他所者に操られるのも彼等
素で軽蔑するしローカルAIの方がまだ使える

数字数えられない低学歴とかも最近いたしな

StrataってMOEモデルを効率よく動かすだけ？あまり新規性を感じないけど。

メモリ圧縮技術の話だけどどんどん進化して32GB程度でも大丈夫ってなるといいよね
メモリ価格の大暴落起きて欲しいですね、あとグラボ価格もおかしな事になってるからこっちも

まあでも、22以上の数字が数えられない人には意味ないかもね。

Qwen3.8-Flash-Nextをrtx4070 vram12gb ram64gbで動かすために今Strata入れてビルド中
mac studio来るまでこれで遊んでるかなｗ

Qwen3.8-Flash-Next動いた
lm studioみたく簡単にネット接続できないから
今日はここまでにしておくか
何トークン出てるのかな、かなり早いぞ

windowsでもRAM使ってユニファイドメモリみたいになるということか。結局RAMは大量に必要だから相場は変わらないかもね。

>>236
メモリ何GB？
mini 32GB買おうか迷ってんだよな

>>236
メモリマシマシなMacStudioイラネって話になりませんか？

21
22
…たくさん！

と思ったらwindows かよ
ここはMACスレだボケ

>>228
２２は全くそんな話題を語ってないだろ

馬鹿なの？
日本語が読めないの？
大脳が溶けてるの？
数字が数えられないの？

>>237
とは言え、128GBくらいまでなら、Mac買うより断然安いからな…

>>238
mac studioの事かな？だったらm5 max 128gbだよ
Qwen3.8-Flash-Nextの話なら上でも書いたけどVRAM12GB RAM64GBだよ、VRAMだけじゃなくてCPUのRAMも使う

>>239
まだビルドしてちょっと動かしただけだから分からないけど、
このVRAM少なくてもCPU RAMを代用してモデル動かすのが主流になればバカでかいVRAMや共有メモリは要らなくなるね

22超えた数字を数えられないと64GBの意味も分からんしな

>>22
アホか、外に出たら困るからこそローカルでやるんだろ
課金がもったいないからとかそう言う理由でしかローカル使わないとでも思ってんのか

Qwen3.8-Flash-NextビルドしたStrataをAnythingLLMに接続させたらネット使えるようになったわ

YouTubeとRedditでQwen3.8-Flash-Nextのレビューを漁ってみたがGPT-5.6 Luna maxと同程度というのでちょっとまだ推論もコーディングにも弱すぎるな…
現状では使い道が見つからない

色々いじってるけどQwen3.8-Flash-Nextの推論は俺用途では悪く無いな
そんなに詳しくないからわからんけどｗ

Gemma4でもそこそこ知性の片鱗を感じるし、そんなのがローカルで数十Wの電力動いてるのに感動するけどな。

感動とかじゃなくてコーディングなど実装や計画、戦略を立てるのにAstraやOpus5.5の知能と実力がないと現実では通用しない
有用に使える道具があるのに、それ以下を使用する意味が薄い

そこまで言い切るならローカルLLMがクラウドのハイエンドに匹敵することはあり得ないんだからローカルLLMの情報追っかける意味ないし時間の無駄だよ。一生課金して最強AI使わないとね。

自分はローカル(オフライン)はエロ動画作るしか目的ないのでMacでやろうとするのは効率悪い気がするが、Astraは賢そうだな、自分の仕事に使えそうだ、課金するべ

Codex, Claude Code はオンライン型だからな
顧客情報を外部業者に渡すとかあり得んわ

秘密保持が最重要視される仕事（公務、医者、弁護士、会計士）では
ローカルAI処理の需要は高い
俺もワークステーションにグラボ521GB積んで、ローカルAI処理してるわ。まあ金ならあるし。

ITベンダーの胸先三寸で決まるような守秘義務体制を安易に信じるとか、愚か者のすることだよな
ITベンダーなんて新興の事業者に、顧客情報を死んでも守り抜くみたいな銀行並みの意識や企業歴史があるわけではない。奴らは、なんとかポリシーなんて口先だけで裏では守らず、実際には、ユーザー情報を蓄積して使い倒している。
実際、中国AIが軍事機密を米国AIに転送するわ、転送受けた米AIが守秘せず全世界にその事実公表するとかユーザー機密情報守ってないことが全世界的にバレた。もう、オンライン型AIの守秘体制は信用できん。
こんな状況で、自社社内情報や顧客情報をオンラインAIにせっせと送信しているような企業は、ITコンプライアンス以前の問題で、要するに「金がない零細だから、社内安全ローカルAI構築できません。顧客情報売り渡して、安いオンラインAI使います」って感覚の中小企業なんだよ。

診察シーンの動画作成がはかどるだろう

AI企業のDB見たことあるけど、「誰が、いつ、どんなデータを送って来たか」全部記録されてるのな…
「誰が送ったとか、どうせ分からんだろ。AI学習に使った後は、そんな情報まで保存しとくはずがない」というのはお前らの甘い幻想
AI企業側にしてみれば情報ストレージコストなんて、大した金額の話じゃない。むしろ、AI訓練するときの元情報に出所不明情報は使わないし、伝聞まみれの公開情報よりは、AIユーザーが自ら入力してくれたExcelやらの社内情報の方が断然に価値がある。単一ユーザーからの提供情報でも、他のユーザーが入力してくれた社内情報と組み合わせて、信憑性チェックして使うからな…．というわけで、実際には、データが誰からいつ送られて来たかは、データ内容と紐付きで保管されてるのよ。そういうのが何年か後に、世界中に漏洩したら、お前ら終わると思うな…

仕事（顧客情報や守秘義務が絡む案件）をローカルAIで処理する必要あるのはそりゃ分かる
プライベートでローカルAI使わないといけない案件って何があるのかな？

プライベートでは、別にないだろ
かけられる金もないし

収益化している医師もいた

怖いのはAIバブル崩壊だよね
蓄積された膨大な情報も、AI企業が資金力あるうちは守ってくれるだろうが、一旦バブル崩壊したら、資金策のために外部業者に売られるかもな…

そこまで行かずとも資金詰まったAI企業は、コスト削減でデータ保護が甘くなるだろな．で、そこを競合AIハッカーに破られて、ある日、全世界に、ユーザがAIに入力してた過去情報が全部流出する事態に…笑えん

ワイの恥ずかしい趣味に価値はないが、やはりやだなww

安心しろ
お前の恥ずかしい性癖なんか誰も興味がないぞ

そんな膨大な量の流出データ誰が見るんだよ
会社のお客さんとかが自分で流出データをAI検索するのか？
しそうだな…

ローカルAI使ってる分には、AIバブルが崩壊しようが、AIベンダーが情報漏洩しようが、使用料が超絶値上げしようが関係ないのがいいよね

初期投資額が大きいが、まああとは電気料金くらいだな

お客さん「最近のあの流出ニュース…。まさか、わが社の情報をAIに食わせてないだろな、あの会社のあの担当者…．よし、AIにこの漏洩データを全検索して貰おっと　…あっ！」

てな感じ？
お前らが客情報をAIに入力してたことが、日時と内容セットでバレるな。まあ、会社は、お前を解雇してトカゲ尻尾切りだろうから、あとのことは心配しするなw

ローカルLLMをやるのに
まだ100万円200万円の高額なPCが必要だと思っている情弱がいるが
早く認識を更新しろよ
ここ数週の革命で
前世代のミドル級ゲーミングパソコンで快適
200万円出すと本物のフロンティア級LLMを使える

出荷前に陳腐化したmac studio　ご愁傷様

本物のフロンティア級LLMを使えるんなら、迷わず、Mac Studio 512GB買うわ

社長の趣味を邪魔しては行けない

>>271
頭悪すぎて自分の言ってる事の意味分かってないよなw

結局、プライベート目的で使うのはエロ以外ないってことか？

そうAppleならね

>>270
どの構成で使ってるの?

エロはローカルでやった方がいい
Grokなら大丈夫と思い込んでBANされクレカ登録消せなくなり引き落としも止められなくなるから

>>270
詳しくお願いしたい

あの、中国のQwen しか動かない奴だろ

>>269
どこどこ社の新製品の情報を教えてって聞くと出てきたりするらしい
議事録とか資料をまとめさせてドヤ顔してるアホのせいで学習されちゃうんだと

おもろ
ネットで拾える情報しか私には分かりませんいつも言ってるくせに

今のAIは簡単にシステム侵入できるから
ネットに非公開にしてても意味がないぞ