【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

そこまで言い切るならローカルLLMがクラウドのハイエンドに匹敵することはあり得ないんだからローカルLLMの情報追っかける意味ないし時間の無駄だよ。一生課金して最強AI使わないとね。

自分はローカル(オフライン)はエロ動画作るしか目的ないのでMacでやろうとするのは効率悪い気がするが、Astraは賢そうだな、自分の仕事に使えそうだ、課金するべ

Codex, Claude Code はオンライン型だからな
顧客情報を外部業者に渡すとかあり得んわ

秘密保持が最重要視される仕事（公務、医者、弁護士、会計士）では
ローカルAI処理の需要は高い
俺もワークステーションにグラボ521GB積んで、ローカルAI処理してるわ。まあ金ならあるし。

ITベンダーの胸先三寸で決まるような守秘義務体制を安易に信じるとか、愚か者のすることだよな
ITベンダーなんて新興の事業者に、顧客情報を死んでも守り抜くみたいな銀行並みの意識や企業歴史があるわけではない。奴らは、なんとかポリシーなんて口先だけで裏では守らず、実際には、ユーザー情報を蓄積して使い倒している。
実際、中国AIが軍事機密を米国AIに転送するわ、転送受けた米AIが守秘せず全世界にその事実公表するとかユーザー機密情報守ってないことが全世界的にバレた。もう、オンライン型AIの守秘体制は信用できん。
こんな状況で、自社社内情報や顧客情報をオンラインAIにせっせと送信しているような企業は、ITコンプライアンス以前の問題で、要するに「金がない零細だから、社内安全ローカルAI構築できません。顧客情報売り渡して、安いオンラインAI使います」って感覚の中小企業なんだよ。

診察シーンの動画作成がはかどるだろう

AI企業のDB見たことあるけど、「誰が、いつ、どんなデータを送って来たか」全部記録されてるのな…
「誰が送ったとか、どうせ分からんだろ。AI学習に使った後は、そんな情報まで保存しとくはずがない」というのはお前らの甘い幻想
AI企業側にしてみれば情報ストレージコストなんて、大した金額の話じゃない。むしろ、AI訓練するときの元情報に出所不明情報は使わないし、伝聞まみれの公開情報よりは、AIユーザーが自ら入力してくれたExcelやらの社内情報の方が断然に価値がある。単一ユーザーからの提供情報でも、他のユーザーが入力してくれた社内情報と組み合わせて、信憑性チェックして使うからな…．というわけで、実際には、データが誰からいつ送られて来たかは、データ内容と紐付きで保管されてるのよ。そういうのが何年か後に、世界中に漏洩したら、お前ら終わると思うな…

仕事（顧客情報や守秘義務が絡む案件）をローカルAIで処理する必要あるのはそりゃ分かる
プライベートでローカルAI使わないといけない案件って何があるのかな？

プライベートでは、別にないだろ
かけられる金もないし

収益化している医師もいた

怖いのはAIバブル崩壊だよね
蓄積された膨大な情報も、AI企業が資金力あるうちは守ってくれるだろうが、一旦バブル崩壊したら、資金策のために外部業者に売られるかもな…

そこまで行かずとも資金詰まったAI企業は、コスト削減でデータ保護が甘くなるだろな．で、そこを競合AIハッカーに破られて、ある日、全世界に、ユーザがAIに入力してた過去情報が全部流出する事態に…笑えん

ワイの恥ずかしい趣味に価値はないが、やはりやだなww

安心しろ
お前の恥ずかしい性癖なんか誰も興味がないぞ

そんな膨大な量の流出データ誰が見るんだよ
会社のお客さんとかが自分で流出データをAI検索するのか？
しそうだな…

ローカルAI使ってる分には、AIバブルが崩壊しようが、AIベンダーが情報漏洩しようが、使用料が超絶値上げしようが関係ないのがいいよね

初期投資額が大きいが、まああとは電気料金くらいだな

お客さん「最近のあの流出ニュース…。まさか、わが社の情報をAIに食わせてないだろな、あの会社のあの担当者…．よし、AIにこの漏洩データを全検索して貰おっと　…あっ！」

てな感じ？
お前らが客情報をAIに入力してたことが、日時と内容セットでバレるな。まあ、会社は、お前を解雇してトカゲ尻尾切りだろうから、あとのことは心配しするなw

ローカルLLMをやるのに
まだ100万円200万円の高額なPCが必要だと思っている情弱がいるが
早く認識を更新しろよ
ここ数週の革命で
前世代のミドル級ゲーミングパソコンで快適
200万円出すと本物のフロンティア級LLMを使える

出荷前に陳腐化したmac studio　ご愁傷様

本物のフロンティア級LLMを使えるんなら、迷わず、Mac Studio 512GB買うわ

社長の趣味を邪魔しては行けない

>>271
頭悪すぎて自分の言ってる事の意味分かってないよなw

結局、プライベート目的で使うのはエロ以外ないってことか？

そうAppleならね

>>270
どの構成で使ってるの?

エロはローカルでやった方がいい
Grokなら大丈夫と思い込んでBANされクレカ登録消せなくなり引き落としも止められなくなるから

>>270
詳しくお願いしたい

あの、中国のQwen しか動かない奴だろ

>>269
どこどこ社の新製品の情報を教えてって聞くと出てきたりするらしい
議事録とか資料をまとめさせてドヤ顔してるアホのせいで学習されちゃうんだと

おもろ
ネットで拾える情報しか私には分かりませんいつも言ってるくせに

今のAIは簡単にシステム侵入できるから
ネットに非公開にしてても意味がないぞ

>ここ数週の革命で
>前世代のミドル級ゲーミングパソコンで快適
>200万円出すと本物のフロンティア級LLMを使える

↑lunaと同程度のクソ弱推論でコーディングなどに使いものにならないゴミというオチがある
フロンティアクラスはAstraやOpus5.5レベルだぞ

>>249
>>283
コーディングならLuna Maxで十分かな
でもローカルLLMはコンテキスト長とかで不利できちんと動いたことないな
ローカルでの個人データの扱いも直接LLMを使う必要性や有用性があるとも思えない

ローカルLLMスレでローカルLLMそのものを否定するのってどうなん

Mac Studio M5 ultra 512GBとrtx6000(96GB)があれば幸せになれるのに・・・
動画も推論・コーティングもいじくりまわせて遊べそう🙄
このスレでクラウドAIと比べる野暮な話は要らんけどｗ

あぅ　夢だったか・・・😭

ローカルLLMの現状の正解はjev系だよ
フロンティアクラスの劣化だと使う意味が薄い
24時間回すにしてもメモリが足りなくコンテキストを毎回クリアするなら意味が無い
数百万かけて組んだPCやMacのクラスタでOpus5.5レベルなら明らかにメリットがあるけど個人レベルで組めるのは富豪ぐらい

5年くらい待つと手頃な価格になりそう？

ローカルLLMであっても、Google AIモードとか Copilot みたいにプロンプトの内容を理解した上でWeb検索を行って、その結果をサマライズするよね？

>>288
今は時期が悪い　やめておけ

半導体アナリストの話によると、メモリの供給が追い付きだすのが来年の夏以降で
潤沢に市場に出るのは再来年以降だってさ、2年後には色々替わってそう

メモリ御三家のマイクロン、サムスン、SKハイニクスの増産に加えて
更に新興勢力の中国のCXMTが加わって増産体制に入る
DDR6,GDDR7も見えてきてるしね

新人「ウチの顧客情報について漏れていないか主要なAIに全件照会したところ問題ありませんでした」

既に漏れ尽くしているに1シリング

この世界は一社総取りだから、最終的に残りの企業は撤退か吸収されて終わり
潰れる企業のそれまでの個人情報や企業情報がどのように扱われるかが一番恐怖だな
潰れる企業にモラルなんて存在しないしな

新人「ウチの顧客情報について漏れていないか主要なAIに全件照会したところ問題ありませんでした」
AI「バカにはこれでいいんだよｗ」

部長「よし、通れ！」

AI開発企業の内部では、有利子負債圧力（内側へ押しつぶす） ⇄ 将来期待値による株価圧力（外側へ押し返す）が釣り合っています。しかしサカナの約8倍以上の質量を持つAI企業では、AI開発が進んで中心部にコアなどが形成され、やがてエネルギー源となる融資が尽きます。すると重力を支えきれなくなって中心核が一気に崩壊し、衝撃波によって蓄積されていたユーザー情報がネット空間へ吹き飛ばされます。
爆発後、中心にはウィキリークが残ることがあり、残った中心核が十分重ければさらに崩壊してブラックホールになることもあります。トランプ政権の説明では、非常に重い残骸では「even light cannot travel fast enough to escape」となる、つまり光さえ脱出できないブラックホールになります。
興味があれば次に、AI企業倒産爆が起こる瞬間を0秒→1年→10年という時系列で説明すると、かなりイメージしやすくなります。

質量ゼロにすれば引力の呪縛は受けずにブラックホールから脱出できるよ

>>296
オモロイ

iPhoneをつないでMacのローカルAIを高速化するツール
https://pc.watch.impress.co.jp/docs/news/2145651.html

光 (光子) は質量を持たないがブラックホールから脱出できない

MTP（投機デコード）で高速化できるようになったと聞いて試してみたけど、Gemma4との組み合わせでは重大なバグを抱えててクラッシュするのな。残念。
他のモデルで試した人いる？

AI「クレジットカード情報が流出していないか確認しますので
スマートフォンで財布の中身を撮影してください。
また、AIがパソコンを操作して脆弱性をチェックしますので
その間はマウスやキーボードには手を触れないでください。
金融機関とも連携して調査しますので、電話がかかってきたら
表示された文書を読み上げてください。
ユーザーの音声を登録してすべてのプロセスを自動化することもできます。」

>>301
Gemma4のMTPならLMStudioで使えたけどな。自分の使い方だとあまり恩恵なくて微妙だったが⋯。

>>303
MLXのGemma4で使うとクラッシュするみたい
macでGGUF使いたくないしなあ、悩ましいところ

俺はWindowsマシンと共用できるggufで揃えちゃってるな
Splash版も試しているが正直残すべきかは決めかねている

>>305
Splash試してみたらやっぱり早かったです。
あと、私もWindowsと共用できたほうが便利かなと思ってggufで揃えてましたが、Macで使うならMLXの方がやっぱり早かったです

>>244
似たような構成なんだけど、気になって環境作ってみた
凄いな

Macスレで言うことじゃないけど新しいMac買わなくて済んだわ
その金で普通にメモリ増やしたほうがいいかも

特定アジアの特定AIしか動かせない野良アプリのために買うハードウェア選定するとか愚の骨頂だな
良い性能のマシン買っとけば、どのアプリだろうがAIだろうが有利に運用できるわけで

シチュエーションと文体ルール与えて自然な日本語で1万字程度のss書かせたいんやけど、その用途ならmini M6 32gb-1tbssdでも大丈夫？
上の方でgemma4がいいって言ってる人いたけど。

>>307
あれから色々いじったんだけど、
VRAM12GBだと時々VRAM不足で止まるから、VRAM16GBならもう少しマシかも知れんが私の環境だと常用は難しいな
CPU RAMは一時保管するだけで、ここのメモリいくら増やしても意味無いようだ
あんまり設定詰めて無いから、もっと良いやり方があるかも知れんが

Mac買えない貧者の貧者による貧者のための技術
高貴絢爛たるMacスレで、場違いも甚だしい

>>309
32GBだと結構不安定な感じになると思う
とりあえずモデルはメモリ内に収まるし走り出すけどコンテクストのオーバーフローが頻発するみたいな
小さめのモデルにすると安定するけど、Q8からQ6へ落とすと日本語の質が如実に落ちる

この辺の微妙な使いにくさも今後のバージョンアップなどで改善する可能性も高いけどね

マックであらずんば人にあらず😁

最近マック食べてないや

mac studio届いたらモバイルモニターとキーボード持ってスタバでドヤって来ようと思う
mac miniでそれやってる人見た事あるけど幸せそうだった😊

>>312
ありがとう、めちゃめちゃ参考になる！
うーんそうなるとメモリ盛ってminiM5pro64gbかスタジオにシフトしてstudioM5max48gbかが予算的に限界かな…生成速度＜日本語品質やから前者が良さそうかねぇ

>>316
Mac mini M6の場合、一番の問題はメモリ帯域170GB/秒ってとこだね
SoC自体はちょい前のProチップ級の性能にはなったけど、メモリ帯域の遅さがかなりボトルネックになってる
最近はロースペックでも上手く動くLLM出てきてるけど、メモリ帯域の遅さが出力速度にダイレクトに効くのは相変わらずなので

>>317
mini M5 proだと帯域幅は倍弱の307GB/sか。結構違う感じ？？

32GB MacBookで色々弄ってたけど、
VRAM 16GB / RAM 64GBマシンでstrataに絞った方が効率良さそう

Macをただのアクセス端末にするのは勿体無い気もするけども

スピードの話よく出るけど「動く・動かない」と「速い・遅い」は深刻度が全く違うからね
遅いのは待てばいいだけだから
あと、ストレージ盛る予算があるなら1円でも余分にメモリにかけたほうがいいと思う

メモリはドラゴンボールの戦闘力みたいなところあるからなー

外付けGPUできたらなあ

>>319
Win StrataをローカLLMサーバーにしてMacで自立型エージェント動かすのもありだけどMacbookだとバッテリー劣化が気になるね

>>323
80%制限での劣化が嫌ならもうノートPC買ってる時点で終わってる

「M8 Ultra」チップで
NVIDIA「NVLink Fusion」
を実装するよ。

そろそろ持ち主の生体エネルギーを吸収して動作するようにして欲しい

オルゴンエネルギー　で勝手に稼働するようになるよ。

脳だけがケーブルに繋がれてる感じ？

珍珍がダメージ受けそうです

>>329
プランク長より短いから大丈夫

性欲を持て余してる人が良いエネルギー源

ディープフェイクすごいな
畏れ多くもお召し物をお脱ぎ遊ばされたお姿で手話を実演なされたわ

ごきげんよう

LLMの話題のスレなのに度々画像や動画生成の話を出すやつはガイジなの？

Local Love Movie

>>334
それらはLLMとの相性はいいと思うが？

それらw

草生やす前に日本語勉強せい

コレラ菌みたいなもんだろ

俺らw

おぬしら　→分かる
俺ら　→まあ…ありか
それら　→は？
どれら　→日本語ってレベルじゃねえぞ

おいら

日本語勉強しろのガイジン感。高いと思います

ガイジンの方が日本語上手なんだわ
親が正しい日本語を教えていないためだろう

「それ」の複数形が「それら」

人物は「ら」つけて複数形あるけどな…
それらw

「どこ？」の複数形が「どこら？」

「椅子」の複数形が「椅子ら」

ネタかと思ったけど>>346はマジもんなのかｗ

明治期に「複数形」に接した日本人が無理矢理作った造語だな
本来は人物にしか使わない「ら」を強引に物にもつけて、悦にいる似非知識人
黄色人種が鼻膨らませて得意げに「それら」w
見てて哀れになってくる光景だね

それら　は、平安時代では「そういう人たち」という意味で、人物を描写するときの言葉だしな


出典：『栄花物語』（1028〜1092年頃）
もしは大蔵卿などや立ち出で心地つかむ、それらはいとやすし

境界知能ｗ