【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

>>303
MLXのGemma4で使うとクラッシュするみたい
macでGGUF使いたくないしなあ、悩ましいところ

俺はWindowsマシンと共用できるggufで揃えちゃってるな
Splash版も試しているが正直残すべきかは決めかねている

>>305
Splash試してみたらやっぱり早かったです。
あと、私もWindowsと共用できたほうが便利かなと思ってggufで揃えてましたが、Macで使うならMLXの方がやっぱり早かったです

>>244
似たような構成なんだけど、気になって環境作ってみた
凄いな

Macスレで言うことじゃないけど新しいMac買わなくて済んだわ
その金で普通にメモリ増やしたほうがいいかも

特定アジアの特定AIしか動かせない野良アプリのために買うハードウェア選定するとか愚の骨頂だな
良い性能のマシン買っとけば、どのアプリだろうがAIだろうが有利に運用できるわけで

シチュエーションと文体ルール与えて自然な日本語で1万字程度のss書かせたいんやけど、その用途ならmini M6 32gb-1tbssdでも大丈夫？
上の方でgemma4がいいって言ってる人いたけど。

>>307
あれから色々いじったんだけど、
VRAM12GBだと時々VRAM不足で止まるから、VRAM16GBならもう少しマシかも知れんが私の環境だと常用は難しいな
CPU RAMは一時保管するだけで、ここのメモリいくら増やしても意味無いようだ
あんまり設定詰めて無いから、もっと良いやり方があるかも知れんが

Mac買えない貧者の貧者による貧者のための技術
高貴絢爛たるMacスレで、場違いも甚だしい

>>309
32GBだと結構不安定な感じになると思う
とりあえずモデルはメモリ内に収まるし走り出すけどコンテクストのオーバーフローが頻発するみたいな
小さめのモデルにすると安定するけど、Q8からQ6へ落とすと日本語の質が如実に落ちる

この辺の微妙な使いにくさも今後のバージョンアップなどで改善する可能性も高いけどね

マックであらずんば人にあらず😁

最近マック食べてないや

mac studio届いたらモバイルモニターとキーボード持ってスタバでドヤって来ようと思う
mac miniでそれやってる人見た事あるけど幸せそうだった😊

>>312
ありがとう、めちゃめちゃ参考になる！
うーんそうなるとメモリ盛ってminiM5pro64gbかスタジオにシフトしてstudioM5max48gbかが予算的に限界かな…生成速度＜日本語品質やから前者が良さそうかねぇ

>>316
Mac mini M6の場合、一番の問題はメモリ帯域170GB/秒ってとこだね
SoC自体はちょい前のProチップ級の性能にはなったけど、メモリ帯域の遅さがかなりボトルネックになってる
最近はロースペックでも上手く動くLLM出てきてるけど、メモリ帯域の遅さが出力速度にダイレクトに効くのは相変わらずなので

>>317
mini M5 proだと帯域幅は倍弱の307GB/sか。結構違う感じ？？

32GB MacBookで色々弄ってたけど、
VRAM 16GB / RAM 64GBマシンでstrataに絞った方が効率良さそう

Macをただのアクセス端末にするのは勿体無い気もするけども

スピードの話よく出るけど「動く・動かない」と「速い・遅い」は深刻度が全く違うからね
遅いのは待てばいいだけだから
あと、ストレージ盛る予算があるなら1円でも余分にメモリにかけたほうがいいと思う

メモリはドラゴンボールの戦闘力みたいなところあるからなー

外付けGPUできたらなあ

>>319
Win StrataをローカLLMサーバーにしてMacで自立型エージェント動かすのもありだけどMacbookだとバッテリー劣化が気になるね

>>323
80%制限での劣化が嫌ならもうノートPC買ってる時点で終わってる

「M8 Ultra」チップで
NVIDIA「NVLink Fusion」
を実装するよ。

そろそろ持ち主の生体エネルギーを吸収して動作するようにして欲しい

オルゴンエネルギー　で勝手に稼働するようになるよ。

脳だけがケーブルに繋がれてる感じ？

珍珍がダメージ受けそうです

>>329
プランク長より短いから大丈夫

性欲を持て余してる人が良いエネルギー源

ディープフェイクすごいな
畏れ多くもお召し物をお脱ぎ遊ばされたお姿で手話を実演なされたわ

ごきげんよう

LLMの話題のスレなのに度々画像や動画生成の話を出すやつはガイジなの？

Local Love Movie

>>334
それらはLLMとの相性はいいと思うが？

それらw

草生やす前に日本語勉強せい

コレラ菌みたいなもんだろ

俺らw

おぬしら　→分かる
俺ら　→まあ…ありか
それら　→は？
どれら　→日本語ってレベルじゃねえぞ

おいら

日本語勉強しろのガイジン感。高いと思います

ガイジンの方が日本語上手なんだわ
親が正しい日本語を教えていないためだろう

「それ」の複数形が「それら」

人物は「ら」つけて複数形あるけどな…
それらw

「どこ？」の複数形が「どこら？」

「椅子」の複数形が「椅子ら」

ネタかと思ったけど>>346はマジもんなのかｗ

明治期に「複数形」に接した日本人が無理矢理作った造語だな
本来は人物にしか使わない「ら」を強引に物にもつけて、悦にいる似非知識人
黄色人種が鼻膨らませて得意げに「それら」w
見てて哀れになってくる光景だね

それら　は、平安時代では「そういう人たち」という意味で、人物を描写するときの言葉だしな


出典：『栄花物語』（1028〜1092年頃）
もしは大蔵卿などや立ち出で心地つかむ、それらはいとやすし

境界知能ｗ

境界知能なのら〜

文頭に置く言葉じゃねぇってだけなんだけどな

ら ら らんどぅ
https://youtu.be/7CVfTd-_qbc

もしかして、オラオラですかぁ？

隙あらば雑談ばかりｗ

オープンAIら、個人らのチャットらも外部委託の人間らが全てら覗き見てたら
https://greta.5ch.io/test/read.cgi/poverty/1789448653/

しつこいのは嫌いだ

しつこいのは嫌いだら

Mac Studio ( M5 Ultra) は、512GBのユニファイドメモリを搭載可能なプロ向けデスクトップパソコンです。

• M5 Ultra搭載モデル
• 価格：3,949,800円（税込）～
• メモリ：10月後半に発売

緊急予約急げ！
売り切れても知らんぞ

>>361
メモリ別売りってことか

気合いだよMacは
買って買って買いまくれ！
メモリなんざ後からついてくる

後からついては来んだろ

400万は流石に無理ンゴね…

他の追随を許さない圧倒的メモリ
512GB メモリ爆誕！
https://gzo.ai/i/WGPqtNY.png

Surface Laptop Ultra
NVIDIA RTX Spark™ N1X with 6144-core GPU and 20-core CPU　128 GB unified memory
$5,899.99
https://www.microsoft.com/en-us/store/configure/surface-laptop-ultra/8wg5vqp0x4b8

この構成だとmac studio m5 max 128gb 1tb とほぼ同じ価格だな
こっちはエヌビのGPUでLLMだけじゃなくて動画生成も得意そうだな
ぐぬぬm5 max 128gb買ったの早まったかな 🤪

やっぱAIサーバ化するならM5 maxの方が使いやすいしメモリ帯域も速いしLLM中心に使うならmcだな
動画やりたくなったら手持ちのwinマシンにrtx5090ぶち込めばいいや
変なもの見て動揺して取り乱してしまったｗ

>>367
110万円か…

しらべたら120B級もラクラク動くみたいだな
だったら110万は安いまである

>>369
最新の為替レートだと93万円
ただ米国でも128GBはもう品切れになってる

スレタイ読め

>>370
楽々かは微妙
120B Q4だとコンテキスト長64Kが限界になるのでは

ラップトップはいらないよな

1ｋｇ未満の軽量で、バッテリー交換できれば買ってもいいがな
ちなみに俺さまは今だにSurface Go 3 を使ってる
軽いは正義

ずっと起動しっぱなしのものにバッテリーはいらない

だったらMac Studio で充分だな

thunderbolt5あるとクラスタ組めるみたいだけど、miniとstudioやM4とM5とか異なるチップ同士でもいけるんかね？メモリ帯域とかどうなるんだろ？🤔

いやあくまで外部バスだからねCPU内部とは桁がちがう
相互にDMAできる関係だから相当密な連携にはなるけど

M3 UltraとM4 Maxでクラスタ組んだことならある

>>372
くだらない雑談も取り締まれよ

卒アルの話に戻そう

Mac同士でクラスタ化すると2台のメモリを1台のメモリように使えるのかな？
アップルイベントの動画でM6 ultra 512gbを4台繋げてローカルllmのデモしてるの見たけど
mac stduio同士なら繋げてメモリ1本化できるのかな？

できない

そうAppleならね

じゃあ何で4台繋げて使うの？

自己解決　クロード回答
ハードウェア的に1本のメモリになるわけではありませんが、ソフトウェア側でモデルを分割して、実質的に合計メモリ分の大きさのモデルを動かすことはできます。

>>368
5090いくするか知ってんのか？

最安で100万円ちょっと超えるくらいだろ

Mac Studio 512 GB memory 約300万円超よりは安いよな
まあそれでも俺はMac買うんだ…

llmと動画もやってAIサーバ化するならノート搭載型のRTX Sparkじゃなくて従来型のDGX Spark買えって事だな

>>390
メモリサイズで倍々ゲームだから

128gb(100万円前後)→256gb(200万円前後)→512gb(400万円前後)
よって300万円以下はあり得ません😭

>>391
DGX SparkはWindows on ARM動かないけど、
それが動くRTX Sparkのデスクトップ版（Mac miniみたいなサイズのやつ）があるよ

>>393
それ興味ある
商品名はなに？

吾輩は猫である
名前はまだない

ヘイシリ、英国の小説をパクったと言うのは本当ですか？

パク　ヘジュン

ちょっといま緊急で朝ごはん食べてるんですけど
https://youtu.be/UpxmbL0NNBU

>>394
たとえばASUSならこれ？まだ出てないのかな
https://www.asus.com/jp/displays-desktops/mini-pcs/proart-mini-pc-series/proart-gr1x-mini-pc/

DGX Sparkみたいに何社からか発表はされてる

何百万もするハードをポンポン買えるのは凄いよ
一括じゃとても無理だしローンを組む勇気もない

なあにかえって負債になる

残り80円…
もうダメぽ…

AIへの指示「この８０円を元手に、300万円のPC購入費用を稼ぎ出す方法を構築して実行せよ。期限は年末までとする。」