【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

>>372
くだらない雑談も取り締まれよ

卒アルの話に戻そう

Mac同士でクラスタ化すると2台のメモリを1台のメモリように使えるのかな？
アップルイベントの動画でM6 ultra 512gbを4台繋げてローカルllmのデモしてるの見たけど
mac stduio同士なら繋げてメモリ1本化できるのかな？

できない

そうAppleならね

じゃあ何で4台繋げて使うの？

自己解決　クロード回答
ハードウェア的に1本のメモリになるわけではありませんが、ソフトウェア側でモデルを分割して、実質的に合計メモリ分の大きさのモデルを動かすことはできます。

>>368
5090いくするか知ってんのか？

最安で100万円ちょっと超えるくらいだろ

Mac Studio 512 GB memory 約300万円超よりは安いよな
まあそれでも俺はMac買うんだ…

llmと動画もやってAIサーバ化するならノート搭載型のRTX Sparkじゃなくて従来型のDGX Spark買えって事だな

>>390
メモリサイズで倍々ゲームだから

128gb(100万円前後)→256gb(200万円前後)→512gb(400万円前後)
よって300万円以下はあり得ません😭

>>391
DGX SparkはWindows on ARM動かないけど、
それが動くRTX Sparkのデスクトップ版（Mac miniみたいなサイズのやつ）があるよ

>>393
それ興味ある
商品名はなに？

吾輩は猫である
名前はまだない

ヘイシリ、英国の小説をパクったと言うのは本当ですか？

パク　ヘジュン

ちょっといま緊急で朝ごはん食べてるんですけど
https://youtu.be/UpxmbL0NNBU

>>394
たとえばASUSならこれ？まだ出てないのかな
https://www.asus.com/jp/displays-desktops/mini-pcs/proart-mini-pc-series/proart-gr1x-mini-pc/

DGX Sparkみたいに何社からか発表はされてる

何百万もするハードをポンポン買えるのは凄いよ
一括じゃとても無理だしローンを組む勇気もない

なあにかえって負債になる

残り80円…
もうダメぽ…

AIへの指示「この８０円を元手に、300万円のPC購入費用を稼ぎ出す方法を構築して実行せよ。期限は年末までとする。」

買わなきゃいい
借りろ
１日８０円で

どうせ１年後はもっと高性能なPCが出て乗り換えたくなる

>>400
案件動画にして１ヶ月使ってから返す

>>399
うーん悩ましいな
このミニPCならサーバ化は可能だね、結局LLM以外に動画もやりたいならRTX Sparkなんだよね
大体128GBならMacもRTX Sparkも100万前後だし
RTX Sparkはメモリ幅が273GB/sでM5 Maxは614GB/sでるからLLMだけやるなら、まだMacの方が有利なんだよね
それとRTX SparkはDGX Sparkのように高速でクラスタ化できないから2台3台とは拡張するのは難しいね
遅いけど10GbEで繋げられるけど実用的じゃない
将来M5 Max128GB買った後にRTX Sparkも買うくらいならM5 ultra 256Gbに変更してLLMだけで生きて行く潔い選択も出来るｗ
M5 Max128GBまだキャンセルできるのが悩ましい

RTX Sparkのmini PCは残念極まりないな
コネクトポート無くして価格DGX Sparkと変わらん
どうしてもWindowsで使いたい人以外無用だな
サーバ運用ならLinuxでいいわけだし

>>398
ドリキンさんの変貌(半年前からずっと見てるけど・・・)

M5 ultra買います→やっぱ買わない→やっぱ買います(でもLLM用途じゃないよ)→今ココ→LLMはDGX Sparkより早くてメインはM5 ultraにします(たぶんこうなるｗ)

DGX Spark x1は肩身が狭い
DGX Spark x2でギリ
DGX Spark x4で一人前
DGX Spark x8 ならドヤ顔できる。
みている世界が違う。

>>400
西海岸だと新卒の年収1400万くらいらしい

でも多数の人間はその仕事にありつけないんでしょ

1980年代はじめの大卒でまあまあの会社だと2万ドルって聞いたな
当時のレートだと400万ちょっとか
日本の大卒メーカー勤めだと月給15万くらい、年250ってとこだった

中国の西海岸だと生活費12万円/年くらいらしい

待てるならM7 Ultra
1ドル130円になってるだろうから
２年後、ソフトウェア環境が整えばガチでApple>NVIDIAになる

その頃にまだAppleはあるだろうか？

ローカルはメモリ代とストレージ代がやばくなってきてるけど
クラウドLLMって料金据え置きで大丈夫なのかな

>>414
3年後…4年後かもしれんという

m1Ultraが出たときに我慢して
m3Ultraが出たときに我慢して…
m5Ultraでは我慢できなくなったw

これ普通は買えない貧乏人に、月額分割払いで買わせるの反則だろ
せめて金利８パーセント付けとけ
そうAppleならね

>>415
数年後にアポがなくなるんじゃ困るな、かなり良い利率の貯蓄だと思って株持ってる人も多いのに

アポーん

コラ、自決するな

M5 Ultra256GBの納期15-17週じゃないか
4か月以上は待てないな
4か月も待つならM7 Ultra待わｗ
直ぐ買えた96GBも在庫無くなったようだ

GLM-5.3アッポーで動かしたいでござる

M7 Ultraまで待てるんなら、そもそも不要だろ

今は待て
時期が悪い

>>414
無印から Ultria まで M7 で本気出してフルスペックみたいだから、それまで待つよ。

いま３００万円も出して、ローンまだ支払中の来年に、１０倍上のM7との性能差見せつけられたら、泣くに泣けんもんな

本当か分からんが、今後のロードマップ（Bloomberg Gurman氏の報道ベース）

M6（ベース）、2026年秋（すでに発売）、 Pro/Max/Ultraはスキップ
M7（ベース）、2027年前半、AI向け大幅強化
M7 Pro / M7 Max、2027年末頃
M7 Ultra、2028年、最大1.5TBユニファイドメモリ対応を想定

＊なおM6世代はベースモデルのみで終わる予定です。
＊M7世代でオンデバイスAI（Neural Engine）の大幅進化を優先し、M6のPro/Max/Ultra開発をキャンセルしてM7を前倒し。
＊M7 Ultraの順当な登場時期は2028年（今から約1年半〜2年後）

M6 2026年秋　100万円
M7 2027年前半　200万円
M7 Pro / M7 Max 300万円
M7 Ultra、2028年　500万円

これにメモリ次第で０〜300万円が上乗せになるイメージか

メモリの増産が急ピッチで行われている
メモリ御三家のマイクロン、サムスン、SKハイニクスはAI向けHBM生産の比重が高いけど
新興勢力の中国のCXMTはコンシュマー向けをターゲットに増産に入る
ちなアッポーはCXMTのメモリを使用するか評価中の報道が2か月くらい前にあった

なおメモリ不足が解消されるのは来年の夏以降と半導体アナリストノの予想、ただ価格が下がるかは不明

中国製メモリって…
それ故障したとき取り外しできるのApple製品でも
何百万円も払うのに、中国製メモリとかマジ勘弁してほしい

来年はメモリの世代が変わるから、MAC等にはより高額なメモリが採用されるようになる。旧世代のメモリの生産がしぼられなければ旧世代のメモリの価格は下がるかもしれんが、メモリメーカーも高額メモリに資源を集中する旨味を知ってるから、どうなることやら？

いま200〜400万円出して旧型メモリを買う人いるのか？
俺はM7の新型高速大容量ユニファイドメモリにするわ
流石に中国製か米国製メモリかは選べるんだろ

>>433

DDR6,GDDR7来るね
ただ今回はメモリ不足の混乱ですんなり移行できるか見ものだ、工場のライン変えるし生産切り替えで更に需給が混乱しそうだ

話は変わるが、アッポーはMacがローカルLLMで売れてるから、LLM向けに全振りしてM7シリーズ前倒しで出してくるのが面白い

AI用語「面白い」

>>434
M7ultraは2028年以降だからな‼︎
2年待てるならM7でも良いかもしれんが。

次期アップルのメモリは低電力高集積専用回路のLPDDR6で
通常のDDR6の生産ラインでも作れるから生産自体は高コストにならないそうだ
TSMCとかに出荷してM7チップと統合してパッケージングされて完成

AIバブルが崩壊したら俺の持ってる資産も下がるから
相対的な価値はあまり変わらない気がする。
そもそもバブルなのかも疑問。

バブルかは知らんけど、ネットやスマホの普及と同じでAIがなくなることは無いでしょ
今年になって一般層にも急激に広まった

ローカルLLM回してるのは全然おらんけども

回して　回していくか

オープンAI、個人のチャットも外部委託の人間が全て覗き見てた
https://greta.5ch.io/test/read.cgi/poverty/1789448653/

>>423
ところが　お客さん
512GB は即納なんです
本日注文いただければ、明日発送！

ええ　でもお高いんでしょう？

はい、その通りです

時価です笑

512GBって値段いくらかね
GLM-5.3の性能が良いらしいから動かしたくて迷ってる

M5 Ultra 512GBは今月に出す！
出すが・・・・・・今回 まだ納品の時と場所の指定まではしていない
そのことをどうか諸君らも思い出していただきたい
つまり・・・・我々がその気になれば、M5 Ultra 512GBの納品は４ヶ月後にM7発表をした後ということも可能だろう・・・・ということ・・・・！

車みたいに残クレMacってのはないのかね
価格としては似たようなものだと思うけど

納品された時点で既に格落ち品w

バカなの？そんな半額に何年間も利息払うくらいなら金利無料分割すればいいだろ
それを理解できてないから残クレアルファードはバカにされてるのに

アルナントカはクルマ自体もバカにされてる

ザナルカンドではキマリ自体もバカにされてる

アナル感度キマりガバガバにされてる？

キマリは通さない！

>>447
ストレージは最低の1TBでも512gbだと
350-400万円だわ
値段は32→64→128→256gbの流れで容易に推測できる

今年の上半期のメモリバブル相場でしこたま稼いだから
400万でも別にマイクロンからM5 ultra 512gbを現物支給されたと思えばいいんだけどね😋

これから金持ちだけがローカルLLMを使えて貧乏人がクラウドAIに情報を搾取される時代到来なのかｗ

株主優待かw

落合陽一さんが、
AI サブスク 750万/年
使ってた、って X で言ってた。

アサヒsuperドライ　からM5 ultra 512gbを現物支給されたと思えばいいんだけどね😋

M5 Ultra 512GBでもCloud LLMの足下にも及ばないから用途次第だな
なんというか、全国を飛び回るのに飛行機や新幹線を使い倒してる人に対して、
近所のコンビニにしか行かないおっさんが軽自動車も買えない貧乏人が搭乗料搾取されてるwって言ってる感じに見える

ITベンダーの胸先三寸で決まるような守秘義務体制を安易に信じるとか、愚か者のすることだよな

ほんそれ
こういう初心者に一から教えるの段々めんどくさくなってきた

計算資源だけ貸し出して情報を秘匿する方向で動くのかなと
考えたけどいろいろと課題ありそう

クラウドLLMがブラウザ介したおしゃべりくらいしか出来なかった時代と違って、
今はローカルファイル弄れるしローカル処理にはpython使って必要なときだけLLMを呼び出したりとかも出来るし、
ローカルLLMの優位性が損なわれてきてるのは事実なので、
そこを突かれると個人情報ｶﾞｰとしか言えなくなる

適材適所で使い分けするのが真の賢人

完全にネットから遮断した状態で使ってるんならともかく、
中華製造のLocal LLMをネットに繋ぎながら情報セキュリティ語られてもという気も
TP-Linkとか平気で使ってそう

貧乏な中小企業は、自社でビルに会議室が持てないので、喫茶店でWeb会議させてるの見るわ。
社内秘密、顧客の単価、従業員の個人情報をダダ漏れで大声でWeb会話してる
頭おかしい会社。異世界だな。
オンラインAI使うのも、だいたいこのレベルの会社の従業員だよ客や社内の情報を、ぼんぼんクラウドのAIに投げ込んでる。

まともな職種（公務員、医者、弁護士、監査法人、銀行、上場企業とかの守秘義務強いところ)は、金かけてクローズドAIを自社内に構築してるからな。それですら連日、AI攻撃受けて、個人情報流出してるが…

それなりに金かけてIT投資ができないショボい中小企業は、情報守るどころか、クラウドAIに自ら漏洩していくスタイルw こいつらは頭おかしい。

そりゃクラウドで繋げていてwifiモジュール付けたままとかアホ

そのうち新車購入台数にも影響しそう

このスレの住民→うーん 車買うかな、いや512GB買った方が幸せになれる、2台買って繋げたらもっともっと幸せになれる🤔

俺512GB Mac買ったら、新車アロファロメオのフロントに設置するんだ…

ローカルLL Mやるなら後2年は待ちたいな
たぶん実用的になるのはそのくらいからだろ

むしろその頃にはローカルAIじゃなきゃできないことが消滅している可能性もある
データ分離とかも進みそう

>>471
え？アロンアルファ？

来年にはローカルLLMのモデルファイルとそれを読み込める性能の個人用PCも法規制されて
合わせて一千万以上で裏取引されるようになるよ

>>474
つくの子2公開中！

実用化を待つのではなく進歩を楽しみながら学習したい
リアル持ち家や車や嫁を仮想化すれば実質無料

>>473
逆にネットのAIが値上げしてローカルじゃないとやってられなくなる可能性もある

持ち家より賃貸の方が安いと思う

「客の個人情報食わせてやれば、我が社はAIを安く使える！コスパコスパ」
下卑た中小企業の発想だよ

Mac miniでLocal LLMやるようなレベルの企業ってどんなだよ
企業レベルで使うならもっとまともな機材買え
中小中小言ってるけどお前ただの自宅警備員じゃん