【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

貧者の中小企業は、なけなしの社内ノウハウ満載データをオンラインAIに献上し、見返りで、安くAIを使用させてもらっている。
その結果、過去データから来る社内ノウハウ）をAIに学習されてしまった中小企業は競争力の唯一源泉を失い他社競争に埋没していく…
強者は、自社内セキュアなAIをベンダーに構築させ、社内ノウハウや過去データは秘密保持を図る。競争力の源泉を維持。

差はますます広がるな

社会人の過半数はヤフー知恵袋未満の文章力だと思うから、
まず「仕事しんどい頼む（絵文字）」から始まって、
AIの逆質問に応答できずにキレて終わり。マジこの程度。
活用といっても、せいぜいAIに愚痴って共感してもらえれば御の字。

AI開発業者は、公開されたインターネット上の情報はほぼ学習し終えたからな
これ以上ネットから素材を集めても、自家中毒になってしまう（他のAIが書いたネット文書を読むパターン)ので、それは避けるだろ。
これからのAI発展のためには、企業や情報が社内で溜め込んでる非公開情報だよ。だから無防備な中小企業を餌で釣って（廉価AI使用）、内部情報を吐き出させてるわけよ。

m5 max 128gbをまだキャンセルできるからキャンセルして注文し直した、ストレージ1Tから2TBに変更したプラス9万円ナリ
完全に金銭感覚がバグってきたｗ
最初はTB5の外付けSSDにしようと思ったが選んでいる内にめんどくさくなってきた、速度も半分くらいしか出ないし

ストレージ上げてる暇あったら、メモリを上げろよ、このスカタンが
金使うポイント間違えてるぞ

>>518
メモリを1つ上げて256GBにすると200万円相当になります、ちな今は100万円相当
メモリ上げると倍々ゲームなのよ坊や
さすがに200万円は要らんわ
2年後のm7 ultra 512-1024gbに金使うわ
2年後に中古で売る時に1TBだと弱いのよ

2年後に中古で売る時にメモリ128gbだと弱いだろ

>>520
まだギリ行けると思ってる
32-64gbの底辺層が手をだしてくるギリギリのライン

中古買い専門の俺様の感覚からすると、中古は使い潰す前で長〜く使う
ので、拡張可能なSDDはあまり重視しない
むしろ後付け拡張不可のユニファイドメモリの多寡で買う方を決めるな
よって新品買う人は迷ったら増設難しい方を買え． MacStudio なら迷わずメモリ高い方だろ

実際、過去の整備品の売れ行きグラフ見ても、メモリ多い方は中古価格下がらないし、整備品出れば数秒で売れてくが、SSDいくら積んでてもメモリしょぼいと長期間の店晒しで売れてないだろ

皆様の仰ることはごもっともですが今回は200万は出したくないのよね
チョロっと128gbで遊んで次行きたい気分
売れないんだったらエロ動画サーバとして余生を送ってもらうよ🙃

うーん
なかなか財布の紐が硬いなあコイツ

W を文体に使用する人の話は全部ウソだと思って間違いない

ｗｗｗ

個人事業主、一括償却可能なIntel B70が限界だったw
メイン作業環境M4 Max Studioは汚したくないFIM用に3Bくらいのモデルしか使わんので64Gで十分

mac strataきたー

他人の買い物にケチを付けてるパイセン達のスペック聞きたいっス

480GBメモリのGPUきてんね
https://youtu.be/M7J72--tzng

で、それはMacなのかい？
盲目じゃないよな？

>>532

https://www.okinawatimes.co.jp/articles/-/1941134

https://www.okinawatimes.co.jp/mwimgs/5/b/764/img_5b3aadab557dc607ba62cbbe20cb555c3451218.jpg
高文研が絶版にする島袋純教授の著書「無責任の体系と沖縄戦」


　出版社の高文研（東京）は８日までに、琉球大学の島袋純教授が９月に同社から刊行した書籍「無責任の体系と沖縄戦」の一部に事実と異なる記述があるとして、同書を回収・絶版にすると発表した。島袋教授が人工知能（ＡＩ）で調べた内容を確認しないまま掲載していた。

いいんじゃね、このくらい
mac使いが盲目にならない程度に他社の動向も知りたいし

Love is blind.

>>524
500万円もないと言うのは、おかしいと思う。
https://youtu.be/i9sXqU0VQ4M

>>513
今井翔太が言うには、最近はリソースの消費を削るために怠けるように調教されてるらしい
怠ける競争で、どんだけバレずに怠けられるかを試されてると
だから、一言怠けるな徹底的にやれ、と書くと途端にビシッとするw

love is like oxygen

strataのせいで128GBでも優位性が薄くなっちまったからな。やっぱり256GBが欲しいけど、流石に高いよね
メモリ暴落してくれねぇかな

同じstrata なら、64GBマシンよりも128GB、256GBマシンの方が、より高速に安定して動かせる
複数アプリをstrata基板で同時起動して連携すら可能

上位マシンの優位性に変わりはないぞ
下剋上は起きない
むしろ性能格差が広がる

strataが爆速なのはわかる
体感で半分以上早い。

でもやっぱりメモリは欲しいよね
SSDを仮想メモリにすると遅いし

しかし待ってほしい

Appleはメモリが安価な時代でもメモリの増設は高額ではなかったか？

アップル「次はDDR6に移行するのでお値段はさらに上がります」
信者「えー アップル様お許しを・・・」

strata はメモリの代わりにSSDを何万回も書き換えるからな
メモリは何億回書き込んでも劣化しないが、SSDは急速に劣化していく。
SSDをメモリ代わりに使ってると、PCの寿命は約10分の1になってしまう

貧者は、目先の金に釣られてメモリしょぼい機械で、無料ローカルLLMを動かして喜んでるが、来年以降そのツケは回ってくることになる。

息を吸うように嘘をつくときはコテハンつけてほしいね

息を吐（は）くように嘘を吐（つ）く、だ
息を吸うように嘘を吸ってたら飲み込んでるじゃねーか、バカが

>>545
この　ツクツクボウシめw

いくらなんでも寿命が1/10になるのは大げさ

大丈夫、すぐに根拠を書いてくれるさ

このスレってIP変えて1回だけの投稿なら無限に成りすまし出来るの？
毎日、初回投稿が多すぎて不自然ぽい

なあにかえって自然になる

1日数百GB～数TBのペースで書き込み続けたら流石に寿命削れるけど、そうじゃないなら気にしなくていい
SSDが逝く前に性能不足で買い換えてるから

AIモデルだけで10〜90GBあるからな
それを毎秒数千回は繰り返して読むんだから、SSDは１日使えば、数千万回の書込みを受ける
AIを使うってのは、普通のSSDの読み書きとは訳が違う
あっという間に寿命がきて泣きを見ることになる
悪いことは言わん
モデルはVRAMに置いとけ

モデルストリーミングしても全体の書き込みはしないでしょ

AIに聞いたらStrataは基本読み込みだけなのでssdのダメージは少ないと言っている
それとは別に、メモリ不足のスワップだと書き込みするのでssdの寿命に影響するかもだって
スワップ発生させないメモリ量でStrata使えば問題なくね？

AIに聞いたら、AIモデルだけで10～90GBあって、それを毎秒数千回は繰り返して読むんだから、SSDは１日使えば、数千万回の書込みを受けるらしい
AIを使うってのは、普通のSSDの読み書きとは訳が違うので、あっという間に寿命がきて泣きを見ることになると、あいが言ってた。

出しな…お前のAIスタンドを

＞毎秒数千回は繰り返して読むんだから、SSDは１日使えば、数千万回の書込みを受けるらしい

読むのか、書くのかはっきりしろアホAI

お前らのAIが何を言おうが、俺様は自分のAIしか信用しない。

単発の書き込みは信用できん
2/2になったら信用してやる

四分の三の花嫁

>>560

そこの貴方
ID真っ赤ですよw
鼻毛も出てますよ

>>562
成りすましおじさん
よくやるわ
アホくさ
連投しろよID記録したいｗ

低学歴は「有意に」程度の意味で「約10分の1」などと書いてしまったり
息を吸ったり吐いたりでホント大変

あの鼻毛は有意に長く

>>556
マジレスだけど書き込まなきゃいけないようなアクセスなら遅くて使い物にならないよ

なんだとぅ？
道路予算削るぞ、コラァ

バカは何してもバカなんですわ

成りすましおじさん24時間ここ監視してるのか😅
ID無しの書き込みの90％以上は1人でやってる😂😂

/auth logout

>>568
ばれたか

この赤鼻毛を見抜くとは、なかなかやるねぇ

Meta、クラウド不要の大規模AI発表　「Mac Studio」2台で動作　Appleと異例の協力

CNET Japan Staff


Macでの動作には、Appleの機械学習用フレームワーク「MLX」を活用する。「M5 Ultra」を搭載し、512GBのメモリーを備えたMac Studioを2台接続することで、合計1TBのメモリーにモデル全体を収める。Appleは技術解説で、4台構成では毎秒36トークンを超える速度で文章を生成できたと説明している。

https://l.smartnews.com/m-8GYTwq64/jbCzE5

>>573
これ800万円とか1000万円とか？

>>573
2台で800万円、快適に動かすなら4台で1600万円か、ムリだわ😭
量子化しまくって128GBに入るようにしておくれ、余り軽量化するとアホの子が生まれるし、これも無理か
やっぱ金持ちだけが知能の高いAIをローカルでコッソリ使える時代が来るんだな

MetaとAppleがAIでタッグ！巨大AI「Muse Spark Open」がMac Studioで動く
https://www.youtube.com/watch?v=iWPuA2dj09w

技術革新起きてくれ

Mac mini M6 32GB 届いたんで早速 LM Studio 使って色々ローカルLLMを動かしてるけど、お前らのおすすめって何？

せっかくAI使ってるならAIに聞けよ

そんなの、一番最初に聞いとるわ

AIが知らない、AIが答えそうにもない回答を期待されているって、分からないのかな😆

LM Studio でAIが自問自答している様子(thinking)が見られるのは楽しいな
ユーザーが期待しているのは〜〜〜だと考えられる。だとすると〜〜
みたいなやつ

ユーザーが期待していることを察するなんて、>>579 より賢いわ

>>578
orcarouter/Qwen3.8-27B-Uncensored-GGUF

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive

Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP

Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP

せっかくローカル使うんだから、規制なしのUncensored/Abliterated版以外無いよな

>>582
なら、既に試したやつとか今使ってるやつぐらいは書くべきじゃないのか？

Uncensored、ゴクリ…

すべてがフルフロンタル

小学校に乱入して銃を乱射しまくる小説とか、クラウドじゃ書いてくれない
でも…

女子達が一日中エロトークしてくれる
イメージ画像付きで

あれも書けないこれも書けない
ドイルもシェイクスピアも困るだろう

>>589
チャット形式で画像生成してくれるやつってある？

Alis Stuido っていう Krea2 を使った画像生成するやつはいれたけど、昔流行った A1111 みたいなやつなんだよな

自分で生成すれば、全部乗り越えられる。

参照画像を与えて、Krea2 用にプロンプトを書け、って指示してできたやつを Alis Studio に突っ込むっていうはすごい面倒

M6でQwen3.8-Flash-Next Strataを入れてみた

>>591
マルチモーダルでチャットと画像生成できるモデルもあるし
好きなLLM+ComfyUI+画像生成モデルでもできる

>>573

総パラメーター数は8,160億で、推論時に稼働するのはそのうち420億。コンテキスト長は100万トークンだ。コーディングとエージェント作業向けに設計し、長時間に及ぶ作業や複雑なソフトウェア開発、多段階の推論を得意とする。

入力はテキスト、画像、動画、音声に対応し、出力はテキスト。100以上の言語のデータで学習した。

重みは BF16 版と NVFP4 版の2種類で、自社の環境で動かすには NVFP4 版で700GB以上、BF16 版で2TB以上の VRAM を持つ GPU が必要になる。

Apple の機械学習フレームワーク MLX の最新版に合わせて最適化しており、M5 Ultra を搭載した Mac Studio を2台つなげば、手元のデスクトップでも動かせる。

Meta によると、M5 Ultra の統合 GPU は Mac Studio 1台あたり最大512GBのメモリを使えるため、2台でモデル全体を載せられる。

同社はこの構成で自社のコーディングツール Muse Code を動かし、オープンソースの Mastodon クライアント「Ice Cubes」の iOS 版でバグ修正や機能追加、ビルドまでを行ったほか、動画編集ソフト DaVinci Resolve で映像を1コマずつ確認して見どころを縦型に切り出す作業も試した。

API は Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter、Together AI の各社が同日から提供する。各社の API 料金は明らかにしていない。

重みは Amazon SageMaker AI、Google Cloud Model Garden、Hugging Face、Microsoft Foundry Models から入手でき、推論エンジンは SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、MLX、llama.cpp、Unsloth に対応する。

ライセンスは独自の「Muse Model License」で、多くの開発者は無料で使える。

ただし、このモデルや派生モデルを使う製品・サービスには「Built with Muse Spark Open」と表示する必要がある。

また、AI モデルを API などで外部に提供する事業者のうち、グループの総売上高が連続する12カ月間で2,000万ドルを超える企業は、提供の前に Meta へ通知し、個別の契約を結ばなければならない。

人間にもコンテキスト上限がある

＞　ただし、このモデルや派生モデルを使う製品・サービスには「マミさん最高！」と表示する必要がある。




なにこの縛り…

>>591
定期的に文脈読ませて画像生成する紙芝居
メモリ50gbくらい食う

画像生成って実は結構大変なんだっけ？
パラメータ弄りまくって何回も生成し直さないといけない
それに比べるとプロンプト上手く書けばマシなもの出してくれるオンラインサービスに軍配が上がる

>>600
https://image.space.rakuten.co.jp/d/strg/ctrl/9/5cb0a7f244a0fe77a475516adbec32fcb6fdd58c.45.2.9.2.jpeg

>>578
Mac mini M6 32GBってStrata使えば120B相当？のQwen3.8-Flash-Next載るのかな？
俺はmac stduio来るまでwinでQwen3.8-Flash-Nextで遊んでるけど中々いいよ
Strata win版はモデルのほどんどをCPU RAM64gbに載せてるけど、macはストレージに載せるみたいだから使用感分からんけど
それとSSD早くぶっ壊れると主張してる人もいるな、readオンリーだから劣化しないと思うが

>>584
規制なしのUncensored/Abliterated版はどうやって手に入れるかAIに聞いたら怒られたｗ

orcarouterのUncensored以外は糞微妙すぎる

センスなしが
除去したら悪いところまで除去してるしな

ファインチューニングはバランス良くやるセンスがないのし

ベンチ結果出してるやつが稀にいるがあれ書いてる以上に絶対損失大きいだろうな

>>603
無料のchatgptでも教えてくれるのに…ｗ

>>603
LM Studio 使ってないのか？

>>603
Uncensored版AIに訊けば怒られないぞ

結論：Mac mini M6・32GBでも、Strataを使えば125B級のQwen3.8-Flash-Nextを動かせる可能性はかなり高いよ。しかも、単なる理論上の話ではなく、Strata公式にはM4 Mac mini・32GBでSSDストリーミング動作を確認したという記載がある。
ただし、動くことと、快適な速度で使えることは別。Strataは、モデル全体をRAMに載せる代わりに、必要なExpertを内蔵SSDから読み出す仕組みを使う。なので、M6・32GBの実用性は内蔵SSDの速度とExpertキャッシュ効率次第。
* すでにM6・32GBを持っている：Strataを試す価値はある。ダメ元。動かなくても俺は損はない。
* これから購入する：125Bを日常的に使いたいなら、64GB以上を優先したい。32GBでは無駄。金をドブに捨てるようなもの。というか買った馬鹿の顔が見たいw

ひとつ聞きたいんだけど、Qwen3.8-Flash-Nextをローカルで動かして、Claude CodeやPiみたいなコーディングエージェントに使いたい感じ？それとも普通のチャット用途？用途が絞れれば、M6・32GBで十分か、64GBにするべきか、更に深く掘り下げて検討できます。そうAppleならね。

一部のMCPツールで、LM StudioのOpenAI互換APIを繋げて使ってると、リクエストにpropertiesが無い場合にエラーになる
unsloth DesktopのOpenAI互換APIだとエラーにならない

そんな風に思っていた時期が俺にもありました（マルチではありません）。

LM Studio使ってるけどかなりおもろくて良いね
外からはLocallyでiPhoneからLM StudioとのLM Linkで質問投げてみてる

mac mini買ってよかった
これでClaude code解約できるわ

>>608
Macstudio最小構成買うくらいならMac miniM5Pro64GB？

Word、Excel、サンダーバード、Web閲覧用途なら32GBメモリで充分だよ。
俺は念のため64GBメモリのMac Studio にしたが。

AI をガンガン動かすんなら、126〜256GBかな
俺は、DGX Spark 派なので126GBメモリ買った。増設で４台まで増やせるらしい。