【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

大丈夫、すぐに根拠を書いてくれるさ

このスレってIP変えて1回だけの投稿なら無限に成りすまし出来るの？
毎日、初回投稿が多すぎて不自然ぽい

なあにかえって自然になる

1日数百GB～数TBのペースで書き込み続けたら流石に寿命削れるけど、そうじゃないなら気にしなくていい
SSDが逝く前に性能不足で買い換えてるから

AIモデルだけで10〜90GBあるからな
それを毎秒数千回は繰り返して読むんだから、SSDは１日使えば、数千万回の書込みを受ける
AIを使うってのは、普通のSSDの読み書きとは訳が違う
あっという間に寿命がきて泣きを見ることになる
悪いことは言わん
モデルはVRAMに置いとけ

モデルストリーミングしても全体の書き込みはしないでしょ

AIに聞いたらStrataは基本読み込みだけなのでssdのダメージは少ないと言っている
それとは別に、メモリ不足のスワップだと書き込みするのでssdの寿命に影響するかもだって
スワップ発生させないメモリ量でStrata使えば問題なくね？

AIに聞いたら、AIモデルだけで10～90GBあって、それを毎秒数千回は繰り返して読むんだから、SSDは１日使えば、数千万回の書込みを受けるらしい
AIを使うってのは、普通のSSDの読み書きとは訳が違うので、あっという間に寿命がきて泣きを見ることになると、あいが言ってた。

出しな…お前のAIスタンドを

＞毎秒数千回は繰り返して読むんだから、SSDは１日使えば、数千万回の書込みを受けるらしい

読むのか、書くのかはっきりしろアホAI

お前らのAIが何を言おうが、俺様は自分のAIしか信用しない。

単発の書き込みは信用できん
2/2になったら信用してやる

四分の三の花嫁

>>560

そこの貴方
ID真っ赤ですよw
鼻毛も出てますよ

>>562
成りすましおじさん
よくやるわ
アホくさ
連投しろよID記録したいｗ

低学歴は「有意に」程度の意味で「約10分の1」などと書いてしまったり
息を吸ったり吐いたりでホント大変

あの鼻毛は有意に長く

>>556
マジレスだけど書き込まなきゃいけないようなアクセスなら遅くて使い物にならないよ

なんだとぅ？
道路予算削るぞ、コラァ

バカは何してもバカなんですわ

成りすましおじさん24時間ここ監視してるのか😅
ID無しの書き込みの90％以上は1人でやってる😂😂

/auth logout

>>568
ばれたか

この赤鼻毛を見抜くとは、なかなかやるねぇ

Meta、クラウド不要の大規模AI発表　「Mac Studio」2台で動作　Appleと異例の協力

CNET Japan Staff


Macでの動作には、Appleの機械学習用フレームワーク「MLX」を活用する。「M5 Ultra」を搭載し、512GBのメモリーを備えたMac Studioを2台接続することで、合計1TBのメモリーにモデル全体を収める。Appleは技術解説で、4台構成では毎秒36トークンを超える速度で文章を生成できたと説明している。

https://l.smartnews.com/m-8GYTwq64/jbCzE5

>>573
これ800万円とか1000万円とか？

>>573
2台で800万円、快適に動かすなら4台で1600万円か、ムリだわ😭
量子化しまくって128GBに入るようにしておくれ、余り軽量化するとアホの子が生まれるし、これも無理か
やっぱ金持ちだけが知能の高いAIをローカルでコッソリ使える時代が来るんだな

MetaとAppleがAIでタッグ！巨大AI「Muse Spark Open」がMac Studioで動く
https://www.youtube.com/watch?v=iWPuA2dj09w

技術革新起きてくれ

Mac mini M6 32GB 届いたんで早速 LM Studio 使って色々ローカルLLMを動かしてるけど、お前らのおすすめって何？

せっかくAI使ってるならAIに聞けよ

そんなの、一番最初に聞いとるわ

AIが知らない、AIが答えそうにもない回答を期待されているって、分からないのかな😆

LM Studio でAIが自問自答している様子(thinking)が見られるのは楽しいな
ユーザーが期待しているのは〜〜〜だと考えられる。だとすると〜〜
みたいなやつ

ユーザーが期待していることを察するなんて、>>579 より賢いわ

>>578
orcarouter/Qwen3.8-27B-Uncensored-GGUF

Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive

Gemma4-26B-A4B-QAT-Uncensored-HauhauCS-Balanced-MTP

Gemma4-31B-QAT-Uncensored-HauhauCS-Balanced-MTP

せっかくローカル使うんだから、規制なしのUncensored/Abliterated版以外無いよな

>>582
なら、既に試したやつとか今使ってるやつぐらいは書くべきじゃないのか？

Uncensored、ゴクリ…

すべてがフルフロンタル

小学校に乱入して銃を乱射しまくる小説とか、クラウドじゃ書いてくれない
でも…

女子達が一日中エロトークしてくれる
イメージ画像付きで

あれも書けないこれも書けない
ドイルもシェイクスピアも困るだろう

>>589
チャット形式で画像生成してくれるやつってある？

Alis Stuido っていう Krea2 を使った画像生成するやつはいれたけど、昔流行った A1111 みたいなやつなんだよな

自分で生成すれば、全部乗り越えられる。

参照画像を与えて、Krea2 用にプロンプトを書け、って指示してできたやつを Alis Studio に突っ込むっていうはすごい面倒

M6でQwen3.8-Flash-Next Strataを入れてみた

>>591
マルチモーダルでチャットと画像生成できるモデルもあるし
好きなLLM+ComfyUI+画像生成モデルでもできる

>>573

総パラメーター数は8,160億で、推論時に稼働するのはそのうち420億。コンテキスト長は100万トークンだ。コーディングとエージェント作業向けに設計し、長時間に及ぶ作業や複雑なソフトウェア開発、多段階の推論を得意とする。

入力はテキスト、画像、動画、音声に対応し、出力はテキスト。100以上の言語のデータで学習した。

重みは BF16 版と NVFP4 版の2種類で、自社の環境で動かすには NVFP4 版で700GB以上、BF16 版で2TB以上の VRAM を持つ GPU が必要になる。

Apple の機械学習フレームワーク MLX の最新版に合わせて最適化しており、M5 Ultra を搭載した Mac Studio を2台つなげば、手元のデスクトップでも動かせる。

Meta によると、M5 Ultra の統合 GPU は Mac Studio 1台あたり最大512GBのメモリを使えるため、2台でモデル全体を載せられる。

同社はこの構成で自社のコーディングツール Muse Code を動かし、オープンソースの Mastodon クライアント「Ice Cubes」の iOS 版でバグ修正や機能追加、ビルドまでを行ったほか、動画編集ソフト DaVinci Resolve で映像を1コマずつ確認して見どころを縦型に切り出す作業も試した。

API は Baseten、Fireworks AI、Groq、Modal、Nebius、OpenRouter、Together AI の各社が同日から提供する。各社の API 料金は明らかにしていない。

重みは Amazon SageMaker AI、Google Cloud Model Garden、Hugging Face、Microsoft Foundry Models から入手でき、推論エンジンは SGLang、vLLM、TensorRT-LLM、Hugging Face Transformers、MLX、llama.cpp、Unsloth に対応する。

ライセンスは独自の「Muse Model License」で、多くの開発者は無料で使える。

ただし、このモデルや派生モデルを使う製品・サービスには「Built with Muse Spark Open」と表示する必要がある。

また、AI モデルを API などで外部に提供する事業者のうち、グループの総売上高が連続する12カ月間で2,000万ドルを超える企業は、提供の前に Meta へ通知し、個別の契約を結ばなければならない。

人間にもコンテキスト上限がある

＞　ただし、このモデルや派生モデルを使う製品・サービスには「マミさん最高！」と表示する必要がある。




なにこの縛り…

>>591
定期的に文脈読ませて画像生成する紙芝居
メモリ50gbくらい食う

画像生成って実は結構大変なんだっけ？
パラメータ弄りまくって何回も生成し直さないといけない
それに比べるとプロンプト上手く書けばマシなもの出してくれるオンラインサービスに軍配が上がる

>>600
https://image.space.rakuten.co.jp/d/strg/ctrl/9/5cb0a7f244a0fe77a475516adbec32fcb6fdd58c.45.2.9.2.jpeg

>>578
Mac mini M6 32GBってStrata使えば120B相当？のQwen3.8-Flash-Next載るのかな？
俺はmac stduio来るまでwinでQwen3.8-Flash-Nextで遊んでるけど中々いいよ
Strata win版はモデルのほどんどをCPU RAM64gbに載せてるけど、macはストレージに載せるみたいだから使用感分からんけど
それとSSD早くぶっ壊れると主張してる人もいるな、readオンリーだから劣化しないと思うが

>>584
規制なしのUncensored/Abliterated版はどうやって手に入れるかAIに聞いたら怒られたｗ

orcarouterのUncensored以外は糞微妙すぎる

センスなしが
除去したら悪いところまで除去してるしな

ファインチューニングはバランス良くやるセンスがないのし

ベンチ結果出してるやつが稀にいるがあれ書いてる以上に絶対損失大きいだろうな

>>603
無料のchatgptでも教えてくれるのに…ｗ

>>603
LM Studio 使ってないのか？

>>603
Uncensored版AIに訊けば怒られないぞ

結論：Mac mini M6・32GBでも、Strataを使えば125B級のQwen3.8-Flash-Nextを動かせる可能性はかなり高いよ。しかも、単なる理論上の話ではなく、Strata公式にはM4 Mac mini・32GBでSSDストリーミング動作を確認したという記載がある。
ただし、動くことと、快適な速度で使えることは別。Strataは、モデル全体をRAMに載せる代わりに、必要なExpertを内蔵SSDから読み出す仕組みを使う。なので、M6・32GBの実用性は内蔵SSDの速度とExpertキャッシュ効率次第。
* すでにM6・32GBを持っている：Strataを試す価値はある。ダメ元。動かなくても俺は損はない。
* これから購入する：125Bを日常的に使いたいなら、64GB以上を優先したい。32GBでは無駄。金をドブに捨てるようなもの。というか買った馬鹿の顔が見たいw

ひとつ聞きたいんだけど、Qwen3.8-Flash-Nextをローカルで動かして、Claude CodeやPiみたいなコーディングエージェントに使いたい感じ？それとも普通のチャット用途？用途が絞れれば、M6・32GBで十分か、64GBにするべきか、更に深く掘り下げて検討できます。そうAppleならね。

一部のMCPツールで、LM StudioのOpenAI互換APIを繋げて使ってると、リクエストにpropertiesが無い場合にエラーになる
unsloth DesktopのOpenAI互換APIだとエラーにならない

そんな風に思っていた時期が俺にもありました（マルチではありません）。

LM Studio使ってるけどかなりおもろくて良いね
外からはLocallyでiPhoneからLM StudioとのLM Linkで質問投げてみてる

mac mini買ってよかった
これでClaude code解約できるわ

>>608
Macstudio最小構成買うくらいならMac miniM5Pro64GB？

Word、Excel、サンダーバード、Web閲覧用途なら32GBメモリで充分だよ。
俺は念のため64GBメモリのMac Studio にしたが。

AI をガンガン動かすんなら、126〜256GBかな
俺は、DGX Spark 派なので126GBメモリ買った。増設で４台まで増やせるらしい。

Strataがゲームチェンジャー過ぎる
64GB DDR4機とRTX3090の骨董品で125BクラスのQwen3.8 Q3_XSSが120tok/s〜170tok/s位で動いてる
メモリ64GB〜128GBのマシンはメモリ安い頃に4台くらい買ってあるんで、それぞれにVRAM16GBクラスの程々GPU載っけたら全部現役復帰や･･･

さあ皆さんご一緒に〜
Strataがゲームチェンジャー過ぎるぅ！

27Bを動かすか122B以上を動かしたいか
Sなんとかが出てきてまた状況が変わってきた
少し前まではMacが圧倒的優位だったのに

一般人「ローカル興味ない。Web使うから」
金持ち「Mac、DGX、フレーム使ってるんで興味ない」

ゲームPCしか持ってないキモオタ「ストラッタで俺たちもAI使えるように！」


騒いでいる階層が体臭臭そうな奴ら…

>>617
200Bが動作すればRAG以外だとWEB版の無料AIは完全に超えるから有料AIが焦ってるのは分かる

512GBのMac Studio 注文済みの俺さま　高みの見物

mossが流行りだしたから、みんなフラフラと流されてるな
キワモノ系の　strataは忘れ去られつつある

ローカル一式触ってたら2TB一瞬でうまったな、がっつりさわるなら外付け8TBで足りるかな？まさかの4ベイ買うか迷うわ

成りすましおじさんの独り言が今日もこのスレに響き渡る😂

MoEの最小ロードは流行るやろね

普通の人はVRAM何十GBも持ってないから、意味ないよな

vram24GBで動くように寄せていくのは予想できる、本体にも36GBとか求められるかも知れんが…

Mac Studio 256GB とか持っている人には、どうでも良い技術だよね、ストラッタ（笑

>>626
逆だろ
816BクラスとかのLLMフルでロードできる可能性が出た

可能性ねぇ…

mac mini 64GB M5 Pro買ったけど1人で使う分には27B gemma4やらornith-1.5を読ませて遊べるね
メモリプレッシャーが黄色くなったからどっちかのモデルを下げるかもしれん

xestrataとやらを公開してる人、nikoにあしらわれてるのが気に入らないのかしらんが、誰も仲間になってくれず「そんなに気に入らないなら自分のxestrata使ってれば？」と言われて「使ってます」は笑う

本家にPRしない理由は採用されないから、なんなら俺はほとんど作り直してるからオリジナルだとかOSS界隈に1番嫌われるやつやろ

興味ない

低学歴無職はそもそも百万超えMac買えないからな
無職のオタクとか、低予算PCになけなしのGPU付けて親が払う電気代でゲームやって人生送ってんだろ？
世の中の人がオンラインAIで仕事するようになって、富裕層はローカルAI。無職キモオタは技術的に取り残された劣等感の中にいたわけだ。唯一のプライドであるIT詳しい感が打ち砕かれたからね…

それがストラッタとかで中国AI専用機が動く、ということでゲームPC異臭オタクが歓喜してる
惨めすぎるだろ…

日本人で開発してる大半がアプリ程度の開発しかしてないのに偉そうだなw
ラベルにこだわって中身がないよ
他人に乗っかってイキるしかないとか情けない

惨めなのは驚き屋とアプリ開発でイキってる一部の連中ですけどねw

オンラインAIが優れてるなら具体的に何にどう役立つかストレートに口に出せば良くてローカルAIを叩く意味はないからつまり

ストラッタ君、今日も元気だなー

OpenCode漏えい

（オンラインAIの利点）
初期投資額が抑えられる。
速いし情報が最新。
ネットで何処からでも使える。

（オンラインAIの弱点）
機密情報がベンダに握られる。
学習に使われて、同業他社を利する。
月額料金の値上げは呑むしかない。

両方使えばええやん

別にローカルllmもネットのどこからでも使えるだろ
アホか

>>639
ある意味、コンピューターのリテラシーが低くても使えるぐらいに
AIが身近になったってことか

>>639

知らないのはそっちだぞ
Widnows PCはパーツ自分で買ってきて交換できるから即日だ。
修理に1週間とか時間かかりすぎ、それでは使い物にならない。
しかもパーツ代だけ、工賃なしで修理できる。

Winは突然サポート切られることはない。かなり前にアナウンスされるし
仕様変更あってもRufusなどツールつかえば新しいOSインストールできる。
もっとも長くサポート期間があるから法人はwindowsを使う。

基板上のどの部品が不良かを特定するのは難しい

LM Studio Bionicをチャットアプリと思って使ってたら作業もしてくれるのか
ありがてぇ
リモートから指示できるようにLocallyのアップデートを待ちたいね

Thingsやメモアプリにアクセスできるかやってみるか

Mac買えない貧乏人の僻みばかり
そもそもAIに限らず何やらせてもNVIDIAやAMDの連中よりMacの方が早い
MacならオンラインAIと遜色ない性能も出せるし
まともな神経してたらMacしか選ばない

両方使えばええやん

個人でMacが手頃という話ならまさにその通りだと思うし特に出遅れて高いRTX sparkとかAMDのユニファイドよりははるかにいいね。

ただ万能ではない
手軽さとのバランスよ

個人の遊びならMacだが（俺の自宅もMacStudio）、正直、仕事となると性能的に不足だな
職場ではWindowsとDGX Spatk 使ってるわ

何の仕事してるの？

しがないPMCですが…