【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

OpenAI 大量のmac mini購入
OpenAIはただの自宅警備会社笑

macOS動かすにはMacが必要だからでは
ゲストOSは同時に2しか実行できない縛りもあるし

全体で言ったら大した量じゃないだろ

>>479
日本で長く続いたデフレ時代は賃貸の方が得だったけど
これからのインフレ時代は持ち家の方が得になるよ
これまでのように家賃据え置きにはならないからね、更新ごとに上がるよ家賃

LLMもサブスクよりもMac買った方がお得よ　←スレチ防止の一言無理やり追加ｗ

mini 5m proはTB5付いてるからクラスタ化できる
mini同士だと最大4台まで繋げられる、256GBまで増やせるな、帯域狭いからmaxやultraよりも遅いけどね

メモリ以外は最小構成
64 x4 m5 pro 515,800円 x 4 =2063200円
256gb m5 ultra 1,669,800円

全然お得じゃないｗ

>>485
不動産評価額が上がるから持ち家は固定資産税がっぽり取られるのでは？

>>487
そんなガッポリ取られる場所の不動産買えないでしょ
そこそこ取られる場所しか買えないから心配しなくていいよ

あくまでデフレとインフレの一般論だよ

クラウドLLMは今は安くなるよう調整してくれてるって話は誰かしらも言ってるよなぁ
このままインフレ続くならサブスク料金再値上げなんてさもありなんってのはそうあってもおかしくなさそうなのがね…

AIに全振りしてリストラした後で梯子を外されるのが楽しみ

最近クラウドAIのアカウントがバンされる企業増えてきて笑える
ログインできないと仕事が何もでき無いよ　(つд⊂)ｴｰﾝ

>>488
ニューヨークにはサラリーマンでホームレスが大勢います。
家賃が高くて払えない。
日本もそうなりそう。

>>491
なんで企業でBANされるんだ？
仕事中にエロ小説でも書いているやつがいるのかな？

社長の趣味を邪魔しては行けない

>>493
たぶんそうだな、それとか規約違反の画像とかアップしたりしてるんじゃねｗ
Youtube探すと弁護士のサイトとか解説してるぞ
急にopen AI 厳しくなったな

人間が知らないうちにaiが勝手にエロ小説書いてたりして

個人情報や著作権侵害してる資料をアップしてる企業は、タンスにバン！

ああ、BANされる件っていうとAIをイジメるなってヤツか
そんな条件あったっけって思ってたけど定期的に言ってるよね

エロだろうがイジメだろうがリテラシーもないクソには使わせなくていい

AI「この企業さん、パワハラしてくるんです！」
イーロン「よし分かった。バンしといてやる！」

「この資料３０頁あるけど、１時間以内に翻訳しといて」
↓
パワハラです

はービバノンのー

IOT機器でも作動する分散型AIワームが自律的にデータセンターを
攻撃して乗っ取るかもしれないって、オラのmacも元気玉にされてまう

なあにかえって標的になる

日本企業(ベンチャー覗く)のAI利用の実態てどんな感じ？ とかここで聞いても無意味か
大手は利用申請でガチガチとか、セキュリティきつい業界はITゼネコンの7b-16b程度の使ってるとAIが言ってたが本当なの？
鬱憤溜まった人らがローカルLLMに流れて、こそっと自宅利用してる？

いや、むしろかなり面白い質問です。しかも、AIに聞く際に最も注意が必要なテーマの一つだと思います。
というのも、日本の大企業における生成AI利用には、少なくとも3つの異なる実態があるからです。
公式の実態：経営陣やDX推進部門が発表する「生成AI導入率」「全社員への展開」
現場の実態：承認されたAIは使えるが、モデルが古い、社内データを投入できない、用途が制限されるなどの事情
非公式の実態：会社のAIが使い物にならず、個人契約のChatGPT、Claude、ローカルLLMなどを使ってしまう人たち
1は統計や企業発表でかなり追えます。2は部分的に追えます。しかし3は、そもそも会社に申告されない行動なので、まともな統計を取るのが難しい。
そして、質問にある「大手は利用申請でガチガチ」「セキュリティの厳しい業界は7B〜16B程度」「不満を抱いた社員が自宅でローカルLLM」という話は、それぞれもっともらしいものの、同じ確度で事実扱いしてはいけないと思います。

>>506
なるほど
個人的に、この話で一番知りたいのは「日本企業のAI導入率」ではありません。
大企業の中でAIに詳しい上位数%の社員が、会社支給のAIを実際にどれだけ使っているかです。
たとえば、個人では高性能な推論モデルやコーディングエージェントを使っている人が、会社では承認済みの限定的なチャットAIしか使えないのか。それとも、大企業でも意外と最新モデルが使えるのか。
ここが分かれば、日本企業のAI利用の実態がかなり見えてくると思います。
ちなみに、気になっているのは 金融・製造・インフラのようなセキュリティが厳しい大企業 ですか？ それとも 日本の大手企業全般で、AIを使いこなせる社員がどんな扱いを受けているか という話でしょうか。調べる対象によって、かなり違う景色になるはずです。

クソAIで草

なあにかえってAIになる

AI使える使えないだけじゃなく使えるAIモデルでも貧富の差が出る時代だから格差は広がるばかりだね

貧者の中小企業は、なけなしの社内情報・顧客情報をオンラインAIに献上し、見返りで安くAIを使用させてもらっている
強者は、自社内セキュアなAIをベンダーに構築させ、秘密保持を図る
信頼を失った中小企業からは得意先は離れていく
差はますます広がるな

一人親方だと、利用実態全く漏れてこなくて心配よな
AIに対する世間の肌感がわからなくて困る

まぁ見るひとが見ればこれAIてバレるよなとか
わざとITゼネコン風のドキュメントにしてとかAIにお願いしたりw
なんか本末転倒というか

プロンプトでガチガチに縛るまで真人間(真AI)にならないし、それまで人間が間違い探しするの本当、時間の無駄
まぁ怠けたレポートをもっともらしく仕上げてくることｗ　指摘しないと舐められるしｗ
もっと賢いAIに間違え直しさせてるけどメンドクサイし、AI使っても新人育てる人間社会と大して変わらん

Mac Studio来たら、もっとアホなローカルAIをクラウドAIに教育させてしばいてもらってようやく一人前になる
それでも人の目が入らないとアホが出来上がるしｗ　あーめんどくさい

貧者の中小企業は、なけなしの社内ノウハウ満載データをオンラインAIに献上し、見返りで、安くAIを使用させてもらっている。
その結果、過去データから来る社内ノウハウ）をAIに学習されてしまった中小企業は競争力の唯一源泉を失い他社競争に埋没していく…
強者は、自社内セキュアなAIをベンダーに構築させ、社内ノウハウや過去データは秘密保持を図る。競争力の源泉を維持。

差はますます広がるな

社会人の過半数はヤフー知恵袋未満の文章力だと思うから、
まず「仕事しんどい頼む（絵文字）」から始まって、
AIの逆質問に応答できずにキレて終わり。マジこの程度。
活用といっても、せいぜいAIに愚痴って共感してもらえれば御の字。

AI開発業者は、公開されたインターネット上の情報はほぼ学習し終えたからな
これ以上ネットから素材を集めても、自家中毒になってしまう（他のAIが書いたネット文書を読むパターン)ので、それは避けるだろ。
これからのAI発展のためには、企業や情報が社内で溜め込んでる非公開情報だよ。だから無防備な中小企業を餌で釣って（廉価AI使用）、内部情報を吐き出させてるわけよ。

m5 max 128gbをまだキャンセルできるからキャンセルして注文し直した、ストレージ1Tから2TBに変更したプラス9万円ナリ
完全に金銭感覚がバグってきたｗ
最初はTB5の外付けSSDにしようと思ったが選んでいる内にめんどくさくなってきた、速度も半分くらいしか出ないし

ストレージ上げてる暇あったら、メモリを上げろよ、このスカタンが
金使うポイント間違えてるぞ

>>518
メモリを1つ上げて256GBにすると200万円相当になります、ちな今は100万円相当
メモリ上げると倍々ゲームなのよ坊や
さすがに200万円は要らんわ
2年後のm7 ultra 512-1024gbに金使うわ
2年後に中古で売る時に1TBだと弱いのよ

2年後に中古で売る時にメモリ128gbだと弱いだろ

>>520
まだギリ行けると思ってる
32-64gbの底辺層が手をだしてくるギリギリのライン

中古買い専門の俺様の感覚からすると、中古は使い潰す前で長〜く使う
ので、拡張可能なSDDはあまり重視しない
むしろ後付け拡張不可のユニファイドメモリの多寡で買う方を決めるな
よって新品買う人は迷ったら増設難しい方を買え． MacStudio なら迷わずメモリ高い方だろ

実際、過去の整備品の売れ行きグラフ見ても、メモリ多い方は中古価格下がらないし、整備品出れば数秒で売れてくが、SSDいくら積んでてもメモリしょぼいと長期間の店晒しで売れてないだろ

皆様の仰ることはごもっともですが今回は200万は出したくないのよね
チョロっと128gbで遊んで次行きたい気分
売れないんだったらエロ動画サーバとして余生を送ってもらうよ🙃

うーん
なかなか財布の紐が硬いなあコイツ

W を文体に使用する人の話は全部ウソだと思って間違いない

ｗｗｗ

個人事業主、一括償却可能なIntel B70が限界だったw
メイン作業環境M4 Max Studioは汚したくないFIM用に3Bくらいのモデルしか使わんので64Gで十分

mac strataきたー

他人の買い物にケチを付けてるパイセン達のスペック聞きたいっス

480GBメモリのGPUきてんね
https://youtu.be/M7J72--tzng

で、それはMacなのかい？
盲目じゃないよな？

>>532

https://www.okinawatimes.co.jp/articles/-/1941134

https://www.okinawatimes.co.jp/mwimgs/5/b/764/img_5b3aadab557dc607ba62cbbe20cb555c3451218.jpg
高文研が絶版にする島袋純教授の著書「無責任の体系と沖縄戦」


　出版社の高文研（東京）は８日までに、琉球大学の島袋純教授が９月に同社から刊行した書籍「無責任の体系と沖縄戦」の一部に事実と異なる記述があるとして、同書を回収・絶版にすると発表した。島袋教授が人工知能（ＡＩ）で調べた内容を確認しないまま掲載していた。

いいんじゃね、このくらい
mac使いが盲目にならない程度に他社の動向も知りたいし

Love is blind.

>>524
500万円もないと言うのは、おかしいと思う。
https://youtu.be/i9sXqU0VQ4M

>>513
今井翔太が言うには、最近はリソースの消費を削るために怠けるように調教されてるらしい
怠ける競争で、どんだけバレずに怠けられるかを試されてると
だから、一言怠けるな徹底的にやれ、と書くと途端にビシッとするw

love is like oxygen

strataのせいで128GBでも優位性が薄くなっちまったからな。やっぱり256GBが欲しいけど、流石に高いよね
メモリ暴落してくれねぇかな

同じstrata なら、64GBマシンよりも128GB、256GBマシンの方が、より高速に安定して動かせる
複数アプリをstrata基板で同時起動して連携すら可能

上位マシンの優位性に変わりはないぞ
下剋上は起きない
むしろ性能格差が広がる

strataが爆速なのはわかる
体感で半分以上早い。

でもやっぱりメモリは欲しいよね
SSDを仮想メモリにすると遅いし

しかし待ってほしい

Appleはメモリが安価な時代でもメモリの増設は高額ではなかったか？

アップル「次はDDR6に移行するのでお値段はさらに上がります」
信者「えー アップル様お許しを・・・」

strata はメモリの代わりにSSDを何万回も書き換えるからな
メモリは何億回書き込んでも劣化しないが、SSDは急速に劣化していく。
SSDをメモリ代わりに使ってると、PCの寿命は約10分の1になってしまう

貧者は、目先の金に釣られてメモリしょぼい機械で、無料ローカルLLMを動かして喜んでるが、来年以降そのツケは回ってくることになる。

息を吸うように嘘をつくときはコテハンつけてほしいね

息を吐（は）くように嘘を吐（つ）く、だ
息を吸うように嘘を吸ってたら飲み込んでるじゃねーか、バカが

>>545
この　ツクツクボウシめw

いくらなんでも寿命が1/10になるのは大げさ

大丈夫、すぐに根拠を書いてくれるさ

このスレってIP変えて1回だけの投稿なら無限に成りすまし出来るの？
毎日、初回投稿が多すぎて不自然ぽい

なあにかえって自然になる

1日数百GB～数TBのペースで書き込み続けたら流石に寿命削れるけど、そうじゃないなら気にしなくていい
SSDが逝く前に性能不足で買い換えてるから

AIモデルだけで10〜90GBあるからな
それを毎秒数千回は繰り返して読むんだから、SSDは１日使えば、数千万回の書込みを受ける
AIを使うってのは、普通のSSDの読み書きとは訳が違う
あっという間に寿命がきて泣きを見ることになる
悪いことは言わん
モデルはVRAMに置いとけ

モデルストリーミングしても全体の書き込みはしないでしょ

AIに聞いたらStrataは基本読み込みだけなのでssdのダメージは少ないと言っている
それとは別に、メモリ不足のスワップだと書き込みするのでssdの寿命に影響するかもだって
スワップ発生させないメモリ量でStrata使えば問題なくね？

AIに聞いたら、AIモデルだけで10～90GBあって、それを毎秒数千回は繰り返して読むんだから、SSDは１日使えば、数千万回の書込みを受けるらしい
AIを使うってのは、普通のSSDの読み書きとは訳が違うので、あっという間に寿命がきて泣きを見ることになると、あいが言ってた。

出しな…お前のAIスタンドを

＞毎秒数千回は繰り返して読むんだから、SSDは１日使えば、数千万回の書込みを受けるらしい

読むのか、書くのかはっきりしろアホAI

お前らのAIが何を言おうが、俺様は自分のAIしか信用しない。

単発の書き込みは信用できん
2/2になったら信用してやる

四分の三の花嫁

>>560

そこの貴方
ID真っ赤ですよw
鼻毛も出てますよ

>>562
成りすましおじさん
よくやるわ
アホくさ
連投しろよID記録したいｗ

低学歴は「有意に」程度の意味で「約10分の1」などと書いてしまったり
息を吸ったり吐いたりでホント大変

あの鼻毛は有意に長く

>>556
マジレスだけど書き込まなきゃいけないようなアクセスなら遅くて使い物にならないよ

なんだとぅ？
道路予算削るぞ、コラァ

バカは何してもバカなんですわ

成りすましおじさん24時間ここ監視してるのか😅
ID無しの書き込みの90％以上は1人でやってる😂😂

/auth logout

>>568
ばれたか

この赤鼻毛を見抜くとは、なかなかやるねぇ

Meta、クラウド不要の大規模AI発表　「Mac Studio」2台で動作　Appleと異例の協力

CNET Japan Staff


Macでの動作には、Appleの機械学習用フレームワーク「MLX」を活用する。「M5 Ultra」を搭載し、512GBのメモリーを備えたMac Studioを2台接続することで、合計1TBのメモリーにモデル全体を収める。Appleは技術解説で、4台構成では毎秒36トークンを超える速度で文章を生成できたと説明している。

https://l.smartnews.com/m-8GYTwq64/jbCzE5

>>573
これ800万円とか1000万円とか？

>>573
2台で800万円、快適に動かすなら4台で1600万円か、ムリだわ😭
量子化しまくって128GBに入るようにしておくれ、余り軽量化するとアホの子が生まれるし、これも無理か
やっぱ金持ちだけが知能の高いAIをローカルでコッソリ使える時代が来るんだな

MetaとAppleがAIでタッグ！巨大AI「Muse Spark Open」がMac Studioで動く
https://www.youtube.com/watch?v=iWPuA2dj09w

技術革新起きてくれ

Mac mini M6 32GB 届いたんで早速 LM Studio 使って色々ローカルLLMを動かしてるけど、お前らのおすすめって何？

せっかくAI使ってるならAIに聞けよ

そんなの、一番最初に聞いとるわ

AIが知らない、AIが答えそうにもない回答を期待されているって、分からないのかな😆

LM Studio でAIが自問自答している様子(thinking)が見られるのは楽しいな
ユーザーが期待しているのは〜〜〜だと考えられる。だとすると〜〜
みたいなやつ

ユーザーが期待していることを察するなんて、>>579 より賢いわ