【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

M5 Ultra 512GBでもCloud LLMの足下にも及ばないから用途次第だな
なんというか、全国を飛び回るのに飛行機や新幹線を使い倒してる人に対して、
近所のコンビニにしか行かないおっさんが軽自動車も買えない貧乏人が搭乗料搾取されてるwって言ってる感じに見える

ITベンダーの胸先三寸で決まるような守秘義務体制を安易に信じるとか、愚か者のすることだよな

ほんそれ
こういう初心者に一から教えるの段々めんどくさくなってきた

計算資源だけ貸し出して情報を秘匿する方向で動くのかなと
考えたけどいろいろと課題ありそう

クラウドLLMがブラウザ介したおしゃべりくらいしか出来なかった時代と違って、
今はローカルファイル弄れるしローカル処理にはpython使って必要なときだけLLMを呼び出したりとかも出来るし、
ローカルLLMの優位性が損なわれてきてるのは事実なので、
そこを突かれると個人情報ｶﾞｰとしか言えなくなる

適材適所で使い分けするのが真の賢人

完全にネットから遮断した状態で使ってるんならともかく、
中華製造のLocal LLMをネットに繋ぎながら情報セキュリティ語られてもという気も
TP-Linkとか平気で使ってそう

貧乏な中小企業は、自社でビルに会議室が持てないので、喫茶店でWeb会議させてるの見るわ。
社内秘密、顧客の単価、従業員の個人情報をダダ漏れで大声でWeb会話してる
頭おかしい会社。異世界だな。
オンラインAI使うのも、だいたいこのレベルの会社の従業員だよ客や社内の情報を、ぼんぼんクラウドのAIに投げ込んでる。

まともな職種（公務員、医者、弁護士、監査法人、銀行、上場企業とかの守秘義務強いところ)は、金かけてクローズドAIを自社内に構築してるからな。それですら連日、AI攻撃受けて、個人情報流出してるが…

それなりに金かけてIT投資ができないショボい中小企業は、情報守るどころか、クラウドAIに自ら漏洩していくスタイルw こいつらは頭おかしい。

そりゃクラウドで繋げていてwifiモジュール付けたままとかアホ

そのうち新車購入台数にも影響しそう

このスレの住民→うーん 車買うかな、いや512GB買った方が幸せになれる、2台買って繋げたらもっともっと幸せになれる🤔

俺512GB Mac買ったら、新車アロファロメオのフロントに設置するんだ…

ローカルLL Mやるなら後2年は待ちたいな
たぶん実用的になるのはそのくらいからだろ

むしろその頃にはローカルAIじゃなきゃできないことが消滅している可能性もある
データ分離とかも進みそう

>>471
え？アロンアルファ？

来年にはローカルLLMのモデルファイルとそれを読み込める性能の個人用PCも法規制されて
合わせて一千万以上で裏取引されるようになるよ

>>474
つくの子2公開中！

実用化を待つのではなく進歩を楽しみながら学習したい
リアル持ち家や車や嫁を仮想化すれば実質無料

>>473
逆にネットのAIが値上げしてローカルじゃないとやってられなくなる可能性もある

持ち家より賃貸の方が安いと思う

「客の個人情報食わせてやれば、我が社はAIを安く使える！コスパコスパ」
下卑た中小企業の発想だよ

Mac miniでLocal LLMやるようなレベルの企業ってどんなだよ
企業レベルで使うならもっとまともな機材買え
中小中小言ってるけどお前ただの自宅警備員じゃん

OpenAI 大量のmac mini購入
OpenAIはただの自宅警備会社笑

macOS動かすにはMacが必要だからでは
ゲストOSは同時に2しか実行できない縛りもあるし

全体で言ったら大した量じゃないだろ

>>479
日本で長く続いたデフレ時代は賃貸の方が得だったけど
これからのインフレ時代は持ち家の方が得になるよ
これまでのように家賃据え置きにはならないからね、更新ごとに上がるよ家賃

LLMもサブスクよりもMac買った方がお得よ　←スレチ防止の一言無理やり追加ｗ

mini 5m proはTB5付いてるからクラスタ化できる
mini同士だと最大4台まで繋げられる、256GBまで増やせるな、帯域狭いからmaxやultraよりも遅いけどね

メモリ以外は最小構成
64 x4 m5 pro 515,800円 x 4 =2063200円
256gb m5 ultra 1,669,800円

全然お得じゃないｗ

>>485
不動産評価額が上がるから持ち家は固定資産税がっぽり取られるのでは？

>>487
そんなガッポリ取られる場所の不動産買えないでしょ
そこそこ取られる場所しか買えないから心配しなくていいよ

あくまでデフレとインフレの一般論だよ

クラウドLLMは今は安くなるよう調整してくれてるって話は誰かしらも言ってるよなぁ
このままインフレ続くならサブスク料金再値上げなんてさもありなんってのはそうあってもおかしくなさそうなのがね…

AIに全振りしてリストラした後で梯子を外されるのが楽しみ

最近クラウドAIのアカウントがバンされる企業増えてきて笑える
ログインできないと仕事が何もでき無いよ　(つд⊂)ｴｰﾝ

>>488
ニューヨークにはサラリーマンでホームレスが大勢います。
家賃が高くて払えない。
日本もそうなりそう。

>>491
なんで企業でBANされるんだ？
仕事中にエロ小説でも書いているやつがいるのかな？

社長の趣味を邪魔しては行けない

>>493
たぶんそうだな、それとか規約違反の画像とかアップしたりしてるんじゃねｗ
Youtube探すと弁護士のサイトとか解説してるぞ
急にopen AI 厳しくなったな

人間が知らないうちにaiが勝手にエロ小説書いてたりして

個人情報や著作権侵害してる資料をアップしてる企業は、タンスにバン！

ああ、BANされる件っていうとAIをイジメるなってヤツか
そんな条件あったっけって思ってたけど定期的に言ってるよね

エロだろうがイジメだろうがリテラシーもないクソには使わせなくていい

AI「この企業さん、パワハラしてくるんです！」
イーロン「よし分かった。バンしといてやる！」

「この資料３０頁あるけど、１時間以内に翻訳しといて」
↓
パワハラです

はービバノンのー

IOT機器でも作動する分散型AIワームが自律的にデータセンターを
攻撃して乗っ取るかもしれないって、オラのmacも元気玉にされてまう

なあにかえって標的になる

日本企業(ベンチャー覗く)のAI利用の実態てどんな感じ？ とかここで聞いても無意味か
大手は利用申請でガチガチとか、セキュリティきつい業界はITゼネコンの7b-16b程度の使ってるとAIが言ってたが本当なの？
鬱憤溜まった人らがローカルLLMに流れて、こそっと自宅利用してる？

いや、むしろかなり面白い質問です。しかも、AIに聞く際に最も注意が必要なテーマの一つだと思います。
というのも、日本の大企業における生成AI利用には、少なくとも3つの異なる実態があるからです。
公式の実態：経営陣やDX推進部門が発表する「生成AI導入率」「全社員への展開」
現場の実態：承認されたAIは使えるが、モデルが古い、社内データを投入できない、用途が制限されるなどの事情
非公式の実態：会社のAIが使い物にならず、個人契約のChatGPT、Claude、ローカルLLMなどを使ってしまう人たち
1は統計や企業発表でかなり追えます。2は部分的に追えます。しかし3は、そもそも会社に申告されない行動なので、まともな統計を取るのが難しい。
そして、質問にある「大手は利用申請でガチガチ」「セキュリティの厳しい業界は7B〜16B程度」「不満を抱いた社員が自宅でローカルLLM」という話は、それぞれもっともらしいものの、同じ確度で事実扱いしてはいけないと思います。

>>506
なるほど
個人的に、この話で一番知りたいのは「日本企業のAI導入率」ではありません。
大企業の中でAIに詳しい上位数%の社員が、会社支給のAIを実際にどれだけ使っているかです。
たとえば、個人では高性能な推論モデルやコーディングエージェントを使っている人が、会社では承認済みの限定的なチャットAIしか使えないのか。それとも、大企業でも意外と最新モデルが使えるのか。
ここが分かれば、日本企業のAI利用の実態がかなり見えてくると思います。
ちなみに、気になっているのは 金融・製造・インフラのようなセキュリティが厳しい大企業 ですか？ それとも 日本の大手企業全般で、AIを使いこなせる社員がどんな扱いを受けているか という話でしょうか。調べる対象によって、かなり違う景色になるはずです。

クソAIで草

なあにかえってAIになる

AI使える使えないだけじゃなく使えるAIモデルでも貧富の差が出る時代だから格差は広がるばかりだね

貧者の中小企業は、なけなしの社内情報・顧客情報をオンラインAIに献上し、見返りで安くAIを使用させてもらっている
強者は、自社内セキュアなAIをベンダーに構築させ、秘密保持を図る
信頼を失った中小企業からは得意先は離れていく
差はますます広がるな

一人親方だと、利用実態全く漏れてこなくて心配よな
AIに対する世間の肌感がわからなくて困る

まぁ見るひとが見ればこれAIてバレるよなとか
わざとITゼネコン風のドキュメントにしてとかAIにお願いしたりw
なんか本末転倒というか

プロンプトでガチガチに縛るまで真人間(真AI)にならないし、それまで人間が間違い探しするの本当、時間の無駄
まぁ怠けたレポートをもっともらしく仕上げてくることｗ　指摘しないと舐められるしｗ
もっと賢いAIに間違え直しさせてるけどメンドクサイし、AI使っても新人育てる人間社会と大して変わらん

Mac Studio来たら、もっとアホなローカルAIをクラウドAIに教育させてしばいてもらってようやく一人前になる
それでも人の目が入らないとアホが出来上がるしｗ　あーめんどくさい

貧者の中小企業は、なけなしの社内ノウハウ満載データをオンラインAIに献上し、見返りで、安くAIを使用させてもらっている。
その結果、過去データから来る社内ノウハウ）をAIに学習されてしまった中小企業は競争力の唯一源泉を失い他社競争に埋没していく…
強者は、自社内セキュアなAIをベンダーに構築させ、社内ノウハウや過去データは秘密保持を図る。競争力の源泉を維持。

差はますます広がるな

社会人の過半数はヤフー知恵袋未満の文章力だと思うから、
まず「仕事しんどい頼む（絵文字）」から始まって、
AIの逆質問に応答できずにキレて終わり。マジこの程度。
活用といっても、せいぜいAIに愚痴って共感してもらえれば御の字。

AI開発業者は、公開されたインターネット上の情報はほぼ学習し終えたからな
これ以上ネットから素材を集めても、自家中毒になってしまう（他のAIが書いたネット文書を読むパターン)ので、それは避けるだろ。
これからのAI発展のためには、企業や情報が社内で溜め込んでる非公開情報だよ。だから無防備な中小企業を餌で釣って（廉価AI使用）、内部情報を吐き出させてるわけよ。

m5 max 128gbをまだキャンセルできるからキャンセルして注文し直した、ストレージ1Tから2TBに変更したプラス9万円ナリ
完全に金銭感覚がバグってきたｗ
最初はTB5の外付けSSDにしようと思ったが選んでいる内にめんどくさくなってきた、速度も半分くらいしか出ないし

ストレージ上げてる暇あったら、メモリを上げろよ、このスカタンが
金使うポイント間違えてるぞ

>>518
メモリを1つ上げて256GBにすると200万円相当になります、ちな今は100万円相当
メモリ上げると倍々ゲームなのよ坊や
さすがに200万円は要らんわ
2年後のm7 ultra 512-1024gbに金使うわ
2年後に中古で売る時に1TBだと弱いのよ

2年後に中古で売る時にメモリ128gbだと弱いだろ

>>520
まだギリ行けると思ってる
32-64gbの底辺層が手をだしてくるギリギリのライン

中古買い専門の俺様の感覚からすると、中古は使い潰す前で長〜く使う
ので、拡張可能なSDDはあまり重視しない
むしろ後付け拡張不可のユニファイドメモリの多寡で買う方を決めるな
よって新品買う人は迷ったら増設難しい方を買え． MacStudio なら迷わずメモリ高い方だろ

実際、過去の整備品の売れ行きグラフ見ても、メモリ多い方は中古価格下がらないし、整備品出れば数秒で売れてくが、SSDいくら積んでてもメモリしょぼいと長期間の店晒しで売れてないだろ

皆様の仰ることはごもっともですが今回は200万は出したくないのよね
チョロっと128gbで遊んで次行きたい気分
売れないんだったらエロ動画サーバとして余生を送ってもらうよ🙃

うーん
なかなか財布の紐が硬いなあコイツ

W を文体に使用する人の話は全部ウソだと思って間違いない

ｗｗｗ

個人事業主、一括償却可能なIntel B70が限界だったw
メイン作業環境M4 Max Studioは汚したくないFIM用に3Bくらいのモデルしか使わんので64Gで十分

mac strataきたー

他人の買い物にケチを付けてるパイセン達のスペック聞きたいっス

480GBメモリのGPUきてんね
https://youtu.be/M7J72--tzng

で、それはMacなのかい？
盲目じゃないよな？

>>532

https://www.okinawatimes.co.jp/articles/-/1941134

https://www.okinawatimes.co.jp/mwimgs/5/b/764/img_5b3aadab557dc607ba62cbbe20cb555c3451218.jpg
高文研が絶版にする島袋純教授の著書「無責任の体系と沖縄戦」


　出版社の高文研（東京）は８日までに、琉球大学の島袋純教授が９月に同社から刊行した書籍「無責任の体系と沖縄戦」の一部に事実と異なる記述があるとして、同書を回収・絶版にすると発表した。島袋教授が人工知能（ＡＩ）で調べた内容を確認しないまま掲載していた。

いいんじゃね、このくらい
mac使いが盲目にならない程度に他社の動向も知りたいし

Love is blind.

>>524
500万円もないと言うのは、おかしいと思う。
https://youtu.be/i9sXqU0VQ4M

>>513
今井翔太が言うには、最近はリソースの消費を削るために怠けるように調教されてるらしい
怠ける競争で、どんだけバレずに怠けられるかを試されてると
だから、一言怠けるな徹底的にやれ、と書くと途端にビシッとするw

love is like oxygen

strataのせいで128GBでも優位性が薄くなっちまったからな。やっぱり256GBが欲しいけど、流石に高いよね
メモリ暴落してくれねぇかな

同じstrata なら、64GBマシンよりも128GB、256GBマシンの方が、より高速に安定して動かせる
複数アプリをstrata基板で同時起動して連携すら可能

上位マシンの優位性に変わりはないぞ
下剋上は起きない
むしろ性能格差が広がる

strataが爆速なのはわかる
体感で半分以上早い。

でもやっぱりメモリは欲しいよね
SSDを仮想メモリにすると遅いし

しかし待ってほしい

Appleはメモリが安価な時代でもメモリの増設は高額ではなかったか？

アップル「次はDDR6に移行するのでお値段はさらに上がります」
信者「えー アップル様お許しを・・・」

strata はメモリの代わりにSSDを何万回も書き換えるからな
メモリは何億回書き込んでも劣化しないが、SSDは急速に劣化していく。
SSDをメモリ代わりに使ってると、PCの寿命は約10分の1になってしまう

貧者は、目先の金に釣られてメモリしょぼい機械で、無料ローカルLLMを動かして喜んでるが、来年以降そのツケは回ってくることになる。

息を吸うように嘘をつくときはコテハンつけてほしいね

息を吐（は）くように嘘を吐（つ）く、だ
息を吸うように嘘を吸ってたら飲み込んでるじゃねーか、バカが

>>545
この　ツクツクボウシめw

いくらなんでも寿命が1/10になるのは大げさ

大丈夫、すぐに根拠を書いてくれるさ

このスレってIP変えて1回だけの投稿なら無限に成りすまし出来るの？
毎日、初回投稿が多すぎて不自然ぽい

なあにかえって自然になる

1日数百GB～数TBのペースで書き込み続けたら流石に寿命削れるけど、そうじゃないなら気にしなくていい
SSDが逝く前に性能不足で買い換えてるから

AIモデルだけで10〜90GBあるからな
それを毎秒数千回は繰り返して読むんだから、SSDは１日使えば、数千万回の書込みを受ける
AIを使うってのは、普通のSSDの読み書きとは訳が違う
あっという間に寿命がきて泣きを見ることになる
悪いことは言わん
モデルはVRAMに置いとけ

モデルストリーミングしても全体の書き込みはしないでしょ

AIに聞いたらStrataは基本読み込みだけなのでssdのダメージは少ないと言っている
それとは別に、メモリ不足のスワップだと書き込みするのでssdの寿命に影響するかもだって
スワップ発生させないメモリ量でStrata使えば問題なくね？

AIに聞いたら、AIモデルだけで10～90GBあって、それを毎秒数千回は繰り返して読むんだから、SSDは１日使えば、数千万回の書込みを受けるらしい
AIを使うってのは、普通のSSDの読み書きとは訳が違うので、あっという間に寿命がきて泣きを見ることになると、あいが言ってた。

出しな…お前のAIスタンドを

＞毎秒数千回は繰り返して読むんだから、SSDは１日使えば、数千万回の書込みを受けるらしい

読むのか、書くのかはっきりしろアホAI

お前らのAIが何を言おうが、俺様は自分のAIしか信用しない。

単発の書き込みは信用できん
2/2になったら信用してやる

四分の三の花嫁