【ローカルAI】MacでローカルLLM

今MacminiM1/16GB/SSD256GBでqwen3.5-4bローカルで動かしてみたが
チャッピーよりかなり馬鹿だなw
考え中gpu55℃/cpu50℃まで上がったわ(普段は両方30℃前後)
ファンは特別回らず1700rpmを維持してた

馬鹿だけど家(ハード)と飯(電気)をくれればタダで住み込みで働きますよってのがローカルaiで、給料くださいってのがクラウド型だと思ってる。

>>91
なるほど例え方が面白いね
自分ローカルAI触ったの本日初めてで、バカqwenの話をチャッピーに聞かせてアドバイス貰っている状態
やはり上位LLMを入れたくなるし、高速cpu、大容量メモリーが欲しくなるのも納得
Mac以外のPCも物色中
WindowsでローカルAIやるスレって全然盛り上がってない気がする

三食昼寝付きのAI

これ年金暮らし始めた自分には良いオモチャだな

>>90
4b辺りのモデルは「とりあえず動く」レベルで、正直使い所が難しい
でもWindowsでゲーミングPCで動かすとしたらこのへんになるんだよね

ただ4bでも特殊if条件判定器としてみると、とんでもない性能をしてる
会話する相手ではない

>>95
例えばだけど
https://jp.gmktec.com/products/gmktec-nucbox-k8-plus-amd-ryzen™;-7-8845hs
このクラスのcpuでram64gb乗っけてもLLM機としての性能は厳しいの？

あれ、リンクがおかしい
ryzen 7 8845hsのcpuが乗ったモデル

最近、むかきんエロAI遊びを覚えたｗ

unlucid.ai/r/6tbrsjuw

https://jp.gmktec.com/products/gmktec-nucbox-k8-plus-amd-ryzen™;-7-8845hs

>>97
まずcpuで演算してないGpu
メインメモリは”あまり”使ってないし重要じゃない
Gpuとvramが全て

Macが注目されてるのはメインメモリとvramを共有してるから

8845hsモデルのリンクが貼れない

>>101
付き合ってくれてありがとう
ではこうゆうグラボ使えって事ね
Intel Arc Pro B70 Creator 32GB
https://www.asrock.com/Graphics-Card/Intel/Intel%20Arc%20Pro%20B70%20Creator%2032GB/index.jp.asp

そのグラボをMac miniに挿せばいいんやで

>>101
同じUMAだよ
ただメモリ帯域とレイテンシーがDDR5 SO-DIMMで遅い
遅いだけで十分使えるけどね

リンクは貼れてるよ。

この手のミニPCには少し興味がある。
メモリが256GBぐらいのって、2〜3世代ぐらい後にメモリのバンド幅が2倍以上になれば、使い所がある気がする。

>>90
9Bだと割と賢いよ
RAM 16GBなら動く

DDR4 RDIMMならいくらか持ってるけどAIでなにか役に立つかな

>>107
さっき東京の遊び場スポットを調べてもらう会話してて、ちょっと知識不足だなと思ったよ
RAMは大した会話ではないけど3GB程度食ってたね
あと、ちょっとレスが遅いなと感じた。これはM1の性能とかramの帯域幅の問題なのかなと。

>>108
いっぱい売って上位Macに乗り換える

>>109
それは検索エンジンを使わせないと無理だよ
クラウドのLLMだって同じ

>>111
ありがとう
MCPを使って検索ツールなど外部のツールを接続する仕組みを確認したよ

>>110
そういえば使ってないの売ろうと思ってたの忘れてた
でもDDR4は春頃でピーク過ぎちゃった感

外部の検索ツールを繋げるってBrave Search APIとかかな？
どっかにコスト安くてパフォーマンスのいいツールは無いものか

>>113
年内は高く売れるだろ

>>114
OpenWebUI で設定してOK

ローカルLLMを単独で使うと現在の時刻の取得すら許可されてないからね。ツールでweb 検索つけても自分の古い知識との整合性に悩んでろくな結論を出せない。
同じモデルで同じ質問しても
Hermesからエージェントで呼び出すと、そこら辺の問題が一切でないんだよね。

>>117
エージェントっつーか単一機能としてプログラム組んで
その1パーツで使った方がローカルLLMは生きるぞ

例えば検索について

人間→検索ワード→ローカルLLM→mcp→検索結果の抽出

より

人間→検索ワード→プログラムによる検索→検索結果→ローカルLLMによる要約と評価→検索結果抽出

の方が安定する

あと2年はメモリ高騰確実だから今買うのが正解か

>>95
ゲーミングPCなら5年前の3060-12すら9Bは50tok/sで動くし、4Bあたりは90tok/s、35Bもオフロードで23は出るが
>>92
OSをLinuxに入れ替えてWindowsで使ってないからだろう

M4Proで36-48メモリ程度あればゲーミングPCだと3-4tok/sしか出ない27Bが動作するから明白にコスパ優位