【ローカルAI】MacでローカルLLM

MacでローカルAIを活用する話題はこちらで

関連スレ
Mac mini
https://egg.5ch.io/test/read.cgi/mac/1787931855/

Mac Studio
https://egg.5ch.io/test/read.cgi/mac/1787818994/

うん、サービスによるで。
* スレ＝「スレッド（thread）」の略。5ちゃんねるや掲示板、Reddit系でよく使う。
* トピ＝「トピック（topic）」の略。掲示板によっては、スレッドに相当するものを「トピ」って呼ぶ。
だから、そこで正式名称が「トピック」なら「スレじゃなくてトピ」って言うのは自然やで。必要なら、サービスごとの表現を深掘り調査して一覧表にできます。

>>62
百万トークンで足らないようだと、ローカルLLMはその用途ではしばらくは用無しだね。

専用機にする場合、ストレージって256GBで足りるのかな？

>>60
直接的な答えになってないがプログラム手動で自律的に動かすことを前提にするならRAGは必須やろ

>>60 >>73
長文を読み込むとコンテキスト長64K−256Kでもすぐに一杯になる
ローカルLLMで使えるRAGはいまいちなのばかりで長文全訳とか長文から指定した部分の書き出しとか絶望的に苦手
ChatGPTとかはモデルだけでなくこの辺が非常に良くできている

>>74
全くその通りで100%同意だが
タスクの都合でピンポイントでCPC層を用意するメリットはあるにはある

>>72
直接的な答えになってないがプログラム手動で自律的に動かすことを前提にするならストレージは必須やろ

ローカルLLM用途で素人が色々いじったけど、知識も古いし、推論も期待外れだった。一方でエージェント機能に切り替えてMCPサーバ立ち上げて連携させたら検索も推論もギリギリ使えそうなものになってきた。PCの制御をするつもりなくてもエージェントに組み込んだ方がいいと思う。立ち上げのハードルが大分上がるけどね。

とっても、ええジェント

>>77
それ、どんな感じの構成になるの？

>>79
77がどうやってるかは知らんけど、自分はディスコード連携のエルメスエージェントを使ってた。直近は少し変えてるが。
例えば、githubの操作がほとんどわからなくても、ここまでを非公開でコミットしてって指示すれば自動でコミットしてくれる。要は自分が課長か部長になった感じで、超優秀な部下に指示をする感じ。おバカなところもあるが。
エルメスエージェントの設定方法なんて知らんでも、AIに聞いて設定すれば良い。問題は、セキュリティをどう考えるか?

いつごろまで中国AIがローカル動作するのかが気になる
地政学的理由で動作が極端に遅くなるとか起動直後エラーで落ちる状態にセキュリティ更新でなる可能性はどれほどなのか