【ローカルAI】MacでローカルLLM

うん、サービスによるで。
* スレ＝「スレッド（thread）」の略。5ちゃんねるや掲示板、Reddit系でよく使う。
* トピ＝「トピック（topic）」の略。掲示板によっては、スレッドに相当するものを「トピ」って呼ぶ。
だから、そこで正式名称が「トピック」なら「スレじゃなくてトピ」って言うのは自然やで。必要なら、サービスごとの表現を深掘り調査して一覧表にできます。

>>62
百万トークンで足らないようだと、ローカルLLMはその用途ではしばらくは用無しだね。

専用機にする場合、ストレージって256GBで足りるのかな？

>>60
直接的な答えになってないがプログラム手動で自律的に動かすことを前提にするならRAGは必須やろ

>>60 >>73
長文を読み込むとコンテキスト長64K−256Kでもすぐに一杯になる
ローカルLLMで使えるRAGはいまいちなのばかりで長文全訳とか長文から指定した部分の書き出しとか絶望的に苦手
ChatGPTとかはモデルだけでなくこの辺が非常に良くできている

>>74
全くその通りで100%同意だが
タスクの都合でピンポイントでCPC層を用意するメリットはあるにはある

>>72
直接的な答えになってないがプログラム手動で自律的に動かすことを前提にするならストレージは必須やろ

ローカルLLM用途で素人が色々いじったけど、知識も古いし、推論も期待外れだった。一方でエージェント機能に切り替えてMCPサーバ立ち上げて連携させたら検索も推論もギリギリ使えそうなものになってきた。PCの制御をするつもりなくてもエージェントに組み込んだ方がいいと思う。立ち上げのハードルが大分上がるけどね。

とっても、ええジェント