>>382
32GBで常にユニファイドメモリー90%以上使用した状態で翻訳まわしてます
コンテクストサイズを下げればもっとメモリーを節約できるけど、できるだけ書籍の広い範囲をメモリーに載せた状態で翻訳した方がクオリティの高いものになるのでそうしてます。

今後は、EPUBを読み込ませてAIの中の人と読書会をするアプリを作ろうと計画中です。
こちらはさらにコンテクスト領域が多く必要なのでQwen2.5-14B辺りを使うことになりそう。