>>309
32GBだと結構不安定な感じになると思う
とりあえずモデルはメモリ内に収まるし走り出すけどコンテクストのオーバーフローが頻発するみたいな
小さめのモデルにすると安定するけど、Q8からQ6へ落とすと日本語の質が如実に落ちる

この辺の微妙な使いにくさも今後のバージョンアップなどで改善する可能性も高いけどね