>>670
4bitまでは人間がほとんど気が付かないといわれている。
だから基本は4bitで問題ない
モデルが優秀なら4bitもそれなりに優秀になる

現実的にメモリ容量、予算が制限があるのだから
優秀なモデルのパラメータ数多めものを4bitで使うのが最もコスパがいい。

5090ならって値段、発熱、消費電力を度外視してどうすんだよw
予算度外視ならClaudeもOpenAIも全部契約して
使いまくって月10万でも20万でも払って養分になれよ