>>654
速度は速度でしかないだろ
精度とデータ量が違ければそれだけ速度が変わるでしょ
TGIトークン/sは秒間の出力数であって精度を表すものじゃない
それにQ4だろそれ?量子化されたQビットライブラリでも得られるのは定型返事しかしない理論もできないチャットAIだ

Q4でRTX5090ならTGIトークンは194行くんだから20程度じゃ障害者並みの脳しかならないわ
俺ならQ8かFP16で10〜30程度の健常者選ぶね