そんで量子化はLLMじゃなくてQuantなんかのライブラリ最適化アルゴリズム。
>>177で既に言及済み。

量子化云々は理論的な最適化であって精度を下げても良い結果を期待できます。ってだけ。
32から16に変換するのもあるよ。ある意味圧縮みたいな物(ベクトル化は違うが)だね。

ただそれはLLMではなくてライブラリだよね

メモリ量の話してて倍精度、単精度、Q8、Q4は他所に置けとでも言いたいのか?根幹なのに?
それとも量子化バンザイしたいのか?

俺は量子化なんて話をするつもりもなくて、ただLLMのメモリ消費の話をしているだけだぞ?
そもそもそんな最適化の話なんてしてないから、欠落も何も勝手にそう言う話をしていると思い込むなよ、って思うんだけど