>>476
そこに書いてあるのは単精度や倍精度の話であって、量子化の話ではない
問題にしているのは、70Bを16ビットで持てば約140ギガバイトという計算自体ではなく、その16ビット前提だけで「メモリ消費に有意な差はない」と断定している点
現実の大規模言語モデル推論では、8ビットや4ビット量子化で重みメモリは大きく変わる。だから「シングルやダブルと書いてある」は、量子化が欠落しているという批判への反論になっていない