>>464
「モデルの違いでメモリ消費に有意な差はない」と主張しているが、ここが根本的に間違っている

量子化の話が完全に抜け落ちている。70Bモデルを16ビットで保持すれば重みだけで約140ギガバイト必要という計算は正しいが、それは16ビットで保持するという前提にすぎない。現実の大規模言語モデル推論では、8ビットや4ビットに量子化することで、同じ70Bでも重みメモリを概算で約70ギガバイト、約35ギガバイト程度まで削減できる。これは「有意義な差がない」どころか、重みメモリだけで2倍から4倍程度の差が出るということだ

さらに、量子化で減るのは反復数ではなく、重みの表現に必要なビット数である。したがって「メモリを減らすなら反復を減らすしかない」という説明も成り立たない

皮肉なことに、君の主張は「相手は基本すら知らない」「用語を出して頓珍漢」と相手を強く批判している一方で、量子化という現代の大規模言語モデル運用における基本的かつ重要な概念が抜け落ちている。その時点で、メモリ消費についての議論としては致命的に不完全である