>>482
「箱のサイズの話しかしていない」と言うなら、量子化はまさに箱のサイズの話だよ。量子化はデータを見やすく整頓するだけではなく、重みを何ビットで保持するかを変えるので、必要メモリそのものが変わる。70Bならfp16で約140GB、Q8で約70GB、Q4で約35GB
こちらは「常にQ4で足りる」とは言っていない。fp32が必要な場合もある。だからこそ、メモリ消費を語るなら表現形式を条件として明示しろ、という話だ
元の問題は「70Bをfp16で持つと約140GB」という正しい計算ではなく、そこから「モデルの違いでメモリ消費に有意義な差は無い」と一般化した点にある。量子化や実装を対象外にするなら、それは「特定条件下の重みサイズ」の話であって、LLMのメモリ消費一般の話ではない

MoEもオフロード技術ではない。現代LLMでのMoEは、入力やトークンごとに内部処理ブロックの一部を選んで使う疎な構造。オフロードは別概念だ