>>479
量子化ライブラリ自体がLLMではない、というのは当たり前。誰もそんな話はしていない。問題はLLMのメモリ消費を語るとき、重みを何ビットで保持するかが必要メモリを直接左右するという点。70Bをfp16で持てば約140GBだが、Q8なら約70GB、Q4なら約35GBになる。これは「ライブラリ最適化だから関係ない」では済まない。実際に必要メモリが変わるから

しかも自分で「メモリ量の話で倍精度、単精度、Q8、Q4は根幹」と言っているなら、量子化はまさに根幹。なのに「量子化の話をするつもりはないがLLMのメモリ消費の話をしている」は矛盾している

それとMoEはオフロード技術ではない。複数の専門家の一部だけをトークンごとに使う疎なモデル構造で、総容量を増やしつつ実行時の計算量を抑えるための設計。オフロードとは別の話