>>482
「箱のサイズの話しかしていない」と言うなら、量子化はまさに箱のサイズの話だよ。量子化はデータを見やすく整頓するだけではなく、重みを何ビットで保持するかを変えるので、必要メモリそのものが変わる。70Bならfp16で約140GB、Q8で約70GB、Q4で約35GB
こちらは「常にQ4で足りる」とは言っていない。fp32が必要な場合もある。だからこそ、メモリ消費を語るなら表現形式を条件として明示しろ、という話だ
元の問題は「70Bをfp16で持つと約140GB」という正しい計算ではなく、そこから「モデルの違いでメモリ消費に有意義な差は無い」と一般化した点にある。量子化や実装を対象外にするなら、それは「特定条件下の重みサイズ」の話であって、LLMのメモリ消費一般の話ではない
MoEもオフロード技術ではない。現代LLMでのMoEは、入力やトークンごとに内部処理ブロックの一部を選んで使う疎な構造。オフロードは別概念だ
M4以降のMac mini 総合 Part10
■ このスレッドは過去ログ倉庫に格納されています
名称未設定
■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 【高市首相の台湾有事発言】中国、改めて「是正」要求 ★2 [ぐれ★]
- 「置き配」届けた後、補償なし 破損や盗難、国交省が指針案 ★2 [えりにゃん★]
- 人口減少で「戦略庁」創設 自民、政府へ来月提言 [首都圏の虎★]
- 政府の内部資料流出か、基幹システムに不正アクセス デジタル庁発表 [♪♪♪★]
- 【速報】織田翔希、メジャー挑戦に暗雲… MLB労使交渉 国際アマ選手契約も凍結へ ロックアウト突入の可能性大でマイナー契約も不可に [冬月記者★]
- 木下優樹菜 仕事関係者に怒り「AI以下な人間」「民度低過ぎて話にならない方 多過ぎませんか?」 [muffin★]
- 【悲報】高市のキモい奇行、ついに世界にバレてしまう。世界の中心で咲き誇るラフレシアに [624898991]
- 10代女性、鉢合わせた泥棒に5時間レイプされる。自称自営業の男(51)「どろぼう目的だったが、わいせつなことがしたくなってしまった」 [566475398]
- ロシア軍、ポーランドをミサイル攻撃 [507895468]
- 🏡👊🥺👊🏡
- アメリカ株激しく逝く、Anthropicもわずか1日で公募割れへww [709039863]
- ホモに犯されたやつってほんとにいるの?