>>479
量子化ライブラリ自体がLLMではない、というのは当たり前。誰もそんな話はしていない。問題はLLMのメモリ消費を語るとき、重みを何ビットで保持するかが必要メモリを直接左右するという点。70Bをfp16で持てば約140GBだが、Q8なら約70GB、Q4なら約35GBになる。これは「ライブラリ最適化だから関係ない」では済まない。実際に必要メモリが変わるから
しかも自分で「メモリ量の話で倍精度、単精度、Q8、Q4は根幹」と言っているなら、量子化はまさに根幹。なのに「量子化の話をするつもりはないがLLMのメモリ消費の話をしている」は矛盾している
それとMoEはオフロード技術ではない。複数の専門家の一部だけをトークンごとに使う疎なモデル構造で、総容量を増やしつつ実行時の計算量を抑えるための設計。オフロードとは別の話
M4以降のMac mini 総合 Part10
■ このスレッドは過去ログ倉庫に格納されています
481名称未設定
2026/05/11(月) 13:22:24.77ID:fWMKkQg60■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 「最低限の礼儀もなく、本当に失礼」 高市首相の待遇に「格差」 ★2 [蚤の市★]
- 高速道路でも「ゴミ箱撤去」が加速 SA・PA全国280か所で廃止へ “トイレだけ”のエリアで [♪♪♪★]
- 「高齢者はテレ東の『年忘れにっぽんの歌』で十分?」「紅白から演歌歌手が消える時代」年末音楽番組の世代間ギャップに意見 [征夷大将軍★]
- 【芸能】広末涼子、ストーカー騒動で警察に相談 見知らぬアジア系の外国人男性が都内の自宅に押しかけ、インターホンを連打の危機一髪 [Ailuropoda melanoleuca★]
- 【侵入】埼玉で何者かが住宅に入る…住人が就寝中に 窓ガラスが割られ、現金など消える 同地域では他にも被害 県警が注意呼びかけ [♪♪♪★]
- 【訃報】歌手・太田裕美さんが死去、71歳 「木綿のハンカチーフ」などヒット多数 ★3 [ぐれ★]
- (´・ω・`)おはよ
- ○んこ←賢いお前らなら下ネタ以外が浮かぶはず
- 【悲報】タワマン価格大暴落!!!「今買えば倍になるって言ったじゃん!返して!俺の人生返してよぉおおおお!!!」 [732289945]
- 今年はどんぐり豊作でワロタ
- ぺたんこおっぱいさん、4回の脂肪豊胸でJカップ爆乳おっぱいさんになったおっぱいさんのおっぱい [882118878]
- au「現代にINFOBAR復活!」俺「うおおおお!!!」バカau「通話とSMSのみ!32,780円!」←は???