>>464
「モデルの違いでメモリ消費に有意な差はない」と主張しているが、ここが根本的に間違っている
量子化の話が完全に抜け落ちている。70Bモデルを16ビットで保持すれば重みだけで約140ギガバイト必要という計算は正しいが、それは16ビットで保持するという前提にすぎない。現実の大規模言語モデル推論では、8ビットや4ビットに量子化することで、同じ70Bでも重みメモリを概算で約70ギガバイト、約35ギガバイト程度まで削減できる。これは「有意義な差がない」どころか、重みメモリだけで2倍から4倍程度の差が出るということだ
さらに、量子化で減るのは反復数ではなく、重みの表現に必要なビット数である。したがって「メモリを減らすなら反復を減らすしかない」という説明も成り立たない
皮肉なことに、君の主張は「相手は基本すら知らない」「用語を出して頓珍漢」と相手を強く批判している一方で、量子化という現代の大規模言語モデル運用における基本的かつ重要な概念が抜け落ちている。その時点で、メモリ消費についての議論としては致命的に不完全である
M4以降のMac mini 総合 Part10
■ このスレッドは過去ログ倉庫に格納されています
474名称未設定
2026/05/11(月) 12:21:34.22ID:fWMKkQg60■ このスレッドは過去ログ倉庫に格納されています
ニュース
- 「最低限の礼儀もなく、本当に失礼」 高市首相の待遇に「格差」 ★2 [蚤の市★]
- 高速道路でも「ゴミ箱撤去」が加速 SA・PA全国280か所で廃止へ “トイレだけ”のエリアで [♪♪♪★]
- 「高齢者はテレ東の『年忘れにっぽんの歌』で十分?」「紅白から演歌歌手が消える時代」年末音楽番組の世代間ギャップに意見 [征夷大将軍★]
- 【芸能】広末涼子、ストーカー騒動で警察に相談 見知らぬアジア系の外国人男性が都内の自宅に押しかけ、インターホンを連打の危機一髪 [Ailuropoda melanoleuca★]
- 【侵入】埼玉で何者かが住宅に入る…住人が就寝中に 窓ガラスが割られ、現金など消える 同地域では他にも被害 県警が注意呼びかけ [♪♪♪★]
- 【訃報】歌手・太田裕美さんが死去、71歳 「木綿のハンカチーフ」などヒット多数 ★3 [ぐれ★]
- (´・ω・`)おはよ
- ○んこ←賢いお前らなら下ネタ以外が浮かぶはず
- 【悲報】タワマン価格大暴落!!!「今買えば倍になるって言ったじゃん!返して!俺の人生返してよぉおおおお!!!」 [732289945]
- 今年はどんぐり豊作でワロタ
- ぺたんこおっぱいさん、4回の脂肪豊胸でJカップ爆乳おっぱいさんになったおっぱいさんのおっぱい [882118878]
- au「現代にINFOBAR復活!」俺「うおおおお!!!」バカau「通話とSMSのみ!32,780円!」←は???