>>684
RTX5070Ti(16GB)でGemma3-12B-ITが使えた
MoEの事は良く分からないけどGemma4-26B-A4B (MoE)はロードが出来ませんね

このスレの要約をやらせると
Gemma3-12B-ITはモデルロード込みで
7秒でイニシャルトークン出力
トータル15秒で完了(「続きを生成」ボタンが表示されるまで)

ロード後は、イニシャルトークン2~3秒でトータル9秒

Qwen3-14Bも同じくらいのスピードで動くのですが画像のようになって文字化けしてます
https://i.imgur.com/PoBn2Ra.png

(Gemma3-12B-ITは文字化けしてません)
https://i.imgur.com/AZ8XX6H.png