Published: April 19, 2025
1
17
77
gemma3 12b QATモデルを日本語重視で量子化した版をアップロードしました 動画はQ4_K_L.gguf(ファイルサイズ 7.54 GB)をAMD Ryzen 9 7940HS搭載ミニPC上でVulkanサポートで動かした状態 この小サイズでこの品質のモデルがNvidia GPUなしでこの速度で動くのはちょっと感動です 画像化はFanFicです
少し前にgoogleがgemma 3にQuantization Aware Training(QAT:量子化を意識したトレーニング)を適用したモデルを量子化して公開してくれたのですが、Q4_0のみで公開後に変更もありました 今回、QATのみの非量子化モデルが公開されたので量子化を私の方で実行したのが下記です https://huggingface.co/dahara1...