@_kaiinui
Rikka CEO とても小さなゲームスタジオをやってます ← ピックアップ社共同創業、DMMへM&A
3090/4090のAI性能がかなり向上するパッチがpytorchに入るらしい LLM推論タスクでは4090で+40%ほどになるみたい。 いままで16fp精度の行列計算が32fpのGEMMで実装されており、特に民生GPUでは32fpは16fpの半分程度の性能となっていたため。...
