Profile picture of 金のニワトリ

金のニワトリ

gosrum

Published: January 30, 2025
3
18
124

1.58-bit DeepSeek-R1を128GB M2 Ultraで動かそうと試行錯誤した結果、(理由はわからないが)面白いことに気がついた。 中途半端にGPUを使うと2tpsしか出ないが、いっそCPUだけを使うようにしたら、むしろ推論速度が速くなり、なぜかメモリ使用量も激減。これならもっと大きなモデルもいけるのでは?

Image in tweet by 金のニワトリ
Image in tweet by 金のニワトリ

Share this thread

Read on Twitter

View original thread

Navigate thread

1/1