Profile picture of Naoto Nakai

Naoto Nakai

@NuCode

Published: January 30, 2025
3
17
101

MacbookPro M4Max(128GB)で、DeepSeek R1(671b) Dynamic 1.58-bit (DeepSeek-R1-UD-IQ1_S)をllama.cppで、そこそこの速度

./llama-cli --model ./DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf --cache-type-k q4_0 --flash-attn --threads 12 -no-cnv --n-gpu-layers 0 --prio 2 --temp 0.6 --ctx-size 18192 --seed 3407 --prompt "<|User|> マンデルブロ集合のプログラムをPythonで書いてください。<|Assistant|>"

Share this thread

Read on Twitter

View original thread

Navigate thread

1/2