Naoto Nakai
@NuCode
Published: January 30, 2025
3
17
101
MacbookPro M4Max（128GB）で、DeepSeek R1(671b) Dynamic 1.58-bit （DeepSeek-R1-UD-IQ1_S）をllama.cppで、そこそこの速度
./llama-cli --model ./DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf --cache-type-k q4_0 --flash-attn --threads 12 -no-cnv --n-gpu-layers 0 --prio 2 --temp 0.6 --ctx-size 18192 --seed 3407 --prompt "<｜User｜> マンデルブロ集合のプログラムをPythonで書いてください。<｜Assistant｜>"