Naoto Nakai
@NuCode
Published: January 30, 2025
3
17
101
1/2
08:04 AMMacbookPro M4Max（128GB）で、DeepSeek R1(671b) Dynamic 1.58-bit （DeepSeek-R1-UD-IQ1_S）をllama.cppで、そこそこの速度
2/2Continued
08:06 AM./llama-cli --model ./DeepSeek-R1-UD-IQ1_S-00001-of-00003.gguf --cache-type-k q4_0 --flash-attn --threads 12 -no-cnv --n-gpu-layers 0 --prio 2 --temp 0.6 --ctx-size 18192 --seed 3407 --prompt "<｜User｜> マンデルブロ集合のプログラムをPythonで書いてください。<｜Assistant｜>"