Shunta Saito

こちらのPLaMo翻訳のモデルですが、AppleSiliconなmacをご利用の方は、モデルのmlx版を公開しておりますので以下のコマンドで簡単にローカルで動かすことができます。

モデルは量子化済みで、消費メモリは5.7GB程度です。ぜひお試しください。
#ローカルLLM #MLX #PLaMo翻訳

$ pip install mlx-lm
$ python -m mlx_lm generate \
--model mlx-community/plamo-2-translate \
--extra-eos-token '<|plamo:op|>' \
--prompt '翻訳したいお好きな文章'

plamo2のtokenizerがnumbaを必要とするので、

$ pip install numba

も必要でした。すいません