win11 home、i7、32G、GTX1060 6G で動いたで終わっているのでお目汚しですが、ChatRWKV です。
やり方は以下のサイト様そのままで pytorch、cuda あたりの準備は端折ります。*1
ChatRWKV を
git で落としてきたところに、使うモデルデータ RWKV-4-Pile-3B-Instruct-test1-20230124.pth
を v2 フォルダに入れて v2 フォルダの chat.py の args.strategy を
args.strategy = 'cuda fp16i8'
に、if CHAT_LANG == 'English': のところの args.MODEL_NAME を指定するファイルを右クリックからのパスのコピーをしてペーストした後に、r をつけて
args.MODEL_NAME =r"D:\ChatRWKV\v2\RWKV-4-Pile-3B-Instruct-test1-20230124.pth""
としますが、chat.py とモデルデータが同じフォルダならファイル名だけでもいけます。
で、v2フォルダ内で
python chat.py
と動かすと、英語で動きました。
専門知識は任せてと出るのですが、世界で一番高い山はアメリカにあるエベレストだと教えてくれましたし、世界一長い川はアメリカにあるコロラド川だと教えてくれました。なんでミシシッピ川ですらないんや?
南極一はヴィンソン・マシフとかも教えてくれました、世界一ではないけれど。
CHAT_LANG を Japanese にして、
CHAT_LANG = 'Japanese' # English // Chinese // more to come # Download RWKV models from https://huggingface.co/BlinkDL # Use '/' in model path, instead of '\' # Use convert_model.py to convert a model for a strategy, for faster loading & saves CPU RAM if CHAT_LANG == 'English': args.MODEL_NAME ="RWKV-4-Pile-3B-Instruct-test1-20230124.pth" # args.MODEL_NAME = '/fsx/BlinkDL/HF-MODEL/rwkv-4-raven/RWKV-4-Raven-7B-v10-Eng99%-Other1%-20230418-ctx8192' # args.MODEL_NAME = '/fsx/BlinkDL/HF-MODEL/rwkv-4-pile-14b/RWKV-4-Pile-14B-20230313-ctx8192-test1050' elif CHAT_LANG == 'Chinese': # Raven系列可以对话和 +i 问答。Novel系列是小说模型，请只用 +gen 指令续写。 args.MODEL_NAME = '/fsx/BlinkDL/HF-MODEL/rwkv-4-raven/RWKV-4-Raven-7B-v9x-Eng49%-Chn50%-Other1%-20230418-ctx4096' # args.MODEL_NAME = '/fsx/BlinkDL/HF-MODEL/rwkv-4-novel/RWKV-4-Novel-7B-v1-ChnEng-20230409-ctx4096' elif CHAT_LANG == 'Japanese': args.MODEL_NAME = "RWKV-4-Pile-3B-Instruct-test1-20230124.pth"
にすると、日本語になりますが、例によって日本語は訳わかりません。
English でやり取りをした時のタスクマネージャーのパフォーマンスを上げときますね。
*1:その後も同じなのですが
