win11、i7、32G、GTX1060 6G を使って jupyter notebook 上で動かしております。
とりあえず、バージョンなど
import sys import torch print(sys.version) print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name()) >>> 3.10.11 (tags/v3.10.11:7d4cc5a, Apr 5 2023, 00:38:17) [MSC v.1929 64 bit (AMD64)] >>> 2.0.0+cu117 >>> True >>> NVIDIA GeForce GTX 1060
ここから辿ってファイルサイズをそれぞれ確認していったのですが、cyberagent/open-calm-1b まではメモリに乗りそうで乗りましたが、cyberagent/open-calm-3b は無理そうで実際そのままでは無理でした。
のページにあるのをそのままコピペすると
TypeError: dispatch_model() got an unexpected keyword argument 'offload_index'
と出て動きませんのでちょいといじりまして、
import torch from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("cyberagent/open-calm-1b", low_cpu_mem_usage= True , torch_dtype=torch.float16).cuda() tokenizer = AutoTokenizer.from_pretrained("cyberagent/open-calm-1b") inputs = tokenizer("AIによって私達の暮らしは、", return_tensors="pt").to(model.device) with torch.no_grad(): tokens = model.generate( **inputs, max_new_tokens=64, do_sample=True, temperature=0.7, pad_token_id=tokenizer.pad_token_id, ) output = tokenizer.decode(tokens[0], skip_special_tokens=True) print(output)
ですと、
AIによって私達の暮らしは、AIに支配されてしまうのではないかと危惧される。 その考えは決して杞憂に終わることはないだろう。 AIが人間の労働を代替する時代が来れば、あらゆる産業分野が衰退し、経済活動そのものが崩壊してしまうのは目に見えている。 だが、AIがいくら発達しても、AIによって完全に人間の仕事が代替
と出てまいりました。
"鍛冶職人の朝は早い" と入れたら、本当にありそうな実在しない?住所*1や営業時間、実際にかかりそうな電話番号が出てきたり、"パン職人の朝は早い" と入れたら"バリニーズエステの資格を持っている"とか出てきて、バリニーズエステの解説になっていたり色々と面白い。
しかし、max_new_tokens を増やしすぎるとあまり面白くないので、100文字くらいが一番意味が通りそうで通らない感じの読み応えがある感じ。
"サイバーエージェントの社屋は不夜城だ。" と入れて100文字くらいにして動かしてみた感じ。
サイバーエージェントの社屋は不夜城だ。 オフィスエントランスから階段を上がった2階が、社員の休憩や打ち合わせなどに使われるフリースペースになっている。 フリースペースから階段を上がって3階に入ると、今度は「MAKE YOUR OWN WORK」というテーマの下、社内外でデザイン活動をするクリエイターたちのためのワークスペースとなっている。 このフリースペースでは、クリエイターやデザイナーに、さまざまな仕事ができる環境を用意している。 まず、エントランスには、同社の社員証のような「G-SHOCK」のペイントがされた