19日に更新してた

アフィリエイトはないよ

GTX1060 6G で rinna/japanese-gpt-1b を動かしてみて遊んだ話

そもそもどういうふうに動いているのかもよくわかっていないのに、大規模言語モデルいろいろ動作試験?してみて、GPU の 専用メモリー (以下 vram)に乗らないとまともに動かないっぽいことだけは学習したので、乗りそうな日本語のものということで rinna/japanese-gpt-1b を動かしてみました。

huggingface.co

にあるのをそのままコピペして jupyter-notebook 上で実行したら、pytorch や cuda は有り物で動いたのでそのまま。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("rinna/japanese-gpt-1b", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt-1b")

if torch.cuda.is_available():
    model = model.to("cuda")

text = "西田幾多郎は、"
token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_length=100,
        min_length=100,
        do_sample=True,
        top_k=500,
        top_p=0.95,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id,
        bad_words_ids=[[tokenizer.unk_token_id]]
    )

output = tokenizer.decode(output_ids.tolist()[0])
print(output)  
# sample output: 西田幾多郎は、その主著の「善の研究」などで、人間の内面に自然とその根源があると指摘し、その根源的な性格は、この西田哲学を象徴しているとして、カントの「純粋理性批判」と「判断力批判」を対比して捉えます。それは、「人が理性的存在であるかぎりにおいて、人はその当人に固有な道徳的に自覚された善悪の基準を持っている」とするもので、この理性的な善悪の観念を否定するのがカントの

で、単純に vram に言語モデルを読み込ませると 5G ほど使います。token_ids も vram に乗せるようなの、"西田幾太郎" で何ワードくらいなら行けるのか試行錯誤してみたところ、max_length と min_length を641まではなんとかなりましたが、642にするとメモリーが足りなくて落ちました。

余裕を持って動かすならば、620-630ワードくらいまででしょうか。

どういう仕組みになっているのか output_ids のタイプを見てみたら

type(output_ids)
>>> torch.Tensor

なので、配列のそれぞれに単語などが割り当てられてるのではと思い、

print(tokenizer.decode(10))
>>> して

for i in range(30):
    print(i,tokenizer.decode(i))
>>> 0 [CLS]
>>> 1 [UNK]
>>> 2 <s>
>>> 3 </s>
>>> 4 [PAD]
>>> 5 [SEP]
>>> 6 [MASK]
>>> 7 てい
>>> 8 した
>>> 9 ます
>>> 10 して
>>> 11 こと
>>> 12 する
>>> 13 った
>>> 14 ている
>>> 15 ない
>>> 16 です
>>> 17 って
>>> 18 から
>>> 19 され
>>> 20 ある
>>> 21 20
>>> 22 よう
>>> 23 とい
>>> 24 では
>>> 25 19
>>> 26 にな
>>> 27 ました
>>> 28 という
>>> 29 あり

N-gramっぽい感じになっております。

len(tokenizer)
>>> 44876

と出てくるので、ランダムで番号突っ込んで生成させ、主語になりそうな単語が出てきたら、それを入力して適当にやってみました。一応落ちない程度で、読み応えがある程度の文章量で 400 ~ 600 ワードにしています。

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
import random

tokenizer = AutoTokenizer.from_pretrained("rinna/japanese-gpt-1b", use_fast=False)
model = AutoModelForCausalLM.from_pretrained("rinna/japanese-gpt-1b").cuda()

myseed=random.randrange(0,44876,1)
text = tokenizer.decode(myseed)

token_ids = tokenizer.encode(text, add_special_tokens=False, return_tensors="pt")

with torch.no_grad():
    output_ids = model.generate(
        token_ids.to(model.device),
        max_length=600,
        min_length=400,
        do_sample=True,
        top_k=500,
        top_p=0.95,
        pad_token_id=tokenizer.pad_token_id,
        bos_token_id=tokenizer.bos_token_id,
        eos_token_id=tokenizer.eos_token_id,
        bad_words_ids=[[tokenizer.unk_token_id]]
    )

output = tokenizer.decode(output_ids.tolist()[0])

# eos_token 表示でいらないので削除
if r"</s>" in output:
    output=output[:-4]
print(myseed,tokenizer.decode(myseed))
print(output)  

で、出てきたのをいくつか。

31970 売り切れ
売り切れの節はゴーズで代わりに購入。ちゃんと他も買いました!このメーカー!実は以前まで買ってたメーカーの在庫がなくなってしまってたので!気になっていた商品の購入を決断!商品ですが!まず!本当に注文してすぐに到着しました!迅速な対応は素晴らしいです!お値段...以前のレビューにサイズが・・・って書かれててドキドキしましたが!私は9号で特に問題なく購入できました!商品はめちゃめちゃ小さいです!かなり可愛いです!このお値段でちゃんとしています!夏に使って!その後来夏まで持ってくれればいいのですが!デザインはめちゃめちゃ可愛いです!履きやすく!丁度良いです!かなりタイトでシルエットがすごく綺麗で!丈も程よくあり!かなりオススメです!もうこれしかないです!とっても良かったです!サイズはレビューを見て!9号を購入しました!丈も短めだし!形も本当に綺麗で!さらに着用していて窮屈な感じは全くしません!素材も凄くサラサラで着心地が良くて!めっちゃいいです!凄くいい感じなので色違いも欲しいなって思ってます!丈もそんなに気にはならないし!このお値段でこのクオリティは素晴らしいと思います!安くて可愛くていい感じだからとってもオススメです!これ本当買って良かった!リピ決定です!あ!商品自体はとてもよかったです!オススメします!普段23.5センチ!スニーカーが26.5センチですが!レビューを参考にLサイズを購入。身長162cmで!くるぶしちょい上ぐらいです。レビュー通り薄かったです。レースも薄手でした。ただ!ちょっと!丈が短いなと思ったので-★1つです。また色違いでリピートしたいと思います。ワンサイズ上げました。ストレッチもきいているので履きやすいです!167センチ50キロでMを購入しました。最初は少し緩く感じましたが!何度か洗濯しながら馴染んでくると思います。レビューを参考にLサイズを購入しました。可愛いかったです(*^^*)薄いレースなので少し寒そうですが!普段使いには十分です!身長166センチ 痩せ型でSサイズ購入しました。少しゆったりしたい方は1サイズ小さめでもよいかも!身長160cmですが裾が思いのほか短めだったのでLサイズで良かったかも!履き心地は抜群で質感も良く満足です(*^^*)安っぽくもなく履き心地も良かったです!レビュー見てLで少し余裕があったのでMも買おうかなと検討中。スニーカーをはいて外出したい時に重宝しそう。かなりオススメです。色違いを買おうと思ってます。届いて!思ったより質感が残念だったのが少し残念でしたが,値段のことを考えれば十分です。24.5cmしかなかったのでどうしようかと心配していたのですが!普段24.5cmの足が入りました。。
6116 ランティア
ランティアグループ、プロサーサー、海外、業界人、障害者、同世代、年上、年上相手、ハイステータス、帰国子女、社会的地位が高い、趣味や自己啓発、読書、ネットサーフィンなどが当てはまります。色々な方がいて、色々なボランティアがあります。また、ボランティアと一口に言っても、高齢者の付き添いから外国人のお手伝いなど仕事のスタイルがさまざまで、目的も社会貢献、身上監護、生涯学習、地域社会の活性化から地域福祉、地域の見守りなど様々です。自分にあったボランティアを探してみましょう。旅行や帰省の際に同じボランティア活動をされている方と知り合うのも良いと思います。そして、同じ趣味や価値観が共通している人と友達になるのも良いでしょう。その際は、コミュニケーションをたくさん取りましょう。その姿勢があるだけでも、信頼関係が生まれます。お年寄りや子供に優しく丁寧な接し方をすれば、それが良い評価になります。お金はもちろん大事ですが、ボランティアをされる方々にとって、時間と労力を負担してくれるお手伝いをするひとが大事です。それはお金以上に大事なことです。介護施設でボランティアをされている方々の記事をいくつか拝見しましたが、みんな笑顔でこの活動ができるのです。心がきれいになるのです。笑顔でいると、ひとの表情も自然と明るくなります。その結果、介護施設や病院が活性化されます。その為のお金が必要です。ボランティアは心の病の方にとても良いといわれています。ボランティア活動に励む皆様にはぜひ、心にも体力にも余裕を持ってほしいです。自分を必要としてくれるひとがいると、心の病にもよい影響があります。介護も心の病気も経験しましたが、全て忘れて今を楽しむという選択肢があることを思い出させてくれました。これは他のボランティアのプロジェクトでご一緒させていただいた方が、ご自身が経験したことを最後に語ってくださいました。そのプロジェクトによって人生の選択肢の幅や可能性が広がります。そして、ボランティアでの経験はその選択をするための心の活力になると思います。私もいつかボランティアをするお手伝いができればと思っています。そして、このお話は実際にボランティアをされた方にしか伝えれないと思いますので、ボランティア活動ができることを心から感謝しました。何か相談がありましたら、いつでもウェルネスのことを思い出してください。お待ちしております。ありがとうございました。これからも素敵な時間を皆様と共に過ごせるよう努めてまいります。
23350 退学
退学届を出して、普通に制服も返したのだ。 退学届の受付け番号もその日しか作られなかった。 だから俺達は制服を返却する日も決めずに来た。 この事実が発覚した時、誰も俺の気持ちを汲めなかった。 卒業式を終えると、俺達は昼過ぎから夕方まで校内を回った。 至る所に張り紙があった。 既卒者の為の特別募集。 あの悪夢が嘘みたいだ。 聞けば、毎年その募集をしているそうな。 俺の心ない言葉は全部、傷になって残っている。 あの時の気持ちを後悔するしかない。 卒業式を終え、中庭に出た瞬間、一晩中考えていた感情が喉から出てきた。 諦めややるせなさ、そして何よりあいつを忘れるための、解放感があった。 俺達の担任は卒業式が終わるのを待ちきれず、その場で辞表を提出しに行ったのだ。 するとそれを阻止する教師達が。 担任はその教師達の話し合いにも加わり、一転して担任は謝られた。 その教師には同情心しかなかった。 けど、それから全てが変わった。 卒業式を終えた後、俺は進路を決定し、もう俺達のクラスには居なかった。 俺は高校卒業と同時に東京の専門学校に進んだ。 そして今度は俺の周りで起きた変化が、さらに俺を追い詰めていく。 ―― 俺の想い? そんなものを一度も目にしたことのない姉が、突然俺に告白してきたのだ。 正直俺は呆れた。 勘弁してくれ。 断ることも考えた。 しかしあいつの言葉を思い出す度に、諦められない想いが日増しに強くなっていく。 だから俺は、姉が告げた告白を受け入れた。 ―― 姉の再来かな。 変な予感がする。 これは姉からの手紙だよ。 俺に最後の中学校生活を送らせてくれて、本当に感謝している。 頑張ってね。 俺の言葉がきっかけなのか? 俺は後悔が抑えられなくなり、ある行動に打って出る。 俺の胸にぽっかりと穴が開く。 こんなことに俺の心が耐えられれる訳がない。 俺は我慢しきれず、全てを打ち明けた。 何も言ってくれない姉を恨んだ。 けど姉は言ったのだ。 “私にお姉ちゃんがいるのも、お母さんが居ないことも全部嘘。” 嘘だと思わなかった。 俺には姉が居るから、お母さんも居ないはずだと思っていた。 姉がいて姉のお母さんだと言うなんて、冗談でもありえないことだと思った。 姉との再会は嬉しくて嬉しくて、号泣してしまった。 ずっと我慢していたものが、一気に噴出したようだ。 けど、泣くのは俺だけで、みんなが笑ってくれた。 姉はいつまでも照れてくれていたけど、すごく傷ついていて、何も聞いてくれなかった。 けど、俺にはわかるんだ。 こいつの為に笑っている姉を。 “この子のお母さんは、生きてるんだ。” 何も言わなくても、俺の気持ちが痛いほどわかる。 そこで俺は覚悟を決めた。 姉への愛を貫くことにした。 姉の、そしてこの家族への想い、幸せを願うこと。 それが俺の戦いだと思った。 俺はもう学校へは来なくなった。 けどあいつとはよく遊んだ。 近くに行っても何もせず
32490 ブラジル
ブラジル、韓国、ブラジルなど、海外に住んでいた時に体験したお話も掲載しています。英語のことわざや文学作品に触れたり、楽しみながら読み進めるうちに、英語の語彙力、文法が身に付くほか、生きた表現に触れる事で生きた英語を身に付けることが出来ます。また、読み終えた後は、英語の世界を広げたり、子供と仲良くなるチャンスになります。ぜひ英和辞典・和英辞典に頼らずに英作にチャレンジしてみましょう!言葉の奥深さや楽しさを改めて感じることが出来ますよ。子供と本の読みきかせをしたり、親子で一緒に本を読んでみてください。きっと素敵な時間になります。是非、一緒に英語の本にチャレンジしてみましょう!英語の本・洋書でおすすめの英語の絵本をご紹介♪英語の本のおすすめは、ストーリーを楽しむもよし、絵を楽しむのもよし。言葉だけでなく、自然と絵を味わうこともできるので大人の方、子供にもおすすめの本がたくさんあります。おすすめの英語の本の選び方や、英語の本を使ったおすすめの英語の読みきかせのやり方をご紹介しています。英語の本の読み聞かせのやり方は様々。是非、参考にしてみてくださいね。ぜひ、一緒に英語で本を楽しんでみましょう!子供の英語の読み聞かせは、毎日コツコツ楽しく英語に触れておくことはとても大切なことです。ちょっと空いた時間に、絵本を楽しく読んだりするだけでもかまいません。毎日英語に触れていくことで、英語も自然に身についていきますよ。是非、空いた時間を見つけて英語の本を読んでみてくださいね! また、海外在住でなかなか日本語の本を読めない方、英語の本に抵抗がある方も、英語の本を読んでみることで、英語が身につくだけでなく、世界の絵本が読めるので、色々な国の方とも仲良くなれそうです♪ どれも初心者でも読みやすい絵本なので、英語の本を読むきっかけになるかと思います。お子様と一緒に、英語の絵本を読んでみましょう!今回は、英語のおすすめの読みきかせの人気絵本をご紹介していきます。ぜひ、一緒に英語を読んでみましょう!海外在住の方必見!子供におすすめの人気のおすすめ絵本をご紹介海外在住の方必見!子供におすすめの人気のおすすめ絵本をご紹介しています。読みきかせは、きっとお子様の感性を豊かにし、想像力を広げたり、色々なものに興味を持ち、興味を持ってくれます。少しの時間で良いので、英語に親しむ機会をつくってみましょう。本のおすすめはもちろん、おすすめの読み方などもご紹介しています。子供に読み聞かせる1冊の参考になるので、ぜひ、参考にしてみてくださいね。英語の本のおすすめの英語の本は?英語の本のおすすめの読みきかせの人気絵本をご紹介★子供におすすめの人気英語の本は、ストーリーの読みきかせや、図鑑・絵本・工作の本など、各ジャンルでおすすめの英語の本をご紹介します。イラストや写真を引用して読みきかせをしたり、工夫してみると子供に伝わりやすいかと思います。 ぜひ、読んでみてくださいね! 英語の本でおすすめの人気英語の本は、ストーリーの読みきかせや、図鑑・絵本・工作の本など、各ジャンルでおすすめの英語の本をご紹介します。イラストや写真を引用して読みきかせをしたり、工夫してみると子供に伝わりやすいかと思います。 どれもわかりやすい内容で、子供はもちろん大人も夢中になって楽しめそうです!ぜひ、お子様に英語の絵本を読ませてみて下さいね♪英語の本の人気ランキング2019年はコレ!!【2019年】子供

ブログとか通販サイトも学習ファイルに入っているのか、続きを読むとか通販の煽り文句とかも結構出てくるので、海外のよくわからん日本語コピペサイトっぽいのがとてもおもしろい。

ちなみに、"いつまで寝てるの、お兄ちゃん" と入れると…

いつまで寝てるの、お兄ちゃん。私だって起きないと......! 昨日は弟くんを連れてお風呂入ってたでしょ? お風呂あがりに、風邪移したら恥ずかしいじゃない! もーっ、私、弟くんのおちんちん舐めるの気持ちよくて......はあぁ、すっごく熱くなっちゃう......!...あ、......え? 熱い、のどが痛い!......ん? それ、舌のせい? ふふふっ、全然気にしないでね。本当はもう起きてないといけない時間なんだけど......2人とも今日はおやすみなさいね。いってきまーす! ふふっ、このへんはとてもあたたかくって、昼間なのにお月さまがとってもきれいだよ。ああ......なんか、疲れた〜。お兄ちゃんと弟くん、お風呂いこうね。では、またね。◆今日の名台詞◆あんたたちには、解らないのよ。人の痛みが、あたしの痛みの10倍も100倍も重いことが......お兄ちゃん......あなた、早く病院に行ってね。あ、これ? 病院に行かなくちゃ。な、何をするのよ!?お兄ちゃん、な、なんで......!?お、いいもん! ちゃーんと寝てるんだもん、ちょっとはおにいちゃんが寂しくなんか......ないもん!お兄ちゃん? おにいちゃんは起きないの?お兄ちゃんの部屋、覗いて来たの、変な子が誰もいないかなって......? お兄ちゃんは何もなかったの? おにいちゃんは元気でいた? お兄ちゃん、いつまでも熱あるの?......で、その、風邪か、どうなの? お兄ちゃん、どうしてこんなにお熱があるのかしら? お兄ちゃん......早く病院に行ってね。お兄ちゃん!早くお医者さんに行ってね!!い、いや......! はわわっ、私! お医者さんなんて嫌いじゃないのよ!? そう! 行ってきまーすっ!! やっと涼しい秋がやって来たわね、お兄ちゃん......ほら、運動会のお弁当、とっても美味しかったわよ。え? お兄ちゃんは? 何も作ってくれないの? ほら......運動会まであと3日、今日のお昼どうする? で、えっと......お兄ちゃん、ご飯は? お兄ちゃん、あれ? 今日は運動会じゃないの? は、はい、運動会、行きましたよ。お兄ちゃん、次は何をやるの?兄ちゃんは?あ、おにいちゃん!お弁当、まだ残ってた?あっ、うん。よかった。ありがとう。いや、いいんだ。うん、うれしい。うん、ありがとう。きっとお兄ちゃん、お父さんと何かあったのよ。って、お母さん? 大丈夫ですか、お姉ちゃん。お母さんのところはどう?ねえねえ、お父さん、どうして?父さんのところ、行った? え......えええ!? え、なに、お父さんのこと......!? 私、もう子供じゃないんです。私は......父さんを取り戻します。父さんは私を守ってくれるでしょう。じゃないと、私が奪います! だから......!...えーっ!? あんなに寂しい眼で、お父さんを見つめる事、ありますか!? いっ、いや、もう何て言ったらいいのか......お母さんが

"婚約は破棄する" だと…

婚約は破棄するわ、結婚は破棄するわ、別れたいのに別れれない状況だし、挙句に子供まで作ってしまうし。かなり破天荒で、常識なんてひとかけらもなかったでしょ?その上、プライドだけは異常に高いし、人の悩みなんてちっとも考えないんですもの。そんで、最後には、主人公から慰謝料を請求されたりして。クズ中のクズだよ。救いようがないんだよなぁ。まともな人だったら、主人公の前に絶対に現れるな!と言いたくなってしまうだろう。こんな人のどこがいいんだ?って言いたくなってしまうと思う。そりゃぁ、この主人公は人のためになることなんぞ何一つしてないけど、人の不幸には大いに関心はあるみたい。人の幸せなんて考えもしないしな。自分が苦しいのはもちろん、人の幸せさえも羨ましくて、人の幸せをおとしめてばかりいた。そんな人間が主人公と付き合ったあげく、結局捨てられちゃったものだから、相当悔しかったんだと思う。可哀想に......。まぁ、そんな風に自己中心的で、破滅的な生き方しかできないなんて、同情の余地はないけど。ここまで見事な「反逆」ができる人間はそうはいないだろうな、って思う。それに加えて、主人公には婚約者がいるものだから、プライドが高く、素直になれなかった彼が、ついにそんな相手を自分の側へと引き寄せることが出来るわけですよ。相手の気持ちなんか、どうでもいいじゃん!って思えるほどのプライドの高さを持っていた主人公が、相手の気持ちとか、異性に対する気持ちには、かなり鈍感なところがあるおかげで、自然と相手の立場になって考えだしているし、最初は相当腹立たしかったけど、徐々に心を許していくんです。それを全て、主人公自身にぶつけていたでしょ?見事だなぁ、って思う。まぁ、そんな主人公を気持ち悪く思った人もいると思う。しかし、私的には、この作品の中では、最も主人公が人間味があるヤツだと思うんだ。まぁ、あんなにプライドが高くて、人を思いやる気持ちの欠片もなかったヤツが、自己犠牲に走ろうとするんだから、腹立たしいのもわかるし、どうしようもないんだけどね。だけど、それでも、心の底ではずっと主人公のことを思いやり、応援しているんですね。そんな主人公が、いざ自分の気持ちに素直になってしまえば、腹立たしいことに、ああ、こんな主人公だから愛してしまっていたんだなぁ、って思えちゃうんだから、やっぱり人間の心理って不思議なものだなぁ、ってつくづく思うよね。ホント、人間ってさ、不思議だなぁ。また、婚約者がいるからこそ、お互いに離れられなかったり、理解するっていうのの難しさに直面したり、そして、もっと深い愛を知ったような気になって満たされた気分になったり......。それが原因で、また破滅に向かっちゃうのもすごいよ。主人公は、それが原因で破滅したんだよ。憎しみをぶつけたり、恨みつらみをぶつけ合ったり、お互いがお互いを罵り合ったり、とにかく、ドロドロとしたものを最後まで突っ走っていた物語だったような気がするなぁ。しかし、それだけに、最後の三島のシーンは、インパクトが強かったわ。なんとも、さわやかな「白い朝」っていうのは、ちょっとありえないかなぁ、って思ってしまったけど、主人公と三島さんが出会った時のシーンはすごくよかったなぁ。何も不満点はないというか

どれも毒電波って感じでクラクラする感じがとても楽しいですが、摂取量にはご注意を。