19日に更新してた

アフィリエイトはないよ

NovelAI/genji-jp を CPU でなんとか動かした話

日本語の LLM が使えるといいなぁと思ったものの特にやりたいこともないなぁと思っていたら、小説家になろうのデータから作ったのがあると目にしたので使ってみようとやってみた。huggingface.cowin11 Home、i7、32G、GTX1060 6Gでございます。とりあえず、h…

GTX1060 6G にて device_map を少しいじって cyberagent/open-calm-3b を動かしてみた。

win11home、i7、32G、GTX1060 6G 環境です。cyberagent/open-calm-1b をいじっていて cyberagent/open-calm-3b ならおそらく device_map をいじってやったら動くのではないかなとやってみたら動かせたのでせっかくなので書いておこうかと。*1 import torch f…

GTX1060 6G にて cyberagent/open-calm-1b を動かしてみた。

win11、i7、32G、GTX1060 6G を使って jupyter notebook 上で動かしております。とりあえず、バージョンなど import sys import torch print(sys.version) print(torch.__version__) print(torch.cuda.is_available()) print(torch.cuda.get_device_name()) …

python で msedgedriver.exe を edge バージョンに合わせてダウンロードしてくる

chrome でも同じようなのを書いたのですが、ほぼ一緒です。 d:\bin に win64 版の msedgedriver.exe をおいて使う設定です。アプリケーションフォルダにバージョンに合わせたディレクトリが作られ、実行中だと新しいバージョンのディレクトリも作られるため…

python で LINE notify に通知を送る

python で色々やった備忘録的に LINE notify に通知を送っておく用です。 import requests def line(message, url = "https://notify-api.line.me/api/notify", token = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"): headers = {"Authorization" : "Bea…

GTX1060 6G にて FlexGen と text-generation-webui で opt-1.3b を動かした話

最近話題の ChatGPT を超えるとか言われている FlexGen。いろいろと検索してみたら、こちらのサイトで FlexGen の windows でのインストールや使用法について詳しく書かれておりました。economylife.netまぁ、win11、i7、memory 32G、GTX1060 6G ではお話に…

python 3.8 から 3.10 へ乗り換えて selenium でちょっとハマった

python 3.8 を使っていたけれど、そろそろバージョンあげようかなと思っていたところに、AIコスプレとかキャッチーな記事を見て一回やってみるかと 3.10 に。anaconda はライセンスがなんとかとか言っていた気もするので、サクッと消してマイクロソフトスト…

python で xml のエンコードを自動認識にしてたら、utf-8 を windows-1254 と誤認識していた、理由はわからん。

win11 上の python で xml を読み込んで検索してゴニョゴニョしていたら、検索されていないものがある。もともとのデータにはあるのは確認しているので何が原因だと探していったら、表題。*1 import requests import xml.etree.ElementTree as et response =…

agouti が chrome 110.0.5481.77(Official Build) (64 ビット)の headless mode で動かない模様【その後動作しました】

golang で作ったものがある日突然動かない。先週までうまく動いていたから、いろいろ調べてみたら表題でした。*1一応 chromedriver のバージョン。 D:\bin> chromedriver.exe -version ChromeDriver 110.0.5481.77 (65ed616c6e8ee3fe0ad64fe83796c020644d42a…

JSON や XML を golang struct に変換してくれるサイト

年が明けて何かと忙しくて趣味に割く時間が取れないのでお茶を濁すような更新。検索すると一ページ目に出てくるけれど、検索ワードを忘れて面倒なことも多いのでメモ代わりに。JSON を変換してくれるサイト mholt.github.io追加 transform.tools XML を変換…

既存のコードにちょっと手を加えて goroutines を使ってみた。

golang で書いた ffmpeg を使ったダウンローダーを goroutines で並行ダウンロードできるようにしてみました。もともと、ffmpeg のオプションを array に入れて for 文で回していたので、その前に var wg sync.WaitGroup wg.Add(len(array)) と追記、ダウン…

golang 2重? 2次元? 配列とかスライスとか

配列だと package main import "fmt" func main(){ a:=[3][]int{} a[0]=append(a[0],1) fmt.Println(a) } >>[[1] [] []] という感じで、使える部分を零詰めして対応するなら、 package main import "fmt" func main(){ l:=[3][3]int{} l[0][1]=1 fmt.Println…

golang の exec.Command で ffmpeg をやっと動かせた

golang をいじってみようかなと思ってはじめてみたら、とりあえず検索するとやりたいことが割と出てくるのでとても書きやすい。rust みたいに型と所有権で足踏みしてエラーメッセージで四苦八苦しなくていいし、できるようになった感がしてサンデープログラ…

golang で agouti をなんとか入れた

「新しいプログラミング言語を身につけたい」と思いつつ、ちょっと手を付けては放り出してます。どうせプログラマーワナビーだから気分良く書けるかと心が折れないことが大事とばかりにとっかえひっかえしても、公式のオンラインチュートリアルだと金掛から…

python で if elif else を複数書いて処理するのが面倒くさい

組み合わせを検討して関数を実行していくときに、if 文の条件を複数書くのが面倒くさい。単純にフラグが立ったものを実行するのにいい方法はないのかと文法を色々見てみたけれど、書き方が好みのものがありませんでした。仕方がないので、あんまりいい感じで…

pandas.read_csv の ssl エラー

こちらのサイトでビットコインのデータダウンロードが紹介されているのですが、wget でダウンロードして pandas に読み込んでいます。aifx.tech直接 pandas.read_csv で読み込めそうなものですが、なにかがあるのでしょうと jupyter notebook 上で試してみる…

python3.8 で int("1_234") は 1234 だが、int("1,234") はエラー

数字を表記するとき何桁かでアンダーバーを入れると見やすいのですが、format 文で可能な3桁だと桁計算がはかどらないので4桁で入れようとするとテキスト処理することになります。そうなると色々と面倒そうなので、アンダーバーを入れたテキストそのまま数字…

a, b, c = range(3) ってエラーにならないのをはじめて知った。python3.8

「python を使ってみよう」と思いついて、勢いでネットで検索しまくって試行錯誤で python3 を学習してきました。なので、最近になって一応解説本を読んではいるのですが「わかってる、わかってる」で飛ばしまくっているので、ごくごく基本的なことを知らな…

pandas で rolling 使って robust zscore とか

pandas で rolling を使って一定範囲の robust zscore を zscore と、株とか FX とかで出てくるボリンジャーバンドのグラフのロウソク足が線を超えているのを robust zscore を使ってそれっぽくしたの*1と一緒に計算してみると、 import numpy as np import …

win11 wsl2 で使える docker を簡単に入れる方法

結論から言うと、Windows 用の docker が wsl2 に対応しているので Windows 用の docker Desktop をインストールするだけでデフォルト設定のディストリビューションで docker -v が通るようになります。*1ネットである通りに入れてもサービスを動かしてもす…

python int 4桁でアンダーバーが入るように出力する

python で format を使って数値にアンダーバーを入れて整形して出力するとき、3桁だと読みにくかったので4桁のを適当に書きなぐってみた。 num=123456789 def four_digit(num:int,text="_")->str: return "".join([s if i%4!=0 else f"{s}{text}" for i,s in…

Windows 上の python の timestamp

win11 上で jupyter notebook 使っています。 import sys sys.version '3.8.12 (default, Oct 12 2021, 03:01:40) [MSC v.1916 64 bit (AMD64)]' unix time のはじめの方を色々といじってみたところ、 import datetime datetime.datetime(1970, 1, 1, 0, 0, …

ubuntu の ffmpeg

win11 から ffmpeg をつかうのに、コンパイルのオプションを考えなくても使いたいところで動いてくれたという単純な理由で wsl2 を経由しています。これまで ubuntu-20.04 の素の ffmpeg version 4.2.7 を使っておりました。試しに ubuntu-22.04 の素の ffmp…

radiko の県別放送局リストと放送局のエリアリスト

radiko の番組表って取れないのかなと思って検索してみたら、ststarfield.blog.fc2.comこちらのサイトに記載されていました。県単位の放送局リスト、県別番組表、放送局別番組表が取れるみたいですが、放送局の放送範囲がわからないので書いてみました。 imp…

jupyter notebook で易占をできるようにしてみた。

コイン3枚法で作ってみました。解説にリンクが欲しかったので、tankyuu.net 1percent-better.com ekikyo.net ekikyou-dokugaku.comの4サイトさんの爻辞へのリンクを作ってます。こんな感じの表示になります。 import datetime import random import re from …

python でbool 値のリスト を反転させる

ネタが無いので一応書き留めとこうかと。 # a=[1, 0] でも同じ結果が戻ってきます。 a=[True, False] # True, False で戻って欲しいなら [not i for i in a] #[bool(abs(i-1)) for i in a], [bool(i-1) for i in a] >>[False, True] # 0,1 がいいなら [int(n…

rust, reqwest の get でカスタムヘッダーを複数使ってみたりした。

検索すると reqwest のカスタムヘッダーの使い方は割とあるのですが、複数とか get とかはあまり見なかったので。まずは reqwest::blocking::get を使って戻ってきた内容を検索。 // cargo.toml [dependencies] reqwest = { version = "*", features = ["blo…

python の class と dataclass でリストを設定する

python の class と dataclass でリストの処理を試してみました。class import math sin=[round( math.sin(i*(math.pi/4) ), 1) for i in range(20)] class D(): def __init__(self,width,data): self.data1=[i for i in data] self.width=width def data1(s…

windows の anaconda 仮想環境で jupyter notebook を起動するバッチファイル

とりあえず、ワンクリックでできるようにしてみました。仮想環境名はpy37です。 @echo off setlocal set a=C:\Users\%username% set b=\anaconda3\Scripts\activate.bat call %a%%b% cd /D %a% call activate py37 call jupyter-notebook endlocal 適当に名…

無限の猿定理を試してみた。

「時間をしっかりかけてランダムに文字を作り続けることで、どんな文章でも多分作成できる。」というのが無限の猿定理らしいのですが、実際プログラムして動かしてみたらどれくらい時間がかかるのだろうかと試してみました。色々なページですとタイプライタ…