でべろっぷ♪

スクレイピング初心者向けです。netkeiba.com をスクレイピングする機会があって、ちょっと面倒だったのでまとめときます。ポイントはPOSTリクエストとエンコーディングです。GETリクエストとは違い、POSTリクエストはURLだけで情報を取得するわけではないので、裏に隠れてるパラメータをブラウザの開発者ツールを使って探し出さなければいけません。submit()する感じだったらヘッダーに... 続きを読む…

データ集めデータセット構築で最も時間がかかるのがスクレイピングしてデータをダウンロードするところです。サーバー負荷も考えると秒間数十リクエストとかはできません。できればミスをなくして同じデータをもう一度ダウンロードする必要がないようにしたいです。例えば画像をダウンロードするとき、URLのファイル名部分だけを保存したらどうでしょうか？または、そのデータのID部分＋拡張子にしたらどうでしょうか？... 続きを読む…

dotfilesは先頭に.がつくファイルという意味から派生して各種設定ファイルという意味で使われていると思います。サーバーを行ったり来たりしてるとそういうファイルは何回も書くのでどこかに保存しておけばコピーするだけでいいので楽です。管理するとなると当然そこにgitが出てくるわけですが、どうやってその設定ファイルとgitリポジトリの中身を同期させましょう？ コピーが一番単純ですが、毎回コピーす... 続きを読む…

友人にバックアップ環境を書いてくれと言われたので書きます。 概要4TB NASとM-DISCによるバックアップをしています（脳内）。NASは自作PC兼NASのもので、HDD4TB*2のRAID1構成です。NASは普段の閲覧用に使い、M-DISCはNASロスト時の緊急用として取ってあります。 NASだけでは不十分NASはネットワーク上にストレージを置くので複数の端末で共有できたり、自宅の外から... 続きを読む…

深層学習とかの研究では既存のデータセットを使うこともありますが、新規性のあるアプリケーションを作ろうと思うとそれでは物足りない場合が多いです。十分な量と質を持つデータセットを自作するにはデータを持っている企業と直接契約するという手もありますが、個人ではなかなか難しいと思われます。そうなるとウェブスクレイピングするしかなくなってきますが、注意してやらないと訴えられたり逮捕されたりする可能性がな... 続きを読む…

基本的な実行方法は以下の通り 1234567# コマンドで実行$ spim -file hoge.s# インタラクティブに実行$ spim(spim) load "hoge.s" # ダブルクオーテーションは必須(spim) run ブレイクポイント良い例サブルーチンpiyoにブレイクポイントを設定するときにうまく行くソースコード 12345# hoge.s.globl piyopiyo:... 続きを読む…

Linux & Mac思考停止でOK Windows (Docker for Windows)Docker Engine v19.03.8シェルスクリプトの実行shellスクリプトはLFじゃなきゃいけない！！ Gitのcore.autocrlfがtrueになってると、クローンしたシェルスクリプトがCRLFになっているので、Dockerfileを作るときはそこも考えないといけない。tr... 続きを読む…

Ubuntuをメインで使えるようになるソフトを紹介 構成 Ubuntu 20.04 LTS Nvidia GTX 1650 画面録画 Kazam OBS （Nvidia製GPUを使ったNVENCが使えるので高速） ブラウザ Chrome Firefox ターミナル Gnome Terminal SNS Slack Chrome拡張機能版LINE Discord ビューワ系 MCom... 続きを読む…

サーバーを触る者の教養としてマインクラフトのサーバーを立ててみたので気づいたことを書く。以下で言及するマインクラフトのサーバーとは数人程度での運用を仮定する。 (前提)Java版とBedrock版がある記事執筆現在マインクラフトにはWindows、OSX、Linux対応のJava版と、Windows 10、Android、iOS、PS4等に対応したBedrock版が存在する。名前の通り、Ja... 続きを読む…

まえがき私はREPLやJupyterのようなものを使わず、専らファイルを実行してデバッグするのでJuliaのように初回ロードが遅いけど２回目から早いよ！っていう言語ではその恩恵が受けにくい。というかプロットパッケージのロードに10秒くらいかかってメモリも1GiBも使うようでは遅すぎて話にならない。なぜ遅いのかというと、初回ロード時にJIT(Just In Time)コンパイルをしており、巨大... 続きを読む…