でべろっぷ♪

環境大学内で毎回プロキシを設定するのが面倒なのでConohaのVPSでVPNを建てようと思います。作業は一般家庭の回線から行っています。 セキュリティの一環としてVPNを自分で立てるのも有効です。HTTPS接続であってもISPには接続先が分かるので、 サーバー (VPS) ArchLinux OpenVPN 2.4.9 easyrsa 3.0.8 クライアント Ubuntu 20.04 L... 続きを読む…

結論たとえば、こんなci.ymlだったとき、実行されるジョブはmatrix下のそれぞれのリストの直積となります。つまり、(ubuntu-latest, 3.7), (ubuntu-latest, 3.8), (ubuntu-latest, 3.9), (macos-latest, 3.8)… 12345678jobs: <job_id>: strategy: m... 続きを読む…

バージョン Firefox 81.0 geckodriver 0.27.0 Firefox関係のディレクトリの種類プロファイルディレクトリ Linux ~/.mozilla/firefox/xxxxxx.default-release/ OSX ~/Library/Application\ Support/Firefox/Profiles/xxxxxx.default-release/ W... 続きを読む…

Pythonパッケージの配布方法いろいろPythonソースコードでないプログラムを配布しようとするとき、主に次の二つの方法があります。 sdist bdist sdistはソースディストリビューションの略でソースコード状態での配布を、bdistはバイナリディストリビューションの略でバイナリの配布を意味します。bdistの中にも種類があり、wheel形式の配布物を作るときbdist_whe... 続きを読む…

HLSとはHLS(HTTP Live Streaming)とはAppleが開発したストリーミング動画配信プロトコルで大抵のブラウザが対応しています。一つの動画を複数のセグメントに分割し.tsファイル（セグメントファイル）として保存、そのリストを.m3u8ファイル（インデックスファイル）に保存します。これらのファイルは通常のHTTP通信で静的配信されます。つまり、キャッシュされるということです... 続きを読む…

ディレクトリ構造大前提として学生用ストレージは一つ（/export）しかなく、どの環境にログインしても同じディレクトリツリーを参照するが、ログイン先によってマウント方法が異なる。また、一人あたりの容量は30GBに制限されている。 1234/export/home0/y2020/z2010999/ (<-SOLのホームディレクトリ) |- .ced_centos/ ... 続きを読む…

はじめに電気通信大学のLANにはセキュリティのためにプロキシサーバが設けられており、学外にアクセスするにはここを経由する必要があります。学校のVPNに接続しているときもネットワーク的に学内扱いなのでプロキシを設定する必要があります。 学校から提供されているプロキシサーバは次のとおりです。学外あての全ての通信はここを経由する必要があります。 プロトコル ホスト:ポート HTTP p... 続きを読む…

スクレイピング初心者向けです。netkeiba.com をスクレイピングする機会があって、ちょっと面倒だったのでまとめときます。ポイントはPOSTリクエストとエンコーディングです。GETリクエストとは違い、POSTリクエストはURLだけで情報を取得するわけではないので、裏に隠れてるパラメータをブラウザの開発者ツールを使って探し出さなければいけません。submit()する感じだったらヘッダーに... 続きを読む…

データ集めデータセット構築で最も時間がかかるのがスクレイピングしてデータをダウンロードするところです。サーバー負荷も考えると秒間数十リクエストとかはできません。できればミスをなくして同じデータをもう一度ダウンロードする必要がないようにしたいです。例えば画像をダウンロードするとき、URLのファイル名部分だけを保存したらどうでしょうか？または、そのデータのID部分＋拡張子にしたらどうでしょうか？... 続きを読む…

dotfilesは先頭に.がつくファイルという意味から派生して各種設定ファイルという意味で使われていると思います。サーバーを行ったり来たりしてるとそういうファイルは何回も書くのでどこかに保存しておけばコピーするだけでいいので楽です。管理するとなると当然そこにgitが出てくるわけですが、どうやってその設定ファイルとgitリポジトリの中身を同期させましょう？ コピーが一番単純ですが、毎回コピーす... 続きを読む…