でべろっぷ♪

最近GAFAのデータ利用についていろいろと言われていますが、有名どころのオンラインストレージサービスの利用規約を読み比べて、アップロードしたコンテンツの利用が各社にどこまで許可されているのか見ていこうと思います。 比較対象 Google Drive OneDrive Dropbox Google Drive 利用規約 所有権 ユーザーのコンテンツはユーザーに帰属します。Google は（... 続きを読む…

vscode（1.50.1）の内部ターミナルに大量に出力したときにvscodeがフリーズしました。ターミナル関係のオプションをいくつか無効化してみると次の設定で治ることがわかりました（ソースコードは見ていないのでどうしてこの設定が有効だとフリーズするのかは分かっていません）。 1"terminal.integrated.enableFileLinks": false, vscodeの公式ド... 続きを読む…

はじめにVPNはVirtual Private Networkのことで、別のネットワークにいる端末があたかも同じネットワークにいるかのように振る舞うようにする技術です。 VPNはクライアント・サーバ間で本当に送信したいIPパケットを暗号化し、それをデータとしてTCPやUDPで送信します。もちろんこのTCPやUDPのデータを送信するのはIPパケットです*1。余分なIPヘッダとTCPヘッダが無駄... 続きを読む…

環境大学内で毎回プロキシを設定するのが面倒なのでConohaのVPSでVPNを建てようと思います。作業は一般家庭の回線から行っています。 セキュリティの一環としてVPNを自分で立てるのも有効です。HTTPS接続であってもISPには接続先が分かるので、 サーバー (VPS) ArchLinux OpenVPN 2.4.9 easyrsa 3.0.8 クライアント Ubuntu 20.04 L... 続きを読む…

結論たとえば、こんなci.ymlだったとき、実行されるジョブはmatrix下のそれぞれのリストの直積となります。つまり、(ubuntu-latest, 3.7), (ubuntu-latest, 3.8), (ubuntu-latest, 3.9), (macos-latest, 3.8)… 12345678jobs: <job_id>: strategy: m... 続きを読む…

バージョン Firefox 81.0 geckodriver 0.27.0 Firefox関係のディレクトリの種類プロファイルディレクトリ Linux ~/.mozilla/firefox/xxxxxx.default-release/ OSX ~/Library/Application\ Support/Firefox/Profiles/xxxxxx.default-release/ W... 続きを読む…

Pythonパッケージの配布方法いろいろPythonソースコードでないプログラムを配布しようとするとき、主に次の二つの方法があります。 sdist bdist sdistはソースディストリビューションの略でソースコード状態での配布を、bdistはバイナリディストリビューションの略でバイナリの配布を意味します。bdistの中にも種類があり、wheel形式の配布物を作るときbdist_whe... 続きを読む…

HLSとはHLS(HTTP Live Streaming)とはAppleが開発したストリーミング動画配信プロトコルで大抵のブラウザが対応しています。一つの動画を複数のセグメントに分割し.tsファイル（セグメントファイル）として保存、そのリストを.m3u8ファイル（インデックスファイル）に保存します。これらのファイルは通常のHTTP通信で静的配信されます。つまり、キャッシュされるということです... 続きを読む…

スクレイピング初心者向けです。netkeiba.com をスクレイピングする機会があって、ちょっと面倒だったのでまとめときます。ポイントはPOSTリクエストとエンコーディングです。GETリクエストとは違い、POSTリクエストはURLだけで情報を取得するわけではないので、裏に隠れてるパラメータをブラウザの開発者ツールを使って探し出さなければいけません。submit()する感じだったらヘッダーに... 続きを読む…

データ集めデータセット構築で最も時間がかかるのがスクレイピングしてデータをダウンロードするところです。サーバー負荷も考えると秒間数十リクエストとかはできません。できればミスをなくして同じデータをもう一度ダウンロードする必要がないようにしたいです。例えば画像をダウンロードするとき、URLのファイル名部分だけを保存したらどうでしょうか？または、そのデータのID部分＋拡張子にしたらどうでしょうか？... 続きを読む…