環境変更に失敗した話。

毎週作っていた週間集計ができてない原因のお話。
プログラムと環境の話のみで、ホロライブの話は出てこない。

概略

現状の問題点

SSDの残り容量がやばい。

試した行動

DB情報の保存先をSSDからHDDに変更した。

結果

プログラムが動かなくなった。

現状

DB情報の保存先をHDDからSSDに戻す復旧作業中。

詳細

現在メインで使っているのはHPのノートパソコン。HP ProBook 430 G5/CT。2年前に96,984円で購入したもので、特につよつよPCではない。開発も実行もこれを使っていたわけで、特に不便なく使っていたが、SSDの残り容量が危なかったので、DB情報をSSDからHDDに移動する作業を行った。ら、システムがエラーで落ちるようになった。

1週間ほど格闘したが、最終的に『処理が遅いから。』という結論を出し、すべて元に戻す方向で現在作業中。

保存先変えただけでなんで処理速度が変わるのか

内臓SSDと内臓HDDでアクセス速度が10倍以上違う。
内臓SSD

内臓HDD

この速度がボトルネックとなり、処理をいくら工夫しても、大した速度改善にはならなかった。
SSDのアクセスが早い、という話はよく聞くが、HDDと比べて実測したのは初めて。そして、HDDのアクセス速度が原因で実行速度が出せない、というのも初めての経験。

活用させて頂いたサイト様。

直接Insertよりもcsv作ってからcopyの方が早い、は事実だったが、問題は解決しなかった。
datumstudio.jp

処理が遅いなら待つという選択はできないのか。

無い。
チャットデータ取得処理で考えると、1動画あたりの取得時間は
SSD環境：200秒
HDD環境：1000秒
ぐらいの違いがある。1週間180本の動画を取得するためには、
SSD環境：10時間
HDD環境：50時間
の処理時間が必要になる。これはデータ取得のみの時間で、この後集計処理をしようと思ったら、1週間では終わらない。

今後の対応

検討中。
復帰作業は簡単だが、当初の『SSDの残り容量がやばい。』が解決されていない。ノートPCなので内臓増築は難しく、外付けで速度を出すのも難しい。新しくデスクトップPCを購入して、巨大なSSD積めば解決するが、20万ほどかかるので挫折。
SSDには、最新3ヶ月の情報のみを持たせ、溢れた分をHDDに移植する長期スパンキャッシュ方式なんてやり方も有るには有るが、どうしようかねぇ。
とりあえず9月集計を出したい。
あと、7、8、9月の情報から何かの変化情報を出したい。