HTTrackがエラーになる場合の対策

当社は季節の花だよりをお知らせする「はなつうWEST Blog」を運営しています。
本当は個人のサイトとして運用したかったのですが、ブログで利用している livedoor Blogでは法人サイトのオウンドメディアとして運用しないとモバイルサイトの雑然とした広告が消えないので法人扱いしています。

今日(10月22日)、世界中でPHPの脆弱性対応で大騒ぎです。当社や顧客先のWEBサイトも速やかに対応しなければならないのですが、サーバー会社(CPI/KDDIウェブコミュニケーションズ)の対応に時間がかかっているため少し手持ち無沙汰です。万が一の時は、CPIだと毎日のフルバックアップが30日分保持されるので、いざという時のロールバックが簡単にできます。
そこで、バックアップが事実上不可能な livedoor Blogを利用する「はなつうWEST Blog」コンテンツのバックアップをすることにしました。これだけ不正アクセスが増えていると過去記事すべてが突然失われることもあり得ますからね。

Website Downloader

まず利用したのが Choromeの機能拡張「Website Downloader」。とても簡単でダウンロード速度が速くあっという間に丸ごとダウンロードできました。生成されたデータ(HTML)の再現性が高くリンクもしっかりと機能します。ですが、サムネール画像をクリックした時に別ウィンドウで開かれる原寸画像が取得できないことが判明。これは livedoor Blogの仕様が大きく関係するものです。
サムネールをクリックした時に開かれる画像は「https://livedoor.blogimg.jp/cpiblog○○○/imgs/○○○.jpg」というURLで開かれるため外部サイト扱いで取得できなかったのです。(もしかしたら使い方が悪いのかも?)

なので機能拡張を利用する方法はあきらめて「HTTrack」という老舗のアプリを利用することにしました。
このアプリは無料で配布されていて、各OSに対応したバージョンが用意されています。まずは macOS用をダウンロードして、WEBで使い方を説明してくれているサイトを参考に動かしてみましたが何故か上手くいきません。
以前は別サイトですが仮想環境のWindowで上手くいった記憶があるのでWindows10のHTTrackを利用することにしました。

HTTrack

ところが何度やってもエラーになってしまいます…
ブラウザのユーザーエージェントを変更したり、robot.txtの設定を変えたりと試行錯誤しても上手くいかず、Geminiに聞いてみることに。何度かやりとりするうちに「プロジェクト名やフォルダ名には半角英数字(a-z, 0-9)とハイフン(-)やアンダーバー(_)のみを使う」という提案があり、その通りにリネームして無事丸ごとダウンロードに成功しました。盲点でした。

ここで livedoor Blogでの利用時の注意点。設定画面のスキャンルールに「+*livedoor.blogimg*」を指定すること。原寸画像は別ドメインで開かれるのでこの記述が必要です。また、リンク先は自分のドメインに限定すると無駄なリンクが無視されます。
これで livedoor Blogに何かあってもある程度の記事はローカルに残ることになりひと安心。本当はWordPressに引っ越したいところですが技術も時間も足りないので当面はこのままの運用になりそうです。