AWS Lightsailでスクレイピング作業は不向き
静的ファイルをホストする環境としてLightSailはかなり優れているが、どうもスクレイピングに関しては苦手らしい。
Pupeteerを3.5ドル最安のプランで動かそうにも全く動いてくれず、毎回タイムアウトとなってしまう。
大して重い処理をしているわけでもないと思っているのだが、何故SSHでログインするのもできなくなるぐらい動作が重くなってしまうのか。。
ちなみにどのレンタルサーバがスクレイピングなど重い処理に向いているかは【実体験】さくらVPSが最も使い勝手が良かった件の比較記事も参考にして欲しい。
バーストキャパシティを有効活用できず
lightSailには、CPUリソースを使わない分を貯めておき、必要となった時にフルパワーで使うことができるバーストキャパシティという仕組みがある。
しかしこれを使う処理と使わない処理が内部の何かしらのアルゴリズムで決定されるらしく。Pupeteerのプログラムには適用されないらしい。
大してパワーを使わないのにおかしいなと思っていたが、さすがに5%のCPUパワーと512MBメモリではHeadLess Chromeブラウザーは動かせなかったという事である。
バーストキャパシティは使用しない時にCPUパワーを貯めることができる素晴らしい仕組みだと思っていたが、使いたい時に使えないということは想定外であった。
スクレイピングにおすすめのスペックは？
CPU1コア512MBは他のVPSサービスでも厳しかった。2Core 1GB程度あればサクサク動くので、さくらVPSかKonohaの2Core 1GBプランをおすすめしておく。
両サーバーとも実際にサクサク動くことも動作確認済みである。
関連記事
さくらVPSでコマンドが何故か重くなった時に、コンソールのCPU使用時間やtopコマンドでのCPU使用率を調査して原因を特定し、不要プロセスを終了させようという話。
2020年04月03日
AWSのVPSであるLightsailを使用したインスタンスのアップグレードが非常に簡単だったため、その方法をまとめた。
2020年08月08日
Webサイトを運営するにあたり、最速なサーバを求めて複数社のVPSを比較検討してみた結果、どれも大差ないことが分かったという話
2021年04月25日
2020年10月26日
VPS難民エンジニアがさくらVPS、ConoHa、LightSail、Indigoの４つの大手VPSレンタルサーバーを徹底比較。Webサイトの立ち上げやLinuxの勉強用に使い勝手の良いVPSを教えます。
2021年04月25日
