金曜日、うちの会社でサポートしているECサイトがテレビで紹介された。
以前から紹介されるとは知っていたんだけど、テレビ見て直ぐにPCつけて見るかな?って思ってた。
まあ、アクセス増えたところで、直ぐに引くだろうとも。
が、甘かった・・・。
テレビ凄すぎ。
放送直後からサーバーが一気に重くなった、というか見れなくなった。
顧客からは「見れない」「なんとかしてくれ」という電話がかかってきた。
そんなこといわれても、複数台構成で負荷対策しているわけでもなく、VPSサービス(一応最高のプラン)を利用していたので、どうすることも出来なかった。
うちだけVPSの設定を特例的に上げてくれと行っても、そりゃ無理だ。
オールインワンだったので、メールサーバーもそこに含まれていた。
そのうちメールサーバーへも接続が不安定になった。
四面楚歌。
奇跡的にサーバー自体は落ちているわけではなく、FTPやSSHは利用できた。
まずは、どうしようもないので「ただいまアクセスが集中しています」みたいなメッセージだけの軽いページを用意。
どこへアクセスしても強制的にそのページへ飛ぶようにした。
そしたらとりあえず、負荷が下がったというかそのメッセージページだけは出るようになった。
負荷が下がるのを待つ間に、Apacheの設定をカスタマイズを調べることにした。
パフォーマンス周りは本当に未経験だが、何にもしないのもアレなので、グーグル先生を頼りに設定変更をぶっつけ本番でやってみた。
httpd.confのkeepAliveがOffだったのでOnにしてみたり、MaxCliantを倍にしてみたり。
そしたら一気にプロセスが倍以上になり、画面は心なしかレスポンスが良くなった気がした。
レスポンスが早くなったというか細かいファイルの表示が早くなったので、KeepAliveの恩恵だなと直ぐにわかった。
がその反面、なんとか接続できていたメールサーバーに接続できなくなったりした。
MaxCliantを増やしたことによって、Apacheの処理負荷が増え、他のプロセスを圧迫したんだろうなと思う。
結局、MaxCliantはデフォルトの状態に戻した。
そしたら、メールサーバーへの接続は落ち着いた。
ま、ウェブサーバーはまた重くなったんだけど。
この状態が夜まで続いた。
で、このままだと会員も増えないし意味がないので、遅いながらも動くなら動かそうと言うことになり、転送処理をはずした。
これまた一気に負荷が上がった。
まあ、会員登録通知メールにトップページ以外のアドレスも書いてあったし、検索で他のページも引っかかるだろうし、トップページ以外へのページへ直接アクセスする方法なんていくらでも考えられた。
いろんなことを未経験ながら負荷を下げれないかと考えてみたのだけど、はっきり言って今までの100~200倍以上のアクセスがいきなり来ている状況では、何の効果もなかった。
そもそもカスタマイズって、基本的な処理能力があってこその効率化なんだなと実感した。
まあ、物凄いスキルがあれば乗り切れたのかもしれないけど、素人同然の僕には無理だったわ。
で、とりあえず結果的に
・トップページは簡素なアクセス集中ごめんなさいページ
という対策だけで、金曜日は終電で帰った。
次の日、家からアクセスしてみるとまだ重い。
会員数の増加数は多少鈍化してきてはいたけど、逆に売り上げとかの増加数が半端じゃなかった。
昨日アクセス出来ない人たちが時間を置いてきているのもあるんだろうなと思った。
休日で買い物に出かけていた僕に容赦なく電話が掛かってきた。
結局、2回ほど掛かってきたが、何も出来なかった。
何も出来ないとはいえないので、サーバーの再起動とかは何度かやってみた。
まあ、立ち上がった瞬間また負荷過多でにっちもさっちもいかなくなっただけ。
家にいるときは、ことあるごとにアクセスして確かめてしまった。
そうだなーのべ10回ぐらいはチェックしてたかなー。
こんなのが続いたら、さすがに参ると思った。
日曜日になると、ちょっと落ち着いてきた。
放送されてから2日たってやっとだ。
びっくりした。
以前よりは2倍近くのアクセスは来ている感じ。
けど、それぐらいなら、サーバーも余裕がありそうな感じだった。
ひとまず一安心。
やっとお腹がすいた。
サーバー管理は怖い。
最近忘れていたけど、思いだした。
それも一人だと、本当に怖い。
だれかとあーだこーだ言えないもの。
逃げたくなる。
ECサイトとかは特にお金が絡んでいるし。
一気に仕事が嫌になり、逃げ出したくなった週末だった。
以前から紹介されるとは知っていたんだけど、テレビ見て直ぐにPCつけて見るかな?って思ってた。
まあ、アクセス増えたところで、直ぐに引くだろうとも。
が、甘かった・・・。
テレビ凄すぎ。
放送直後からサーバーが一気に重くなった、というか見れなくなった。
顧客からは「見れない」「なんとかしてくれ」という電話がかかってきた。
そんなこといわれても、複数台構成で負荷対策しているわけでもなく、VPSサービス(一応最高のプラン)を利用していたので、どうすることも出来なかった。
うちだけVPSの設定を特例的に上げてくれと行っても、そりゃ無理だ。
オールインワンだったので、メールサーバーもそこに含まれていた。
そのうちメールサーバーへも接続が不安定になった。
四面楚歌。
奇跡的にサーバー自体は落ちているわけではなく、FTPやSSHは利用できた。
まずは、どうしようもないので「ただいまアクセスが集中しています」みたいなメッセージだけの軽いページを用意。
どこへアクセスしても強制的にそのページへ飛ぶようにした。
そしたらとりあえず、負荷が下がったというかそのメッセージページだけは出るようになった。
負荷が下がるのを待つ間に、Apacheの設定をカスタマイズを調べることにした。
パフォーマンス周りは本当に未経験だが、何にもしないのもアレなので、グーグル先生を頼りに設定変更をぶっつけ本番でやってみた。
httpd.confのkeepAliveがOffだったのでOnにしてみたり、MaxCliantを倍にしてみたり。
そしたら一気にプロセスが倍以上になり、画面は心なしかレスポンスが良くなった気がした。
レスポンスが早くなったというか細かいファイルの表示が早くなったので、KeepAliveの恩恵だなと直ぐにわかった。
がその反面、なんとか接続できていたメールサーバーに接続できなくなったりした。
MaxCliantを増やしたことによって、Apacheの処理負荷が増え、他のプロセスを圧迫したんだろうなと思う。
結局、MaxCliantはデフォルトの状態に戻した。
そしたら、メールサーバーへの接続は落ち着いた。
ま、ウェブサーバーはまた重くなったんだけど。
この状態が夜まで続いた。
で、このままだと会員も増えないし意味がないので、遅いながらも動くなら動かそうと言うことになり、転送処理をはずした。
これまた一気に負荷が上がった。
まあ、会員登録通知メールにトップページ以外のアドレスも書いてあったし、検索で他のページも引っかかるだろうし、トップページ以外へのページへ直接アクセスする方法なんていくらでも考えられた。
いろんなことを未経験ながら負荷を下げれないかと考えてみたのだけど、はっきり言って今までの100~200倍以上のアクセスがいきなり来ている状況では、何の効果もなかった。
そもそもカスタマイズって、基本的な処理能力があってこその効率化なんだなと実感した。
まあ、物凄いスキルがあれば乗り切れたのかもしれないけど、素人同然の僕には無理だったわ。
で、とりあえず結果的に
・トップページは簡素なアクセス集中ごめんなさいページ
という対策だけで、金曜日は終電で帰った。
次の日、家からアクセスしてみるとまだ重い。
会員数の増加数は多少鈍化してきてはいたけど、逆に売り上げとかの増加数が半端じゃなかった。
昨日アクセス出来ない人たちが時間を置いてきているのもあるんだろうなと思った。
休日で買い物に出かけていた僕に容赦なく電話が掛かってきた。
結局、2回ほど掛かってきたが、何も出来なかった。
何も出来ないとはいえないので、サーバーの再起動とかは何度かやってみた。
まあ、立ち上がった瞬間また負荷過多でにっちもさっちもいかなくなっただけ。
家にいるときは、ことあるごとにアクセスして確かめてしまった。
そうだなーのべ10回ぐらいはチェックしてたかなー。
こんなのが続いたら、さすがに参ると思った。
日曜日になると、ちょっと落ち着いてきた。
放送されてから2日たってやっとだ。
びっくりした。
以前よりは2倍近くのアクセスは来ている感じ。
けど、それぐらいなら、サーバーも余裕がありそうな感じだった。
ひとまず一安心。
やっとお腹がすいた。
サーバー管理は怖い。
最近忘れていたけど、思いだした。
それも一人だと、本当に怖い。
だれかとあーだこーだ言えないもの。
逃げたくなる。
ECサイトとかは特にお金が絡んでいるし。
一気に仕事が嫌になり、逃げ出したくなった週末だった。
コメント
お金が絡むとこわいですよね。。。><
怖いよー。