Linodeによるネットワーク障害と復旧対応のメモ

Linodeでのサーバ障害からの復旧をLinodeスタッフさんの手を借りて復旧したようなので、今後は自分で対応出来る様にメモ。
(まだ良くわかんないし)

■2009/10/28 9:30頃
Linodeで借りているサーバへアクセス出来なったことを確認。
ControlPanelからコンソールへアクセスしようとするが、出来ない為Rebootする。
→コンソールにはアクセス出来る様になる。

■2009/10/28 10:30頃
まだ繋がらないので再びRebootするも変わらず。

■2009/10/28 12:00頃
LinodeのTwitterアカウントから「障害が発生していることは認識しているので、しばしお待ちを」とお達しが。
なんと全サーバをリストラするという大事態らしい。
「一応リストラしたけど、また問題あるならチケット切って!」とコメントが。
チケットを切る。

■2009/10/28 13:00頃~
俺:サーバは動いているみたいだけど、ネットワークが通ってないみたいだよ!
Linode:一応リストアしたんだけど問題あるなら言って!
俺:だーかーら=繋がらないんだよ!ping叩いても「そんなホスト知らんがな」って言われるよ!
Linode:もし出来るなら、ネットワークの設定ファイル調べてみて!間違ったMACアドレスが設定されているかもよ?
俺:見てみたけど、どんなMACアドレスが正しいかわからないよー。ifconfigコマンド叩いたから結果見てみて!
Linode:こっちで設定ファイルのMACアドレスの行を消してみたら上手くいったみたいだよ!他になんかある?
俺:おお!なおっとるがな!ありがとー、助かったー!
Linode:お役に立てて嬉しいよ!またねー!

みたいなやりとりをやる。
Linodeスタッフグッジョブ。

■2009/10/28 16:00頃
無事復旧。


多分、11時頃にはネットワーク以外についての問題はなかったみたいだが、自分のスキルの無さから復旧できず、Linodeスタッフさんが直してくれた。
復旧後と復旧前のMACアドレスが違っていたわけでも無いのに、なんでそれだけで動かなくなったのか謎。
DHCPサーバを使っているみたいだから、MACアドレスをクリアしないと再設定されないのかな?

おかしい状態のifconfigの結果。
eth0     Link encap:Ethernet  HWaddr xx:xx:xx:xx:xx:xx
         BROADCAST MULTICAST  MTU:1500  Metric:1
         RX packets:0 errors:0 dropped:0 overruns:0 frame:0
         TX packets:0 errors:0 dropped:0 overruns:0 carrier:0
         collisions:0 txqueuelen:1000
         RX bytes:0 (0.0 b)  TX bytes:0 (0.0 b)

復旧後の状態のifconfigの結果。
eth0      Link encap:Ethernet  HWaddr xx:xx:xx:xx:xx:xx
          inet addr:xxx.xxx.xxx.xxx  Bcast:xxx.xxx.xxx.xxx  Mask:xxx.xxx.xxx.xxx
          inet6 addr: xxxx::xxxx:xxxx:xxxx:xxxx/64 Scope:Link
          UP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1
          RX packets:2016 errors:0 dropped:0 overruns:0 frame:0
          TX packets:1903 errors:0 dropped:0 overruns:0 carrier:0
          collisions:0 txqueuelen:1000 
          RX bytes:235316 (229.8 KiB)  TX bytes:1644123 (1.5 MiB)

今気がついたんだけど、ネットワークインターフェースの状態を示すBROADCASTが正常起動していないことがわかる。

んーどういうカラクリでMACアドレスを削除(再取得?)したら動く様になったのか分からないなー。
けど、スタッフの人が直ぐに「MACアドレスあってる?」って聴いてきたところにヒントがあるんだろうか?

まあ、とりあえずメモしておくことにする。
すげー時間がかかった。

やっぱまだまだ僕にはサーバ管理は難しいな。
経験を積まねば。

コメント

アーカイブ

2012

  • 01
  • 02
  • 03
  • 04
  • 05
  • 06
  • 07
  • 08
  • 09
  • 10
  • 11
  • 12

2011

2010

2009

2008

2007

コンタクト

longkey1[at]gmail[dot]com