Maidsphere

2010.7.27

サーバ障害が起こってました このサイトではなくて,私の研究室なんですがね えっと,障害発生は今月20日 その日の朝,私がいつもどおり研究室にいって ブラウザ立ち上げてババッといつも見るページを表示させると 研究室の内部Wikiにエラー表示が あれれ,おかしいなと思って サーバにSSHしてログチェックするとこれまた変なことに特におかしな点はない むぅ…… と思ってよくよくログを眺めると,おかしな点があった! 午前3時台を最後にログが1行も記録されてない 嫌な予感がして $ touch a ってすると,エラーきたー 「Read-only filesystem」がどうたらこうたらでとりあえず書き込めないらしい ここならなんか出るだろうと思って $ dmesg | less ってして見つけた EXT3-fs error (device sda2) in ext3_reserve_inode_write: Journal has aborted うへぇ これのおかげで「/」がRead-onlyで再マウントされたらしい もうこうなっちゃったら仕方ないのでリブートして 勝手にレスキューモードっぽいのになるのでrootのパスワード入れて # fsck -y / ちなみに,-tオプションは指定しなくても/etc/fstabを見に行って よきに計らってくれるらしい で,これがかなりの時間かかってようやく終わったんだけど 結果だけいうと「lost+found」に大量のファイルが リブートしてもXが上がらない さらには # yum update としても,PythonのcElementTreeライブラリがないといわれて起動不能 $ ssh 某サーバ としても,起動に必要なライブラリがないといわれてこちらも起動不能 \(^o^)/ ということで,がんばって復旧させるより再インストールの方が早いだろうということで 苦難の再インストールの日々が始まりました つづく!