out of memory –          おやじdemo_CentOSを使う
6月 212012
 

この2日間、logと睨めっこで大変目が疲れました。
そもそも、事の発端がメモリを増設後にビシー状態、カーネルパニック状態、out of memory状態と不安定が続き、メモリが悪いのかどうかの検証とソフト面での設定確認をやらかしてました。

未だ、鯖にセットされているサービス、ソフトなど全てではありませんが、エラーの出ていたサービスなども含め洗い出しは出来ました。

自分の出来る範疇で修正したもの、ネットで調べながら修正したものがありますが、ちょっとした事で怪しい動作になってしまったようです。

一番の犯人はClam-updateでした。
ウイルススキャンのデータ更新を毎日朝方自動で行っていましたが、verが変わった事により、このverではデータ更新が出来ません。というエラー表示が出されていました。そのままの状態でも深刻なエラーではありませんでしたが、私が勘違いをして新verを無理くりインストールした事によって、同じソフトのver違いの混在化を招いてしまいました。

#freshclamd

上のコマンドを実行した時に、少し考えてからビシー状態になり、パニックのような状態になり、時間が経過した後にログイン画面に戻っていたようです。
ただ、このログイン画面状態ではSSH含めサービスは殆どが落ちている状態で外部からのアクセスは出来ず、httpdも落ちていますのでHPも見れません。2度も3度も同じ症状を起こさせて良くHD(ファイルシステム)が壊れなかったと思っております。rebootさせて起動している最中はドキドキものでした。

こんな事で、このfreshclam関係のサービス、cronなど全てstopさせて確認をしている最中です。

一度、全てインストールしたclamav関係をアンインストールして再度入れ直しましたが、freshclamのサービスがstart出来ません。またパニックになるかも・・・と思うと中々、コマンドを実行させずらくなってしまいました。このwordpressやSQLのデータなど大事なものはバックアップを取りました。

このサービス(freshclam)がonにならないだけで他の問題は解消できました。

logも綺麗になり、動作もやっと安定して以前のスピードに戻っていると思います。
しかし、問題を起こしそうなソフトをyumで勝手にインストールしないでもらいたいな。
でもやるかやらないか?yesとしたのは自分なんで反省しています。

それと感じたのは、CentOSでも5と6ではだいぶ違うと言うことです。
設定方法、ファイルのありか等含めネットで調べる際には良く確認してください。

各種設定後は再起動をしてサービスの起動状態の確認を怠らないという習慣も必要のようです。

6月 192012
 

どこが悪いのか?色々なエラーを探っては設定を見直しています。
何しろ、午前中のビジー状態は一体何なのでしょうか。
自宅に居れば鯖も直ぐに見れますが仕事中では見れません。

どうもこうも日曜日にメモリを増設してから始まりました・・。

今日はcronの動作を確認してみましたが怪しいものは無し。

logもこの時間帯の物が抜けているので、パニックに近い(パニック中)だったのかも知れません。たまたま再起動がかかり午後から動作していたという見方が正しいのかも知れません。

一番疑っていたのが、Clamd,freshclamあたりの更新でした。
freshclamをかけた時に少し鯖が考え込んだように感じた時にout of memoryと表示されたような気がしました。そこからは凄い勢いで画面が動きっぱなしになり固まりました。

こんな事もあろうかと思い、カーネルパニックの時にはSysrqキーとAlt+コマンドでrebootが出来るようにしておきました。

freshclamの起動設定が怪しいか?、メモリが怪しいのか?
しかし、またパニックになるのが怖いので、とりあえずサービスであるfreshclamを止め、cronのupdateも止めました。

鯖を休ませれば良いのですが、とりあえずこのサイトもあるので稼動優先にしました。

前に一度、カーネルパニックでファイルシステムが壊れ、再起動しないという経緯があったので、この不安定さがどこから来ているのか?壊さないようにじっくり作業しようと思っています。