 |
안녕하십니까? ㈜인터넷나야나 입니다.
2007년 11월 1일에 4기가 형 서비스인 XP8번과 11월 2일에 6기가 형 서비스인 SP1번 서버의 복구 시간이 늦어져 서비스에 불편을 드리게 된 점 진심으로 사과 드립니다.
이번 사고의 경위와 진행과정 그리고 앞으로 다시는 이러한 사고가 발생하지 않도록 할 대비책에 대해서 말씀 드리겠습니다.
11월 1일 03시 30분경 갑작스럽게 계정 데이터가 있는 RAID 하드가 분리가 되면서 웹 페이지 및 FTP 접속이 되지 않는 현상이 발생하였습니다.
리눅스의 모듈은 대부분 서버를 재 시작하면 다시 연결이 되기 때문에 1차적으로 리부팅을 하였으나 분리된 RAID가 연결이 되지 않아 RAID 하드를 교체하였습니다.
07시경에 교체한 후 홈페이지에 접속하여 문제가 있는지 없는지 조사를 하면서 업무를 시작하게 되었습니다.
업무가 재개 되면서 홈페이지 접속이 되지 않는다는 문의와 홈페이지 일부 데이터가 보이지 않은 다는 문의가 많아 다시 조사를 하니 OS가 있는 SAS HDD에서 이상 현상이 발생하여 계정 데이터가 있는 RAID HDD가 정상적으로 데이터를 쌓고 쓰고, 읽지 못하여 대용량 네트워크(NAS)로 계정 데이터를 연결하여 쌓여진 데이터를 RAID HDD로 다시 옮기는 작업을 하였습니다.
작업 시간 동안 약 90%의 홈페이지는 정상적으로 운영이 되었으며 일부 홈페이지만 작업 영향으로 인하여 접속이 되지 않았습니다.
계정 데이터가 구성된 RAID HDD는 대용량의 자료가 있어 네트워크(NAS)로 자료를 옮기는데 시간에 많이 소요되어 23시에 자료 복사가 끝나고 XP8번의 서버 작업이 끝나게 되었습니다.
11월 2일 17시 SP1번은 KT-IDC 전력 장애로 인하여 C클래스(218.145.71.X )가 전원공급이 중단되어 다운되었습니다. 이때 SP1번의 RAID HDD에서 I/O에러가 발생하면서 원본 계정 하드가 손상이 되었습니다.
다행히 나야나의 모든 계정 데이터는 네트워크(NAS)로 백업하고 있어 자료에는 손상이 없었으며 상주 중인 엔지니어가 복구 작업에 들어가 XP8번과 마찬가지로 웹 서비스를 운영하면서 자료를 새로 구성한 RAID로 복사하는 작업이 진행되어 11월 3일 09시에 작업이 완료되었습니다.
올 초에 나야나 호스팅 서비스를 대거 개편하면서 대용량 서비스를 제공하여 고객님들의 홈페이지 운영에 들어가는 비용을 줄이고자 업그레이드를 하였으나 대용량인 만큼 기존에 비해 복구 시간이 많이 걸려 고객님들께 큰 불편을 드리게 되었습니다
다행이 자료에 유실이 발생하지 않도록 네트워크(NAS)로 항상 데이터를 백업하여 이러한 물리적 손상에서 대비할 수 있었습니다.
최대한 서버 운영의 정상화를 위해 최선의 노력을 하였으나, 복구 시간이 오래 걸려 고객님들께 원활한 서비스 제공을 해드리지 못한 점 진심으로 사과 드립니다.
KT-IDC에는 전력 중단이 된 원인 파악과 해결 방법을 요구한 상태이며 다시는 이런 사태가 재발하지 않도록 미러링 구성을 하여 HDD만 교체하면 바로 서비스가 가능하도록 금주부터 통합 서버 대상으로 미러링 작업을 진행하면서 전력 공급 문제에 대비하여 서버 위치를 변경하여 전력 분산 작업을 진행하고 있습니다. (작업 대상 서버 및 스케줄은 별도 공지 예정)
피해를 입으신 고객님께는 어떠한 보상으로도 해결될 수 없다는 것은 알고 있지만 대상 서버에서 사이트를 운영하고 계신 고객님들께 서비스 만료일을 1주일 무상 연장 시켜드리도록 하겠습니다. 고객님들의 마음고생에 비하면 그리 크지 않은 보상일지도 모르나, 한번 더 나야나를 믿어주시길 부탁 드리며 고객님들의 넓은 마음으로 이해해주시면 감사하겠습니다.
앞으로 ㈜인터넷나야나는 고객님이 운영하는 소중한 홈페이지에 조금이라도 피해가 없도록 서비스 관리에 만전을 기하겠습니다.
| |
 | |
