2016.03.22 11:27
먼저 2016년 2월 25일, 당사가 사용중이던 클라우드업체 KINX의 IDC(Internet Data Center)의 전력 및 네트워크 장애로 인한
당사 서비스 장애로 큰 불편을 끼쳐 드리게 되어 대단히 죄송한 말씀 올립니다.
KINX는 당사가 고객분들의 호스팅 서비스를 더욱더 안정되게 제공해 드리기 위해 이용하고 있는 인터넷 데이터 센터입니다.
해당 업체로 부터 금번 장애에 대한 원인과 재발방지 대책을 확인 받아 고객분들께 안내드리며,
서비스 장애기간에 대한 보상 계획을 아래와 같이 안내드립니다.
■ 왜 장애가 발생했나요?
클라우드 인프라가 위치한 IDC 전원 순단 발생으로 인프라 장비가 모두 리부팅 되었으며 인프라 자동복구 프로그램에 의해
복구가 시작되었습니다. 조금 쉽게 말씀드리면, 클라우드 시스템 운영 기관(KINX)내 정전이 발생하였는데, 정전시 자동으로
대체 전력시스템으로 전원을 전환 시켜주는 자체시스템이 작동되지 않아 전원공급이 중단됨으로 인해 모든 클라우드 서버가
다운되었습니다.
■ 장애 발생부터 복구까지는 얼마나 걸렸나요?
2016년 2월 25일(목) 00:17에 장애가 발생하였으며, 2016년 2월 27일(토)10:05을 기점으로 전체 시스템 복구가 완료 되었습니다.
(장애 발생시간 : 2일 9시간 28분)
■ 왜 이렇게 오래 걸렸나요?
IDC 전원 순단이 발생하였을 때 일시에 클라우드 서버 전원이 차단되고 난 후 다시 복구작업을 시작하려고 할 때 클라우드 서버 중
4개의 디스크 오류가 감지되었고, 해당 오류 디스크에 포함된 데이터의 손실을 최대한 방지하기 위해 볼륨 클러스터가 자동으로
수행한 복구작업을 우선 계속 진행할 수 밖에 없었고 그 이후 3차례 더 진행을 할 수 밖에 없었습니다.
특히 복구 과정시 오류 디스크에 있는 데이터 이중화 구성을 위해 서버시스템의 볼륨 클러스터 내부에서
전반적으로 데이터 복사 과정이 발생하는데, 오류 서버에 부하가 많이 걸린데다 서버의 저장장치 또한 불안정한 상태여서
I/O(입출력) 성능이 현저하게 낮아 복구 수행 시간이 장기화 되었습니다.
또한 복구 진행 후 추가로 데이터 안정성 확보를 위한 오류 및 유실 점검을 수행하는 작업에도 많은 시간이 소요되었습니다.
KINX 데이터 센터의 서버 복구 작업 완료 통보를 받은 이후에도, 왓에버서치는 자체적으로 이번 장애로 발생한 데이터 유실 점검을
실시할 수 밖에 없었으며 클라우드 서버내 전체 고객을 대상으로 전수조사를 시행하여 데이터 유실로 인한
모든 오류 사항을 복구하는 작업을 전직원을 투입하여 추가로 수행하였음에도 많은 시간이 소요되었습니다.
■ 향후 방지대책은?
왓에버서치에서는 KINX IDC센터에 재발방지 대책을 요구하여 다음과 같은 서비스 안정화 방안을 마련하였습니다.
1. 전원 장애 발생 원인 부품 교체 완료
2. 클라우드 전원 이중화 보완 작업 시행
3. 금번 장애가 발생된 클라우드존이 아닌 백업 및 안정성이 심층 강화 된 새로운 환경의 클라우드 존을 4월중까지 마련하여 제공받기로 함.
4. 새로운 환경의 클라우드 존 이전 전까지는 별도로 분리 된 스토리지 공간을 백업용으로 제공받아 만일의 사태에 대비하도록 함.
향후 새로운 클라우드 존으로 이전후에도 데이터 유실로 인한 피해 최소화를 위해 자체 백업을 할 수 있도록 함.
5. 주요 작업시 세부내역에 대해 일주일전 사전 공지
■ 보상계획(Cloud 인터넷 데이터 센타 사용 고객만 해당 됨)
(사)한국인터넷호스팅협회 공동약관을 기준으로 한 왓에버서치 호스팅 이용약관 제 8장 30조 손해배상 조항 및
제 33조 (아)항 3번 및 5번에 따라 보상의 책임 없으나 이번 사안의 중대성을 감안하여 고객분들에게 다음과 같이 보상율을 적용하여
보상하기로 하였습니다.
1. 대상 : KINX 클라우드 호스팅 서버 서비스 제공 고객
- 자체 IDC센터를 이용한 서비스 고객은 해당되지 않습니다.
2. 장애 인정 기간 : 2.4일 (2일 9시간 / 57시간)
3. 보상 비율
- 서비스 비용 완납 고객 : 1일 평균요금에 서비스 제공중지 시간을 24로 나눈 수를 곱하여 산출한 금액의 3배
- 1~2개월 미납고객 : 1일 평균요금에 서비스 제공중지 시간을 24로 나눈 수를 곱하여 산출한 금액의 2배
- 2개월 초과 미납고객 : 1일 평균요금에 서비스 제공중지 시간을 24로 나눈 수를 곱하여 산출한 금액의 1배
4. 보상 적용
- 월납고객 : 2016년 5월 서비스 비용에서 산정된 보상 금액이 할인 됩니다.
- 년납고객 : 다음년도 서비스 비용에서 산정된 보상 금액이 할인 됩니다.
※ 미납 고객의 경우에는 미납 비용을 완납 하신 후에만 보상 비용을 적용 받으실 수 있습니다.
5. 참고 사항
1) 유지보수 서비스는 서비스 장애로 인해 계약 된 시간이 손실 되지 않으므로, 보상 산정 대상 서비스에서 제외됩니다.
2) 호스팅 서비스 이용약관 - 배상 규정
- 제8장 제30조 : 4시간 이상의 서비스제공 중지시간에 대하여 최근 3개월 (3개월 미만인 경우 해당기간 적용)의 1일 평균요금에
서비스 제공중지 시간을 24로 나눈 수를 곱하여 산출한 금액의 5배 범위 내에서 협의 후 배상합니다.
3) 호스팅 서비스 이용약관 - 면책 규정
- 제8장 제33조 "차"항 3) : 1개월 초과 서비스 비용 미납금이 있는 경우
- 제8장 제33조 "차"항 5) : 전기통신사업법에 의한 회사 외 타 기간통신사업자가 제공하는 전기통신서비스 장애 및 설비 부족으로 인한 경우
■ 고객님들께 다시 한번 죄송하다는 말씀 드립니다.
보통 IDC 센타는 시스템에 이중 삼중의 안전장치들이 되어 있어 전원이 문제가 되는 경우는 거의 없으며,
이번 장애 또한 동일 장애 사례가 발생한 전례가 없는 전무후무한 장애로 매끄러운 대처 안내드리지 못한 점 양해 부탁드립니다.
당사에 클라우드 호스팅 서비스를 제공 하고 있는 KINX는 코스닥상장업체로서 국내 최고 수준의 데이타 센터를 운영하는 파트너로
카카오톡도 같은 서비스센타를 이용할 정도로 신뢰성이 높습니다.
이번의 경우가 최악의 장애였었으리라 믿으며, 다시는 동일한 문제로 서비스 불편이 발생하는 일이 없도록 서로 협조하여
대처할 것을 약속 드리겠습니다. 장애기간 동안에도 저희 애로를 아시고 힘과 용기를 주신 저희 모든 고객분들께
진심으로 감사의 말씀드리며, 고객분들을 더욱 소중히 모시고 최고의 서비스 제공을 위해 더욱 더 노력을 경주하도록 하겠습니다.
감사합니다.
㈜왓에버서치 임직원 일동 드림