아래의 시간에 20 여분간 접속장애가 있었습니다.
5/4일 00:32 ~ 00:52 (약 20 여분간)
사용에 불편을 드려 죄송합니다.
자세한 원인은 파악되는 데로 수정 공지드리겠습니다.
어제 장애에 대한 원인 파악이 되어 공유드립니다. (다소 기술적인 내용입니다.)
직접적인 원인은 저희 구현언어인 루비의 일일 로깅쪽 버그였습니다. 옵션 변경이라는 사소한 변경이지만 충분한 테스트를 못한 부분에 실수가 있었습니다. 향후에는 하부 시스템 변경시 아무리 사소한 변경이라도 1 일이상의 평판조사와 1주일 이상의 테스트 원칙에 따라서 운영하겠습니다.
모니터링도 자동화 뿐아니라 상위레벨 모니터링을 강화하겠습니다.
이하는 다소 기술적인 이야기라, 루비 개발자 분들에게 공유차원에서 말씀드립니다.
위의 루비 로거 버그는 http://blade.nagaokaut.ac.jp/cgi-bin/scat.rb/ruby/ruby-talk/218107 에 자세히 알려져 있습니다. 문제는 오류 발생시 몽그레일이 내용은 "500 Internal Server Error" 라고 출력하면서, 실상 http status 코드는 200 을 뿌리는 바람에, 일반 모니터링 시스템에 검출이 안되었습니다. 따라서, 가급적 상위레벨의 모니터링을 보강하실 것을 권장드립니다. 또한, 루비가 좋은 언어이지만, 아직은 충분히 성숙되지 못한 부분이 있습니다. 라이브러리나 옵션변경시에 알려진 문제점을 커뮤니티등에서 꼭 확인하시기 바랍니다.
5/4일 00:32 ~ 00:52 (약 20 여분간)
사용에 불편을 드려 죄송합니다.
자세한 원인은 파악되는 데로 수정 공지드리겠습니다.
어제 장애에 대한 원인 파악이 되어 공유드립니다. (다소 기술적인 내용입니다.)
직접적인 원인은 저희 구현언어인 루비의 일일 로깅쪽 버그였습니다. 옵션 변경이라는 사소한 변경이지만 충분한 테스트를 못한 부분에 실수가 있었습니다. 향후에는 하부 시스템 변경시 아무리 사소한 변경이라도 1 일이상의 평판조사와 1주일 이상의 테스트 원칙에 따라서 운영하겠습니다.
모니터링도 자동화 뿐아니라 상위레벨 모니터링을 강화하겠습니다.
이하는 다소 기술적인 이야기라, 루비 개발자 분들에게 공유차원에서 말씀드립니다.
위의 루비 로거 버그는 http://blade.nagaokaut.ac.jp/cgi-bin/scat.rb/ruby/ruby-talk/218107 에 자세히 알려져 있습니다. 문제는 오류 발생시 몽그레일이 내용은 "500 Internal Server Error" 라고 출력하면서, 실상 http status 코드는 200 을 뿌리는 바람에, 일반 모니터링 시스템에 검출이 안되었습니다. 따라서, 가급적 상위레벨의 모니터링을 보강하실 것을 권장드립니다. 또한, 루비가 좋은 언어이지만, 아직은 충분히 성숙되지 못한 부분이 있습니다. 라이브러리나 옵션변경시에 알려진 문제점을 커뮤니티등에서 꼭 확인하시기 바랍니다.
트랙백 주소 :: http://blog.myid.net/trackback/35
-
Subject: myid.net 서버 에러와 springnote.com의 사용
Tracked from πιανο 2007/05/06 03:42 삭제<P>관련글: <A target='_blank' class='con_link' href="http://blog.myid.net/35">http://blog.myid.net/35</A></P> <P> </P> <P>2007년 5월 4일 00시 30분쯤, 메모할 것이 있어서 <A target='_blank' class='con_link' href="http://www.springnote.com..
댓글을 달아 주세요
수고 많으십니다.
근데 서비스 변경이나 신규 적용은 낮에 하시면 어떤가요??
네. 저희도 적용후 장애에 대비해서, 테스트가 완료된 코드에 대해서 다음날 오전중에 배포를 원칙으로 하고 있습니다. 다만, 이번건은 너무 사소한 변경으로 판단하였고, 또한 일단위 로그 자르는 기능이라, 12 시 이후에 문제가 발생하게 되었습니다. 테스트 서버에서 하루 이상 테스트를 했어야 했습니다만, 언어 기초 라이브러리라 너무 믿었던 점이 실수였습니다.
w^~)ހ