로딩...

tubemon.io

:TODO:

업무

장애

meilisearch 죽음

  • 1년만에 갑자기 사망 데이터가 깨진것인지 무한 pod 재시작
  • 1.1.1 버전이었는데 어떤 버전으로도 업그레이드를 해도 데이터 마이그레이션이 필요
  • deployment 제거 후 새로운 버전으로 만들고 다시 데이터 붓는 방식으로 처리하기록함
  • 다시 붓는 cronjob 은 이미 만들어뒀었음

정상적인 채널들이 ban 되고 있는 문제 :2025-02-08:

pgdump 실패 :2025-02-07:

  • backup 이 nas 속도 이슈로 fail, cronjob 에서 deadline 제거
  • serverless 로부터 이전하며 변경된 로직 오류
  • 기존 정상적인 채널이 ban 된 것 찾아 복구함
    • 5005 개 채널 복구됨

pgdump 실패 :2025-03-18:

  • 새로운 시간 포맷 대응

배포