Skip to content

fix(alerting): 백엔드 No Data 배치 경보와 UTC 표시 정합화 #27

Description

@ohhalim

배경

  • 2026-08-22 21:29 KST 백엔드 기동 실패 및 application-health 경보 관측
  • 5분 뒤 collect/billing 26시간 이상 미실행 경보 추가 관측
  • 당시 배치 하트비트 임계치 초과가 아닌 backend scrape No Data 상태
  • 확인 시점 운영 값: backend up=1, collect 약 16.2시간, billing 약 23.2시간
  • 확인 시점 두 배치 규칙: state=inactive, health=ok
  • Slack 발생 시각: UTC ISO 문자열 표시

문제

  • batch rule noDataState, execErrState: Alerting
  • backend down과 batch stale의 동일 장애 중복 통지
  • 한국 사용자 기준 발생 시각 해석 필요

변경 범위

  • batch No Data 상태의 stale 경보 제외
  • rule evaluation error 상태 분리
  • backend down 경보는 application-health rule 유지
  • Slack 발생 시각 Asia/Seoul KST 표기
  • provisioning, notification 회귀 테스트 추가

검증

  • Ruff check 및 format check
  • 관련 단위 테스트
  • 배포 후 Grafana batch rule 상태와 배포 설정 확인

Activity

  1. github-actions commented on Aug 22, 2026

    @github-actions

    브랜치 생성에 실패했습니다. Actions 로그를 확인해주세요.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

Labels

No labels
No labels

Projects

No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions