DB 쓰기가 6일간 멈춰 있었다 — 그동안 매일 백업은 정상이었다

백업이 매일 성공했다는 보고는 시스템이 제대로 돌고 있다는 증거가 아니다. 사내 자동화 시스템의 데이터베이스가 6일 동안 아무것도 저장하지 못했는데, 그동안 화면도 상태 점검도 매일의 백업도 전부 정상으로 보였다. 메일과 파일은 계속 나갔고 기록만 남지 않았다. 알게 된 것도 경보가 아니라, 서버를 옮기려고 백업을 뜨다가 우연히였다.

운영 책임자가 물어볼 것은 “백업은 됐나”가 아니다. “최근 기록이 어제보다 늘었나”와 “그 백업으로 복원해 본 적이 있나”다. 여기부터는 기술 기록이다.

사내 자동화 워크플로우 엔진(자체 호스팅 n8n)을 다른 클라우드로 옮기는 작업을 하고 있었다. 이전 전에 DB 백업을 뜨려고 SQLite 파일을 읽었는데, 읽기 전용 조회가 실패했다.

$ sqlite3 "file:/opt/n8n/data/database.sqlite?mode=ro" \
    "select max(startedAt) from execution_entity"
Error: database is locked

읽기가 락에 걸린다는 건 누군가 쓰기 트랜잭션을 붙잡고 있다는 뜻이다. 그 “누군가”를 따라갔더니, DB가 6일 동안 아무것도 커밋하지 못한 상태로 서 있었다. 이전 작업이 만든 문제가 아니라, 이전 작업이 드러낸 기존 장애였다.

증거 — 멈춘 건 DB뿐이었다

컨테이너를 내리기 전에 상태를 전부 적어뒀다. 사후에 “이전 때문”이라는 오해를 지우려면 이전 전 스냅샷이 필요했다.

지표 값
execution_entity 마지막 기록 10-01 16:00:28
insights_by_period 마지막 집계 10-01 15:00
workflow_entity 마지막 수정 09-27 19:54 (정지 이전 — 무관)
database.sqlite-journal 343MB, mtime은 계속 갱신 중
읽기 전용 조회 database is locked
파일 기반 이벤트 로그 10-07 07:30까지 정상 기록

마지막 줄이 핵심이다. 이 엔진은 실행 이벤트를 DB와 별개로 파일에도 쓴다. 그 파일은 그날 아침까지 멀쩡하게 쌓이고 있었다.

정리하면 이렇다. 엔진은 6일간 워크플로우를 계속 실행했다. 메일은 나갔고, 라벨은 붙었고, 오브젝트 스토리지에는 파일이 올라갔다. 외부 부작용은 전부 일어났고, DB 기록만 안 남았다. 대시보드도, 헬스체크도, 엔진 UI도 전부 정상이었다.

원인은 세 개가 겹친 것이었다

하나만으로는 6일이 되지 않는다.

  1. 끝나지 않는 실행 두 건. 사내 청구 자동화 워크플로우 두 개가 10-01 16:00에 시작해 running 상태로 남아 있었다. 둘 다 내장 데이터 테이블에 쓰는 노드를 가진 워크플로우였다 — 쓰기 트랜잭션을 열고 매달려 있었다.
  2. 디스크가 HDD 기반 영구디스크(pd-standard, 30GB)였다. 쓰기 IOPS가 수십 수준이다. 여기에 EXECUTIONS_DATA_SAVE_ON_SUCCESS=all — 성공 실행까지 전량 기록하는 최대 쓰기 설정이 겹쳐서 트랜잭션이 전진하지 못했다.
  3. 실행 타임아웃이 설정돼 있지 않았다. 이 엔진의 기본값은 무제한이다. 매달린 실행은 영원히 매달릴 수 있었다. 타임아웃이 있었으면 6일이 되지 않았다.

복구는 의도한 게 아니었다. 이전 작업의 일부로 컨테이너를 정지하고 SQLite를 열자, SQLite가 핫 저널을 롤백하면서 스스로 정상화됐다. 저널 파일이 사라지고 읽기가 통하고, 재기동 뒤 다시 기록이 쌓이기 시작했다.

# 복구 후
journal          : 없음
읽기 전용 조회   : 성공
max(startedAt)   : 2026-10-07 07:45:49   ← 새로 기록되고 있다
DB 크기          : 463MB (VACUUM 반영)

롤백으로 6일치 미커밋 데이터는 사라졌다. 사고가 아니라 SQLite의 정상 동작이다 — 그 데이터는 애초에 durable하지 않았다. 그 기간에 VM이 한 번만 재부팅돼도 똑같이 사라진다. 워크플로우 정의는 마지막 수정이 멈춘 시점 이전이라 무손실이었다.

가장 아픈 부분 — 백업은 6일 내내 정상이었다

이 서버는 매일 디스크 스냅샷을 자동으로 떴다. 6일간 스냅샷은 한 번도 실패하지 않았다. 백업 작업은 완벽하게 성공하고 있었고, 그 안의 DB가 안 움직인다는 것만 아무도 몰랐다.

스냅샷은 “파일이 이 시점에 이렇게 생겼다”만 보증한다. 그 파일의 내용이 전진하는지는 재지 않는다. 백업 성공률 100%와 복구 가능성은 다른 축이다.

그래서 새 호스트의 감시는 두 축으로 나눴다. 복제 지연과 원본 DB 읽기 응답 시간을 같이 본다.

LAG_MAX = 900   # 복제 지연 상한 15분
READ_TO = 5     # 원본 DB 읽기 응답 상한 5초

# ① 복제가 따라오고 있는가 (Litestream generations)
lag = parse_duration(rows[-1][2])
if lag > LAG_MAX: fail = True

# ② 원본이 살아 있는가 — 이번 장애가 정확히 이 지점에서만 걸린다
t0 = time.time()
con = sqlite3.connect(f"file:{DB}?mode=ro", uri=True, timeout=READ_TO)
mx = con.execute("select max(startedAt) from execution_entity").fetchone()[0]
if time.time() - t0 > READ_TO: fail = True

복제 지연만 재면 원본이 멈춘 상태는 절대 안 잡힌다. 멈춘 DB는 변경이 없으니 복제할 것도 없고, 복제는 “지연 0″으로 영원히 초록이다. 같은 이유로 max(startedAt)을 함께 읽는다 — 이 값이 어제에 멈춰 있으면 연결이 성공해도 실패로 본다.

기록이 비었다고 일이 안 일어난 게 아니다

6일 장애 때문에 청구 데이터가 어긋나 있었다. 10월 청구서 행은 있는데 발송 시각이 비어 있고 PDF 파일 ID도 비어 있었다. DB만 보면 발송 실패다.

DB를 믿지 않고 외부 시스템에 물어봤다.

  • 메일 보낸함 → 발송돼 있었다. 날짜·수신자·제목·PDF 첨부까지 확인
  • 클라우드 드라이브 → PDF가 올라가 있었다. 메일 발송 5초 뒤 타임스탬프

메일도 나가고 PDF도 올라갔는데, 그 직후의 DB 갱신 두 개만 미커밋 트랜잭션에 들어가 롤백된 것이었다. 그래서 추정값이 아니라 실제값으로 복원했다. 드라이브에서 읽은 파일 ID, 메일 헤더에서 읽은 발송 시각.

같이 고쳐야 할 게 하나 더 있었다. 구독 테이블의 청구서 일련번호와 기간이다. 이걸 안 맞추면 다음 달 청구서가 지난달과 같은 번호로 나간다. 고객 대면 문서에 중복 번호가 찍히는 쪽이 기록 누락보다 비싸다. 청구 데이터라서 적용 전에 dry-run으로 before/after를 확인하고 넣었다.

교훈: DB가 “안 했다”고 말할 때, 외부 시스템에 물어보면 “했다”일 수 있다. 기록의 공백은 사건의 부재가 아니다. 복구 작업의 첫 단계는 롤백이 아니라 교차검증이어야 한다.

재발 방지 — 설정 세 줄

새 호스트에서 바꾼 건 세 개다. 전부 버전 업그레이드 없이 되는 것들이었다.

# ① 실행 타임아웃 — 6일 장애의 직접 방지책
#    성공 실행 소요시간 실측 최대 117초 → 1800초는 15배 여유
EXECUTIONS_TIMEOUT: "1800"      # 기본값은 무제한(-1)
EXECUTIONS_TIMEOUT_MAX: "3600"  # 워크플로우가 개별 지정할 수 있는 상한

# ② SQLite pooled 드라이버 = WAL + 쓰기연결 1 + 읽기연결 풀
#    읽기가 쓰기에 막히지 않는다. 이번 증상이 정확히 그거였다
DB_SQLITE_POOL_SIZE: "4"

③ 디스크는 NVMe SSD로 바뀌어서 I/O 고갈 자체가 해소됐다.

타임아웃 값은 추측하지 않았다. 기존 실행 이력에서 성공 건의 소요시간 분포를 뽑아 최대값(117초)을 확인하고, 그 15배를 상한으로 잡았다. 값을 못 고르겠으면 과거 실행을 세어보면 된다.

WAL 전환에는 부수효과가 셋 더 있었다. 연속 복제(Litestream)가 WAL을 요구하고, database is locked 경고가 사라지고, 메이저 업그레이드에서 어차피 필수가 되는 전환을 미리 치웠다.

한계와 다음 계획

  • 두 청구 워크플로우가 왜 멈췄는지는 아직 모른다. 타임아웃은 “영원히 매달리는 것”만 막는다. 매달린 원인은 별개 과제로 남았다.
  • 복구 테스트는 한 번 통과했다(행 수·integrity 원본 일치). 다음 분기 정기 테스트를 걸어뒀다.
  • EXECUTIONS_DATA_SAVE_ON_SUCCESS=all은 일단 유지했다. 쓰기량 최대 설정이지만, 이번 작업에서 소요시간 분포를 뽑을 수 있었던 근거도 이 데이터였다. 디스크가 SSD가 된 뒤 다시 판단한다.

정리

  • “백업 성공”은 “복구 가능”이 아니다. 스냅샷은 내용이 전진하는지 모른다
  • 기본값 무제한인 타임아웃은 설정 누락이 아니라 결함이다. 매달린 실행 하나가 DB를 통째로 세운다
  • 기록의 공백은 사건의 부재가 아니다. 외부 시스템에 물어보고 교차검증한 뒤 복원한다
  • 침묵 실패는 감시 대상이 하나 모자랄 때 생긴다. 앱·백업·복제가 다 초록인데 DB만 멈출 수 있다

FAQ

Q. SQLite 쓰기 트랜잭션이 6일이나 열려 있을 수 있나?
가능하다. 롤백 저널 모드에서 트랜잭션이 커밋되지 않으면 저널이 계속 남고, 그 사이 쓰기 락이 유지된다. 여기에 “끝나지 않는 실행”과 “타임아웃 없음”이 겹치면 상한이 없어진다. 실제로 저널 파일이 343MB까지 자라면서 mtime은 계속 갱신되고 있었다 — 프로세스는 멈춘 게 아니라 전진하지 못하고 있었다.

Q. 롤백으로 사라진 6일치는 복구할 수 있나?
없다. 그리고 복구해야 할 데이터도 아니었다. 미커밋 트랜잭션은 정의상 durable하지 않다 — 그 기간에 프로세스나 호스트가 한 번만 재시작돼도 동일하게 사라진다. 사라진 걸 되살리는 대신, 그 기간에 일어난 외부 부작용을 외부 시스템에서 찾아 기록을 복원하는 쪽이 맞다.

Q. WAL로 바꾸면 이 장애가 안 생기나?
완전히 막지는 못한다. WAL에서는 읽기가 쓰기에 막히지 않으니 증상(읽기 락)은 사라지고 발견이 늦어질 수도 있다. 긴 쓰기 트랜잭션 자체는 여전히 가능하다. 본 방지책은 실행 타임아웃이고, WAL은 읽기 가용성·연속 복제를 위한 전환이다. 둘을 같은 해결책으로 묶으면 안 된다.

Q. 매일 스냅샷이 있는데 왜 부족했나?
스냅샷은 “파일이 그 시점에 이렇게 생겼다”만 보증한다. 그 안의 DB가 6일 전 상태로 굳어 있어도 스냅샷 작업은 성공한다. 백업 감시는 백업 작업의 성공이 아니라 원본의 전진을 재야 한다. 그래서 복제 지연과 함께 max(startedAt) 같은 “가장 최근 기록 시각”을 지표로 넣었다.

Leave a Comment