DB 쓰기가 6일간 멈춰 있었다 — 그동안 매일 백업은 정상이었다
사내 자동화 시스템의 DB가 6일간 멈췄는데 화면도 매일 백업도 정상으로 보였다. 어떻게 발견했고 어긋난 기록을 어떻게 복원했는지, 운영 책임자가 물어볼 질문 두 가지까지 정리했다.
현장에서 AI로 일을 바꾼 기록
만들다 막힌 것과 고친 방법
사내 자동화 시스템의 DB가 6일간 멈췄는데 화면도 매일 백업도 정상으로 보였다. 어떻게 발견했고 어긋난 기록을 어떻게 복원했는지, 운영 책임자가 물어볼 질문 두 가지까지 정리했다.
Rails 대시보드에 CSP(script-src ‘self’)를 도입했다가 importmap이 CDN을 가리키는 바람에 ES 모듈 전체가 죽었다. 18시간 뒤에야 찾은 원인과, 같은 실수를 다시 못 하게 막은 가드 테스트 2개를 기록한다.
운영 메일을 웹훅으로 받는 파이프라인을 붙이며 로그에 ‘정상’으로 남던 침묵 실패 4개를 잡았다. 멱등 처리가 422로 새던 문제, 선언 Content-Type을 믿어 첨부를 버리던 문제, 포워딩 라우팅, CJK PDF 오판까지 실제 코드로 정리했다.
BL 원문의 자유 텍스트 상호명을 화주 엔티티로 묶는 규칙 기반 해석기를 만들었다. 정규화 키, 사람 교정을 학습하는 별칭 테이블, after_commit 분리까지 실제 코드로 정리했다.
POS 매출에 팁·세금이 섞여 있었고, 회원 거래는 실제의 40%만 잡히고 있었다. 내부 검증기 8종은 둘 다 통과시켰다. 정의 오류가 왜 항등식 검사에 안 걸리는지, 45주치를 두 번 재수집하며 무엇을 바꿨는지 코드와 수치로 정리했다.
WSL2 랩탑에서 맥으로 작업 머신을 옮겼다. 짐을 용량 순으로 쌌으면 정작 위험한 296MB를 놓칠 뻔했다. git 워크트리·심볼릭 링크·시크릿 누락·BSD 유저랜드 차이까지, 복사는 성공했는데 에러 없이 조용히 깨진 것들의 실제 기록.
사내 Rails 스타터킷의 CI를 처음 끝까지 돌려보니 brakeman은 버전 체크로 죽어 있었고 GitHub Actions 테스트 job은 실행조차 안 되고 있었다. 조용히 쌓인 결함과 그 대응 기록.
인증 없는 파이썬 웹서버 19개가 8일째 떠 있었다. 정리 코드는 분명히 있었는데 kill이 서브셸 껍데기만 죽이고 있었다. 원인을 재현으로 확인하고, 같은 일이 다시 조용히 쌓이지 않도록 다른 머신에 감시자를 붙인 기록.
다크 모드 전용으로 만든 Rails 앱에 라이트 모드를 CSS 변수 토큰으로 붙였다. text-white가 라이트에서 사라진 원인은 attribute-substring 셀렉터가 hover: 유틸리티까지 매칭한 것. 실제 코드와 수정 과정.
영수증을 한 장씩 올리던 병목을 여러 장 벌크 업로드로 푼 기록. 요청을 다 구현하지 않은 이유, 한 장 실패해도 나머지를 살리는 파일별 트랜잭션, 단건 하위호환과 진행률 설계까지.