diff --git a/README.md b/README.md index d034c804..e2a7344e 100644 --- a/README.md +++ b/README.md @@ -34,6 +34,8 @@ OpenProxy를 경유하는 OpenSQL 3노드와 GCS 원본 저장소를 연결합 출력 Sanitization을 적용합니다. - **RAGOps 운영 화면**: WebSocket으로 Job·Worker 상태를 갱신하고 실패 원인, Retry, Queue·동기화 상태를 관측하고 복구할 수 있습니다. +- **정합성 점검과 안전 복구**: 문서 원장과 Job·Chunk·Vector를 8가지 기준으로 비교해 Issue로 남기고, 기존 데이터를 + 지우거나 덮지 않는 Job·Vector 누락만 Outbox로 복구합니다. 관리자가 수동 실행하며 주기 점검은 기본으로 꺼져 있습니다. - **환경별 저장소와 OpenSQL 연결**: Local Filesystem·GCS 저장소 Adapter와 OpenProxy A/B를 통한 OpenSQL 3노드 연결을 지원합니다. MinIO·AWS S3 Adapter도 코드에 남아 있어 선택해 쓸 수 있지만 현재 GCP 시험 저장소는 GCS입니다. @@ -70,6 +72,7 @@ OpenProxy를 경유하는 OpenSQL 3노드와 GCS 원본 저장소를 연결합 |---|---|---|---|---| | **하이브리드 검색 품질** | 짧은 용어·약어 질문을 벡터 검색만으로 찾지 못하는 문제 개선(예: `OM은 뭐야?` 정답 7위) | 로컬 백엔드 + BGE-M3, 문서 5개·청크 83개, topK 10, 질문 3세트 111문항, 증빙 커밋 2026-10-10 | 벡터 단독 → 하이브리드: 1위 정답 **82 → 92**. 사전에 기준을 고정한 세트 3(39문항) MRR@10 **0.784 → 0.868** | [검색 품질 측정](docs/test-results/kangcheolung-%23456-hybrid-search.md) | | **DB·GCS 시점 복원** | DB가 보관한 문서 기록과 GCS 원본을 같은 시점으로 복원해 서로 맞는지 확인 | OpenSQL 기준 백업 + 연속 WAL을 격리 경로에서 지정 시점 T로 복원, GCS 독립 사본, 2026-10-15 | T 이전 쓰기 A 1건·이후 B 0건. 복원 DB가 참조하는 파일 91건 모두 사본에 존재, 복원 버킷 92객체 SHA-256 **92/92** 일치 | [시점 복원](docs/test-results/db-gcs-point-in-time-recovery-20261015/), [서비스 경로 후속 시험](docs/test-results/db-gcs-service-recovery-20261015/) | +| **정합성 점검·복구** | 검색 데이터가 원장과 어긋났을 때 점검기가 찾아내고, 안전한 경우만 복구해 검색이 돌아오는지 확인 | 로컬 격리 DB·BGE-M3, 시험 문서 4건(Chunk 20개), SQL과 Worker·Dispatcher 정지로 4종 주입, 수동 API·Backend 1대, 2026-10-16 | Vector 1행 누락·Job 누락 각 1건: 탐지 → 복구 Event 1건 → 새 Job → `INDEXED` → 재점검 종결, 검색 반환. 기존 Vector 4행 ID·해시 보존. 삭제 잔여·정체 버전은 보고만 함. 정상 삭제 문서에 남는 `MISSING_EMBEDDINGS` 오탐 1건 발견(수정: [#518](https://github.com/DocGrid/docgrid/issues/518)). 주기 점검·A/B·나머지 4개 유형은 미시험 | [격리 시험](docs/test-results/reconciler-repair-20261016/README.md), [설계](docs/design/gimin-%23517-reconciler-consistency-check.md) | | **PDF·DOCX 인덱싱 E2E** | 실제 PDF·DOCX 여러 건을 함께 접수했을 때의 처리량과 데이터 완전성 측정 | 로컬 Apple Silicon 1대, PostgreSQL 17.8·MinIO·CPU BGE-M3, Worker Slot 2, 50·100문서 각 2회, 2026-08-11 | **31.046·32.063**문서/분. 합계 300문서·1,200 Vector에서 실패·재시도·미완료·중복 **0** | [최종 성능 리포트](docs/test-results/gimin-%23145-final-performance-report.md), [원본 측정](docs/test-results/gimin-%23143-pdf-docx-indexing-e2e-load-benchmark.md) | 검색 품질은 직접 작성한 질문과 작은 코퍼스, 성능은 로컬 개발 장비의 기준선입니다. 시점 복원은 RPO·RTO를 diff --git a/docs/design/gimin-#517-reconciler-consistency-check.md b/docs/design/gimin-#517-reconciler-consistency-check.md new file mode 100644 index 00000000..4acc3677 --- /dev/null +++ b/docs/design/gimin-#517-reconciler-consistency-check.md @@ -0,0 +1,191 @@ +# 정합성 점검기(Reconciler) 설계와 검증 범위 (#517) + +closes #517 + +## 1. 배경 + +DocGrid는 문서 원장(`documents`·`document_versions`)에서 검색용 파생 데이터(Embedding Job·Chunk·Vector)를 비동기로 만든다. +업로드 Transaction, Outbox Dispatcher, Worker가 단계별로 나누어 처리한다. 그래서 어느 한 단계가 실패하거나 누군가 DB를 직접 고치면 +원장과 파생 데이터가 어긋날 수 있다. 예를 들어 처리 중인 버전에 Job이 없거나, 검색 중인 버전의 Vector 일부가 빠질 수 있다. + +정합성 점검기(이하 Reconciler)는 이 어긋남을 찾아 Issue로 남긴다. 안전하다고 판정된 경우에만 기존 Outbox 경로로 복구를 예약한다. +구현은 2026-08-13 `c92bd7b`(#164, PR #171)에서 들어왔다. #168에서는 통합 시험으로 `MISSING_JOB` 복구를 확인했다. +하지만 실제 HTTP·Worker 경로로 Vector 누락까지 끝까지 복구되는지 확인한 기록과 설계 문서는 없었다. +이번 이슈에서는 **새 점검 로직, 지표, 설정 변경 없이** 기존 코드를 격리 환경에서 시험하고, 그 동작과 한계를 문서로 정리했다. + +## 2. 구성과 흐름 + +```text +POST /admin/sync/reconcile {cursor, mode} (수동, 배치 1개) +SyncReconciliationScheduler (주기, 기본 꺼짐) + │ + ▼ +SyncReconciliationOrchestrator ── 실행 이력 시작·완료·실패를 독립 Transaction으로 기록 + │ + ▼ +SyncReconciliationBatchService (한 Transaction) + ├─ cursor == 0 이면 SyncOrphanInspector (전역 고아 검사 1회) + ├─ id > cursor 인 DocumentVersion을 batch-size(기본 100)개 조회 + ├─ 버전마다 SyncConsistencyInspector.inspect() ─ 읽기만 함 + ├─ SyncConsistencyIssueService.detect() ─ issueKey로 같은 Issue 행에 수렴 + ├─ REPAIR 이고 repairable 이고 Issue가 OPEN 이면 + │ SyncEventWriter.recordDocumentReindexRequested() → Issue REPAIRING + └─ 이번에 관찰되지 않은 활성 Issue → RESOLVED + │ + ▼ (Outbox) +Dispatcher → DocumentVersionSyncEventHandler + ├─ 최근 Job 없음 + 처리 중 버전 → 새 Job 생성 + ├─ 최근 Job FAILED → 기존 수동 재처리 경로 + ├─ 최근 Job PENDING/PROCESSING → 재사용(아무것도 안 함) + └─ 최근 Job INDEXED → IndexedVersionVectorRepairService + (문서 INDEXING, 버전 CHUNKED로 되돌리고 새 Job 생성) + │ + ▼ +Worker → 누락 Chunk의 Vector만 저장 → INDEXED + │ + ▼ +다음 점검에서 같은 issueKey가 관찰되지 않으면 Issue RESOLVED +``` + +Issue는 복구 Event가 성공했다고 바로 닫히지 않는다. **다음 점검에서 문제가 다시 관찰되지 않아야** `RESOLVED`가 된다. + +## 3. 8가지 검사 + +| 유형 | 탐지 조건 (코드 기준) | 심각도 | 자동 복구 | Issue 범위 | 이번 시험 | +| --- | --- | --- | --- | --- | --- | +| `MISSING_JOB` | 버전이 `UPLOADED`·`PARSING`·`CHUNKED`·`EMBEDDING`인데 `PENDING`·`PROCESSING` Job이 없음 | ERROR | 가능 | 버전·모델 | 완결 증명 B | +| `MISSING_CHUNKS` | 버전이 `CHUNKED`·`EMBEDDING`·`INDEXED`인데 Chunk 0개 | CRITICAL | 불가 | 버전·모델 | 미주입 | +| `MISSING_EMBEDDINGS` | 현재 `INDEXED` 버전의 Chunk 수가 활성 모델 ACTIVE Vector 수보다 많음 | CRITICAL | 활성 모델 Vector가 모두 ACTIVE이고 일부만 빠졌을 때만 | 버전·모델 | 완결 증명 A | +| `MODEL_MISMATCH` | 위와 같지만 활성 모델 Vector가 0이고 다른 모델 Vector가 Chunk 수 이상 | CRITICAL | 불가 | 버전·모델 | 미주입 | +| `INVALID_CURRENT_VERSION` | `INDEXED` 문서의 `current_version_id`가 없거나, 가리키는 버전이 `INDEXED`가 아니거나 다른 문서 소속 | CRITICAL | 불가 | 문서 | 미주입 | +| `STALLED_VERSION` | 처리 중 버전의 `updated_at`이 임계값(기본 15분)보다 오래됨. 살아 있는 Job이 있으면 WARNING, 없으면 ERROR | WARNING·ERROR | 불가 | 버전·모델 | 보고 사례 | +| `DELETED_DOCUMENT_RESIDUE` | `DELETED` 문서의 현재 버전을 검사할 때 그 문서에 ACTIVE Vector가 남아 있음 | CRITICAL | 불가 | 문서 | 보고 사례 | +| `ORPHANED_DATA` | 버전·문서를 잃은 Chunk, 또는 Chunk·문서·버전·모델 중 하나를 잃은 Vector가 하나라도 있음. cursor 0일 때만 전역 1회 | CRITICAL | 불가 | 전역 | 미주입 | + +- 한 버전에서 여러 문제가 함께 나오면 모두 기록한다. 이번 시험에서도 `STALLED_VERSION`과 `MISSING_JOB`이 같은 버전에서 함께 나왔다. +- 같은 문제는 `issueKey`(예: `MISSING_JOB:VERSION:5:MODEL:1`)로 같은 행에 모인다. 다시 관찰되면 심각도·근거 JSON·마지막 관찰 시각만 갱신한다. +- 점검에는 활성·검색 가능 임베딩 모델이 정확히 하나 있어야 한다. 0개나 2개 이상이면 배치가 실패하고 실행 이력이 `FAILED`로 남는다. + +## 4. 왜 대부분은 보고만 하는가 + +자동 복구는 **기존 데이터를 지우거나 덮지 않고, 기존 Job Queue 경로로 빠진 것만 다시 만들 수 있을 때**로 제한했다. +코드 주석에도 "currentVersion 모순, 기존 Vector 행의 상태 손상과 삭제 잔여물은 항상 보고 전용", "데이터 삭제나 currentVersion 변경은 수행하지 않는다"고 적혀 있다. + +| 유형 | 자동으로 고치지 않는 이유 | +| --- | --- | +| `MISSING_CHUNKS` | 다시 만들려면 원본 파일을 다시 Parsing해야 한다. 원본 저장소 상태를 Reconciler가 보장할 수 없고, 이미 `INDEXED`인 버전을 앞 단계로 되돌리는 판단이 필요하다 | +| `MODEL_MISMATCH` | 모델 전환은 별도 흐름(`EMBEDDING_MODEL_ACTIVATED`)이 맡는다. 다른 모델 Vector를 지우거나 대체하는 결정은 운영 판단이다 | +| `INVALID_CURRENT_VERSION` | 어느 버전을 현재 버전으로 볼지 Reconciler가 정할 근거가 없다. 포인터를 바꾸면 사용자에게 보이는 문서 내용이 바뀐다 | +| `STALLED_VERSION` | 원인이 느린 Worker인지, 멈춘 Worker인지, Job 누락인지 단정할 수 없다. Job 누락은 `MISSING_JOB`이 따로 잡아 복구한다 | +| `DELETED_DOCUMENT_RESIDUE` | 정상 경로는 `DOCUMENT_DELETED` Outbox Event다. 이 Event가 Vector를 `STALE`로 바꾼다. Reconciler가 같은 일을 하면 삭제 경로가 둘이 된다 | +| `ORPHANED_DATA` | 해결하려면 물리 삭제가 필요하다 | +| `MISSING_EMBEDDINGS` 일부 | 활성 모델 Vector 중 ACTIVE가 아닌 행이 섞여 있으면 어떤 행을 믿을지 정할 수 없어 보고만 한다 | + +자동 복구도 다음 조건을 모두 통과해야 한다. + +1. Inspector가 `repairable=true`로 표시했다. +2. Issue가 `OPEN`이다. `REPAIRING`·`IGNORED`는 다시 예약하지 않는다. +3. Outbox 멱등 키에 Issue Key와 복구 시도 번호가 들어가, 같은 시도는 Event 하나로 모인다. +4. Handler는 살아 있는 Job이 이미 있으면 새 Job을 만들지 않고 재사용한다. Vector 복구를 맡는 `IndexedVersionVectorRepairService`는 버전·문서 행을 잠근 뒤 대상을 다시 검증한다. 현재 버전이 아니거나, 살아 있는 Job이 있거나, Vector Set이 이미 완전하면 거부한다. + +## 5. 두 모드 + +| | `DRY_RUN` | `REPAIR` | +| --- | --- | --- | +| Issue 생성·갱신·종결 | 한다 | 한다 | +| 실행 이력(`sync_reconciliation_runs`) | 남긴다 | 남긴다 | +| 수동 실행 시 감사 Action | 남긴다 | 남긴다 | +| 복구 Outbox Event | 만들지 않는다 | 안전한 `OPEN` Issue에만 만든다 | + +**`DRY_RUN`은 읽기 전용이 아니다.** Issue와 실행 이력을 DB에 쓴다. 차이는 복구 Event를 만드는지뿐이다. + +## 6. API 명세 + +모든 경로는 `/admin/**`이므로 ADMIN 권한이 필요하다. 인증 실패는 401, 권한 부족은 403이다. + +### `POST /admin/sync/reconcile` + +| 항목 | 내용 | +| --- | --- | +| 요청 | `{"cursor": 0, "mode": "DRY_RUN"}`. `mode` 필수(`DRY_RUN`·`REPAIR`), `cursor` 0 이상 | +| 동작 | `id > cursor`인 버전을 **배치 하나**(기본 100개)만 검사한다. cursor 0이면 전역 고아 검사도 한다 | +| 응답 200 | `runId`, `startCursor`, `endCursor`, `scannedCount`, `detectedCount`, `repairRequestedCount`, `hasMore`, `action` | +| 전체 점검 | `hasMore=true`면 `endCursor`를 다음 `cursor`로 넣어 `false`가 될 때까지 반복한다 | +| 400 | `mode` 누락·알 수 없는 값, 음수 `cursor` | +| 실패 | 검사 Transaction 예외 시 Issue·Event 변경은 롤백되고, 실행 이력만 `FAILED`와 오류 코드로 남는다. 감사 Action은 남지 않는다 | + +`hasMore`는 "이번 배치가 batch-size만큼 찼는가"로 계산한다. 그래서 버전 수가 batch-size의 배수면 마지막에 빈 배치가 한 번 더 돈다. + +### 그 밖의 관련 API + +| API | 내용 | 오류 | +| --- | --- | --- | +| `GET /admin/sync/summary` | Event·Issue·마지막 점검 요약 | — | +| `GET /admin/sync/issues` | `status`·`issueType`·`severity` 필터, 페이지 크기 1~100 | 400 | +| `POST /admin/sync/issues/{id}/repair` | Issue 하나를 행 잠금 뒤 복구 예약 | 404 `SYNC-005`, 409 `SYNC-006`(OPEN이 아니거나 `repairable=false`) | +| `POST /admin/sync/issues/{id}/ignore` | 사유와 함께 `IGNORED`로 종결 | 404 `SYNC-005`, 409 `SYNC-007`(OPEN이 아님) | + +### 관리 화면 + +관리 화면의 "상태 검사 실행" 버튼은 `{"mode": "REPAIR", "cursor": 0}`으로 배치 하나를 실행한다(`frontend/app/features/AdminPages.tsx`). +버튼을 한 번 누르는 것은 `DRY_RUN`이 아니며, 버전이 100개를 넘으면 전체 점검도 아니다. 이번 시험에서 화면은 열지 않았고 같은 API를 직접 호출했다. + +## 7. Issue 생명주기 + +```text + 탐지 REPAIR 예약 + (없음) ────▶ OPEN ───────────────▶ REPAIRING + │ ▲ │ + 관리자 무시 │ │ 다시 관찰 │ 다음 점검에서 관찰 안 됨 + ▼ │ ▼ + IGNORED RESOLVED ◀──────────┘ + (OPEN에서도 관찰 안 되면 RESOLVED) +``` + +- `RESOLVED` 뒤 같은 문제가 다시 관찰되면 `OPEN`으로 돌아가고 해결 정보는 지워진다. +- `IGNORED`는 다시 관찰돼도 상태를 유지하고 근거만 갱신한다. +- `MISSING_JOB`의 `RESOLVED`는 "살아 있는 Job이 다시 생겼다"는 뜻이다. 문서가 검색 가능해졌다는 뜻은 아니다. + +## 8. 주기 점검이 기본으로 꺼진 이유 + +`sync.reconciliation.enabled` 기본값은 `false`, 모드 기본값은 `DRY_RUN`, 주기는 5분이다. +도입 커밋과 PR #171 본문에는 기본값을 끈 이유가 남아 있지 않다. 아래는 **코드 동작과 이번 시험으로 확인한 사실에 근거한 판단**이다. + +1. **`DRY_RUN`도 쓰기 작업이다.** 켜 두면 모든 환경에서 5분마다 Issue·실행 이력을 쓴다. +2. **`REPAIR`는 사용자에게 보이는 상태를 바꾼다.** `MISSING_EMBEDDINGS` 복구 중에는 문서가 `INDEXING`이 되어 일반 검색에서 빠진다. 이번 시험에서 약 14초였다. Worker는 Chunk 전체를 다시 임베딩하고 빠진 것만 저장하므로, 임베딩 서버 부하도 생긴다. +3. **다중 인스턴스 중복 방지가 없다.** 아래 9절 참고. +4. **오탐이 있었다.** 이번 시험에서 정상 삭제된 문서에 `MISSING_EMBEDDINGS`가 남는 것을 확인했다(10절, 수정은 #518). 수정 전 코드로 켜 두면 삭제할 때마다 CRITICAL Issue가 쌓인다. + +그래서 현재는 운영자가 수동 API로 범위와 모드를 정해 실행하는 것을 기본 경로로 본다. + +## 9. A/B 중복 실행 한계 (분석, 시험하지 않음) + +이번 시험은 Backend 1대였다. 아래는 코드를 읽고 내린 분석이며 실제 A/B 환경에서 재현하지 않았다. + +- **스케줄러 중복 방지는 JVM 하나 안에서만 동작한다.** `SyncReconciliationScheduler`는 `AtomicBoolean`으로 같은 인스턴스의 겹친 실행만 막는다. cursor도 메모리의 `AtomicLong`이라 인스턴스마다 따로 있고, 재시작하면 0으로 돌아간다. A와 B에서 모두 켜면 같은 범위를 각자 점검한다. +- **수동 실행은 스케줄러 가드를 거치지 않는다.** `POST /admin/sync/reconcile`은 Orchestrator를 바로 부른다. 그래서 한 인스턴스 안에서도 주기 실행과 겹칠 수 있다. +- **새 Issue를 동시에 만들면 한쪽이 실패할 수 있다.** 배치는 `findByIssueKey`를 잠금 없이 조회한 뒤 없으면 INSERT한다. 두 배치가 같은 새 문제를 동시에 보면, 한쪽은 `issue_key` 유일 제약에 걸려 배치 전체가 롤백되고 실행 이력이 `FAILED`가 될 것으로 본다. +- **복구 Event는 하나로 모일 가능성이 높다.** 두 배치가 같은 `OPEN` Issue를 같은 시도 번호로 보면 Outbox 멱등 키가 같아 `ON CONFLICT`로 Event 하나에 모인다. 다만 Issue 행 갱신에는 잠금·버전 컬럼이 없어, 복구 시도 횟수가 실제보다 적게 남을 수 있다. +- **대응은 이번 범위 밖이다.** 주기 점검을 켜야 한다면 한 인스턴스에서만 켜는 것이 현재 가능한 운영 방법이다. DB advisory lock 같은 분산 잠금은 후속 과제다. + +## 10. 검증 결과와 알려진 한계 + +2026-10-16 로컬 격리 환경(develop `f238caf` JAR, PostgreSQL 17.8·pgvector 0.8.1, BGE-M3, 시험 문서 4건)에서 실행했다. +[실행별 기록](../test-results/reconciler-repair-20261016/README.md) + +| 실행 | 결과 | +| --- | --- | +| 기준선 | 버전 2개, Issue 0건 | +| 증명 A `MISSING_EMBEDDINGS` | Vector 1행 삭제 → 탐지 → Event 1 → 새 Job 1 → `INDEXED` → `RESOLVED`. 기존 Vector 4행 ID·해시 보존, 누락 1행만 같은 해시로 추가, 검색 1위가 복구 Vector | +| 증명 B `MISSING_JOB` | Job 삭제 → Dispatcher 재생성 없음 → 탐지 → Event 1 → 새 Job → Worker 켠 뒤 `INDEXED`, 검색 반환 | +| 보고 `DELETED_DOCUMENT_RESIDUE` | `CRITICAL` 보고, `REPAIR` 0건, 단건 복구 409. 잔여 중 검색 0건. 삭제 Event 처리 뒤 `RESOLVED` | +| 보고 `STALLED_VERSION` | WARNING → Job 삭제 뒤 `MISSING_JOB`과 동시 탐지·ERROR. `REPAIR`는 `MISSING_JOB`만 예약. Worker 처리 뒤 `RESOLVED` | +| 최종 | Vector·live Job 중복 0, 미처리 Outbox 0. OPEN Issue 1건(아래 오탐) | + +알려진 한계: + +- **삭제 문서 오탐(이번 시험에서 발견, 수정은 #518).** 삭제 Event가 정상 처리되어 Vector가 모두 `STALE`이 되면, 삭제된 문서의 현재 버전에 `MISSING_EMBEDDINGS`(CRITICAL, 보고 전용)가 열린다. Chunk·Vector 검사가 문서의 `DELETED` 상태를 제외하지 않았기 때문이다. #518에서 삭제 문서를 이 검사에서 제외하고 실제 삭제 경로로 재시험했다([수정 설계](gimin-%23518-deleted-document-embedding-false-positive.md)). +- `DELETED_DOCUMENT_RESIDUE`의 `actualJson`은 실제 개수 대신 `">0"`만 기록한다. +- 수동 API 한 번은 배치 하나만 돈다. 전체 점검은 호출자가 cursor를 이어 가야 한다. +- `MISSING_CHUNKS`·`MODEL_MISMATCH`·`INVALID_CURRENT_VERSION`·`ORPHANED_DATA`는 이번에 주입하지 않았다. 또 `backend/src/test`에서 이 네 유형 이름으로 찾히는 자동 시험도 없다. 이 네 유형의 탐지 조건은 코드로만 확인한 상태다. 기존 자동 시험은 `MISSING_JOB`(#168 통합 시험 등)과 `MISSING_EMBEDDINGS`(`SyncConsistencyInspectorTest`)를 다룬다. +- 주기 점검, A/B 다중 Backend, 대량 문서, 관리 화면 조작은 시험하지 않았다. diff --git a/docs/test-results/reconciler-repair-20261016/README.md b/docs/test-results/reconciler-repair-20261016/README.md new file mode 100644 index 00000000..e1f3c4ea --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/README.md @@ -0,0 +1,65 @@ +# 정합성 점검기(Reconciler) 복구·보고 격리 시험 + +2026-10-16 KST에 develop `f238caf` JAR, 로컬 격리 PostgreSQL·Valkey·BGE-M3 컨테이너, 시험 문서 4건으로 Reconciler를 시험했다. 공개 서비스, GCP, 기존 로컬 DB와 사용자 데이터는 쓰지 않았다. 새 점검 로직이나 설정 변경 없이 기존 코드를 실행했다. + +- 이슈: [#517](https://github.com/DocGrid/docgrid/issues/517) +- 설계: [정합성 점검기 설계](../../design/gimin-%23517-reconciler-consistency-check.md) + +**복구 증명 2건(`MISSING_EMBEDDINGS`, `MISSING_JOB`)은 탐지부터 재점검 종결까지 통과했다. 보고 사례 2건(`DELETED_DOCUMENT_RESIDUE`, `STALLED_VERSION`)은 자동 복구 없이 보고만 했다. 단, 정상 삭제된 문서에 `MISSING_EMBEDDINGS`가 남는 기대와 다른 결과 1건을 발견했다. 이 시험에서는 코드를 고치지 않았고, 수정과 재시험은 [#518](https://github.com/DocGrid/docgrid/issues/518)에서 했다.** + +## 실행 결과 + +| 실행 | 목적 | 주입 | 관측 | 판정 | +| --- | --- | --- | --- | --- | +| [run-baseline-01](run-baseline-01/README.md) | 깨끗한 상태 기준선 | 없음 | 버전 2개 점검, Issue 0건 | 통과 | +| [run-missing-embeddings-01](run-missing-embeddings-01/README.md) | Vector 누락 완결 복구 | ACTIVE Vector 1행 삭제 | 탐지 → Event 1 → 새 Job 1 → Worker → `RESOLVED`. 기존 Vector 4행 ID·해시 보존, 누락 1행만 같은 해시로 추가. 검색 1위가 복구 Vector | 통과 | +| [run-missing-job-01](run-missing-job-01/README.md) | Job 누락 완결 복구 | attempt 없는 `PENDING` Job 삭제 | Dispatcher가 재생성하지 않음 → 탐지 → Event 1 → 새 Job → Worker 켠 뒤 `INDEXED`. 검색 1·2위가 시험 문서 | 통과 | +| [run-deleted-residue-01](run-deleted-residue-01/README.md) | 삭제 문서 잔여 보고 | SQL 없음. Dispatcher 끈 채 정상 삭제 | `CRITICAL` 보고, `REPAIR` 0건, 단건 복구 409. 잔여 중 검색 0건. Outbox 처리 뒤 `RESOLVED` | **부분 통과**: 기대와 다른 `MISSING_EMBEDDINGS` 1건 | +| [run-stalled-version-01](run-stalled-version-01/README.md) | 정체 버전 보고와 동시 탐지 | `updated_at` 20분 과거로, 이어서 Job 삭제 | `STALLED_VERSION` `WARNING` → Job 삭제 뒤 `MISSING_JOB`과 동시 탐지, 정체는 `ERROR`로 상향. `REPAIR`는 `MISSING_JOB`만 예약 | 통과 | +| [run-final-check-01](run-final-check-01/README.md) | 최종 점검·무결성 | 없음 | OPEN 1건(위 기대와 다른 결과). Vector·Job 중복 0, 미처리 Outbox 0 | 기록 | + +## 기대와 다른 결과 + +[run-deleted-residue-01](run-deleted-residue-01/README.md#기대와-다른-결과-정상-삭제-뒤-missing_embeddings-보고)에서 삭제 Event가 정상 처리되어 Vector가 모두 STALE이 된 뒤, 삭제된 문서의 현재 버전에 `MISSING_EMBEDDINGS`(`CRITICAL`, `repairable=false`)가 새로 열렸다. 이 Issue는 최종 점검까지 `OPEN`이었다. + +코드상으로는 `SyncConsistencyInspector`의 Chunk·Vector 검사가 문서의 `DELETED` 상태를 제외하지 않는 것으로 보인다. 이 결과로 볼 때 정상 삭제된 문서마다 해소되지 않는 Issue가 하나씩 남을 수 있다. 자동 복구 Event는 만들지 않는다. 시험 지시에 따라 이 시험에서는 고치지 않았다. 원인 확인·수정·재시험은 [#518 검증 기록](../deleted-document-false-positive-20261016/README.md)에 있다. + +## 환경 + +| 항목 | 값 | +| --- | --- | +| 실행 위치 | 로컬 macOS arm64, Temurin 17.0.18, Docker Desktop VM 7.75GiB | +| 앱 | develop `f238caf` bootJar, SHA-256 `f86e7da61fe9bfab5641a38a16935ba88468e9b86528e4797735f2c8a8d3057f` | +| DB | `pgvector/pgvector:0.8.1-pg17` 새 컨테이너. PostgreSQL 17.8, pgvector 0.8.1. 127.0.0.1 바인딩 | +| 기타 | Valkey 9.1 새 컨테이너, 저장소 `STORAGE_TYPE=local` 임시 디렉터리 | +| 임베딩 | 기존 `docgrid-embedding-server` 이미지의 새 컨테이너. 모델 캐시 volume을 읽기 전용으로 붙이고 오프라인 모드. BAAI/bge-m3 | +| RAG | `OLLAMA_SERVER_URL`을 닫힌 로컬 포트로 지정. 검색 뒤 RAG는 `FAILED`, 범위 밖 | +| Reconciler 설정 | 모두 기본값: 주기 점검 꺼짐, 배치 100, 정체 임계값 15분. 수동 API만 사용 | +| 계정 | Flyway `V28` 시드 ADMIN 계정(시험 DB 안에만 존재) | +| 문서 | [입력 생성기](inputs/generate_inputs.py)로 만든 가상 주제 TXT 4건, 각 Chunk 5개 | + +Backend는 같은 JAR와 DB로 네 단계에 걸쳐 다시 띄웠다. 바꾼 것은 Worker·Dispatcher 켜짐 여부뿐이다. + +| 단계 | Worker | Dispatcher | 사용한 실행 | +| --- | --- | --- | --- | +| 1 | 켬 | 켬 | 기준선, 증명 A, 문서 C 인덱싱 | +| 2 | 끔 | 끔 | 문서 C 삭제와 잔여 탐지 | +| 3 | 끔 | 켬 | 잔여 해소, 증명 B 주입·복구 예약, 정체 버전 | +| 4 | 켬 | 켬 | B·D 인덱싱 완료, 최종 점검 | + +재현용 스크립트는 [scripts/](scripts/)에, 상태 조회 SQL은 [sql/](sql/)에, 단계별 Backend 핵심 로그는 [logs/](logs/)에 있다. DB 비밀번호와 JWT 비밀값은 실행마다 새로 만들었고 시험 뒤 삭제했다. 증거 파일에는 토큰을 남기지 않았다. + +## 해석 범위 + +- 문서 4건과 Chunk 20개로 한 로컬 실행이다. 실제 운영 데이터, 대량 문서, 동시 부하, A/B 다중 Backend, 주기 점검 경로는 시험하지 않았다. +- 장애는 SQL과 Worker·Dispatcher 정지로 만든 제어된 상태다. 실제 장애 원인을 재현한 것은 아니다. +- `MISSING_CHUNKS`, `MODEL_MISMATCH`, `INVALID_CURRENT_VERSION`, `ORPHANED_DATA`는 이번에 주입하지 않았다. +- 관리 화면은 열지 않았다. 모든 호출은 관리자 REST API로 했다. +- 시간 값은 이 실행에서 관측한 값이며 처리 속도 기준으로 쓰지 않는다. + +## 정리 + +- 단계마다 Backend를 SIGTERM으로 종료했다. Worker는 `graceful=true`로 종료됐다. +- 시험 컨테이너 3개(`docgrid-reconcile-pg/valkey/embedding-20261016`)를 `docker rm -f -v`로 익명 볼륨까지 삭제했고, 남은 컨테이너 0개를 확인했다. +- 임시 저장소 디렉터리, 비밀값 파일, 토큰, 질문 Vector 파일을 삭제했다. +- 기존 컨테이너(`docgrid-postgres17`, `docgrid-embedding` 등)와 다른 시험의 DB는 건드리지 않았다. diff --git a/docs/test-results/reconciler-repair-20261016/inputs/generate_inputs.py b/docs/test-results/reconciler-repair-20261016/inputs/generate_inputs.py new file mode 100644 index 00000000..e1288315 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/inputs/generate_inputs.py @@ -0,0 +1,46 @@ +"""시험 전용 TXT 문서 4개를 결정적으로 생성한다. 실제 사용자 데이터가 아니다.""" +import sys, pathlib +out = pathlib.Path(sys.argv[1]) +docs = { + "rc517-a-harbor.txt": ("RC517A 가상 항만 야적장 운영 지침", [ + "RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다.", + "컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다.", + "냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다.", + "크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다.", + "야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다.", + "위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다.", + ]), + "rc517-b-observatory.txt": ("RC517B 가상 산악 천문대 관측 운영 기록", [ + "RC517B 천문대는 가상의 시험용 관측소이며 실제 기관이 아니다.", + "관측 전에는 돔 내부와 외부의 온도 차를 줄이기 위해 한 시간 동안 환기한다.", + "구름 덮임이 사십 퍼센트를 넘으면 분광 관측을 멈추고 측광 관측으로 전환한다.", + "망원경 초점은 기온이 이 도 이상 변할 때마다 표준성으로 다시 맞춘다.", + "관측 자료는 원본과 보정본을 따로 저장하고 보정 단계마다 처리 시각을 남긴다.", + "달이 밝은 밤에는 장노출 촬영을 줄이고 밝은 변광성 위주로 일정을 바꾼다.", + ]), + "rc517-c-apiary.txt": ("RC517C 가상 양봉장 계절 관리 기록", [ + "RC517C 양봉장은 가상의 시험용 농장이며 실제 농가가 아니다.", + "봄철 첫 내검에서는 여왕벌 산란 상태와 저장 꿀의 양을 함께 확인한다.", + "분봉 징후가 보이면 왕대를 정리하고 빈 소비를 넣어 공간을 넓힌다.", + "장마 기간에는 벌통 받침을 높이고 출입구 주변의 물 고임을 막는다.", + "가을에는 월동 먹이를 충분히 남기고 응애 방제 기록을 통별로 정리한다.", + "겨울에는 벌통을 열지 않고 바깥 소리와 사체 수로 군세를 추정한다.", + ]), + "rc517-d-bakery.txt": ("RC517D 가상 제빵 공정 표준서", [ + "RC517D 제빵소는 가상의 시험용 공방이며 실제 사업장이 아니다.", + "반죽 온도는 이십육 도를 목표로 하고 물 온도로 계절 차이를 보정한다.", + "일차 발효는 부피가 두 배가 될 때까지 진행하고 손가락 자국으로 상태를 확인한다.", + "분할한 반죽은 무게 편차가 삼 그램을 넘지 않도록 다시 계량한다.", + "오븐은 굽기 삼십 분 전에 예열하고 첫 판은 온도계로 실제 온도를 확인한다.", + "구운 빵은 식힘 선반에서 중심 온도가 내려간 뒤에 포장한다.", + ]), +} +for name, (title, sentences) in docs.items(): + lines = [title, ""] + for section in range(1, 9): + lines.append(f"제{section}절. {title} 세부 항목 {section}") + for i, s in enumerate(sentences): + lines.append(f"{section}-{i+1}. {s} 이 항목은 {section}번째 점검 주기에 적용한다.") + lines.append("") + (out / name).write_text("\n".join(lines), encoding="utf-8") + print(name, len("\n".join(lines))) diff --git a/docs/test-results/reconciler-repair-20261016/inputs/rc517-a-harbor.txt b/docs/test-results/reconciler-repair-20261016/inputs/rc517-a-harbor.txt new file mode 100644 index 00000000..9b77eb9b --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/inputs/rc517-a-harbor.txt @@ -0,0 +1,65 @@ +RC517A 가상 항만 야적장 운영 지침 + +제1절. RC517A 가상 항만 야적장 운영 지침 세부 항목 1 +1-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 1번째 점검 주기에 적용한다. +1-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 1번째 점검 주기에 적용한다. +1-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 1번째 점검 주기에 적용한다. +1-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 1번째 점검 주기에 적용한다. +1-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 1번째 점검 주기에 적용한다. +1-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 1번째 점검 주기에 적용한다. + +제2절. RC517A 가상 항만 야적장 운영 지침 세부 항목 2 +2-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 2번째 점검 주기에 적용한다. +2-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 2번째 점검 주기에 적용한다. +2-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 2번째 점검 주기에 적용한다. +2-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 2번째 점검 주기에 적용한다. +2-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 2번째 점검 주기에 적용한다. +2-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 2번째 점검 주기에 적용한다. + +제3절. RC517A 가상 항만 야적장 운영 지침 세부 항목 3 +3-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 3번째 점검 주기에 적용한다. +3-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 3번째 점검 주기에 적용한다. +3-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 3번째 점검 주기에 적용한다. +3-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 3번째 점검 주기에 적용한다. +3-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 3번째 점검 주기에 적용한다. +3-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 3번째 점검 주기에 적용한다. + +제4절. RC517A 가상 항만 야적장 운영 지침 세부 항목 4 +4-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 4번째 점검 주기에 적용한다. +4-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 4번째 점검 주기에 적용한다. +4-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 4번째 점검 주기에 적용한다. +4-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 4번째 점검 주기에 적용한다. +4-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 4번째 점검 주기에 적용한다. +4-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 4번째 점검 주기에 적용한다. + +제5절. RC517A 가상 항만 야적장 운영 지침 세부 항목 5 +5-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 5번째 점검 주기에 적용한다. +5-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 5번째 점검 주기에 적용한다. +5-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 5번째 점검 주기에 적용한다. +5-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 5번째 점검 주기에 적용한다. +5-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 5번째 점검 주기에 적용한다. +5-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 5번째 점검 주기에 적용한다. + +제6절. RC517A 가상 항만 야적장 운영 지침 세부 항목 6 +6-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 6번째 점검 주기에 적용한다. +6-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 6번째 점검 주기에 적용한다. +6-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 6번째 점검 주기에 적용한다. +6-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 6번째 점검 주기에 적용한다. +6-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 6번째 점검 주기에 적용한다. +6-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 6번째 점검 주기에 적용한다. + +제7절. RC517A 가상 항만 야적장 운영 지침 세부 항목 7 +7-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 7번째 점검 주기에 적용한다. +7-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 7번째 점검 주기에 적용한다. +7-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 7번째 점검 주기에 적용한다. +7-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 7번째 점검 주기에 적용한다. +7-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 7번째 점검 주기에 적용한다. +7-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 7번째 점검 주기에 적용한다. + +제8절. RC517A 가상 항만 야적장 운영 지침 세부 항목 8 +8-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 8번째 점검 주기에 적용한다. +8-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 8번째 점검 주기에 적용한다. +8-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 8번째 점검 주기에 적용한다. +8-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 8번째 점검 주기에 적용한다. +8-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 8번째 점검 주기에 적용한다. +8-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 8번째 점검 주기에 적용한다. diff --git a/docs/test-results/reconciler-repair-20261016/inputs/rc517-b-observatory.txt b/docs/test-results/reconciler-repair-20261016/inputs/rc517-b-observatory.txt new file mode 100644 index 00000000..9bc95462 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/inputs/rc517-b-observatory.txt @@ -0,0 +1,65 @@ +RC517B 가상 산악 천문대 관측 운영 기록 + +제1절. RC517B 가상 산악 천문대 관측 운영 기록 세부 항목 1 +1-1. RC517B 천문대는 가상의 시험용 관측소이며 실제 기관이 아니다. 이 항목은 1번째 점검 주기에 적용한다. +1-2. 관측 전에는 돔 내부와 외부의 온도 차를 줄이기 위해 한 시간 동안 환기한다. 이 항목은 1번째 점검 주기에 적용한다. +1-3. 구름 덮임이 사십 퍼센트를 넘으면 분광 관측을 멈추고 측광 관측으로 전환한다. 이 항목은 1번째 점검 주기에 적용한다. +1-4. 망원경 초점은 기온이 이 도 이상 변할 때마다 표준성으로 다시 맞춘다. 이 항목은 1번째 점검 주기에 적용한다. +1-5. 관측 자료는 원본과 보정본을 따로 저장하고 보정 단계마다 처리 시각을 남긴다. 이 항목은 1번째 점검 주기에 적용한다. +1-6. 달이 밝은 밤에는 장노출 촬영을 줄이고 밝은 변광성 위주로 일정을 바꾼다. 이 항목은 1번째 점검 주기에 적용한다. + +제2절. RC517B 가상 산악 천문대 관측 운영 기록 세부 항목 2 +2-1. RC517B 천문대는 가상의 시험용 관측소이며 실제 기관이 아니다. 이 항목은 2번째 점검 주기에 적용한다. +2-2. 관측 전에는 돔 내부와 외부의 온도 차를 줄이기 위해 한 시간 동안 환기한다. 이 항목은 2번째 점검 주기에 적용한다. +2-3. 구름 덮임이 사십 퍼센트를 넘으면 분광 관측을 멈추고 측광 관측으로 전환한다. 이 항목은 2번째 점검 주기에 적용한다. +2-4. 망원경 초점은 기온이 이 도 이상 변할 때마다 표준성으로 다시 맞춘다. 이 항목은 2번째 점검 주기에 적용한다. +2-5. 관측 자료는 원본과 보정본을 따로 저장하고 보정 단계마다 처리 시각을 남긴다. 이 항목은 2번째 점검 주기에 적용한다. +2-6. 달이 밝은 밤에는 장노출 촬영을 줄이고 밝은 변광성 위주로 일정을 바꾼다. 이 항목은 2번째 점검 주기에 적용한다. + +제3절. RC517B 가상 산악 천문대 관측 운영 기록 세부 항목 3 +3-1. RC517B 천문대는 가상의 시험용 관측소이며 실제 기관이 아니다. 이 항목은 3번째 점검 주기에 적용한다. +3-2. 관측 전에는 돔 내부와 외부의 온도 차를 줄이기 위해 한 시간 동안 환기한다. 이 항목은 3번째 점검 주기에 적용한다. +3-3. 구름 덮임이 사십 퍼센트를 넘으면 분광 관측을 멈추고 측광 관측으로 전환한다. 이 항목은 3번째 점검 주기에 적용한다. +3-4. 망원경 초점은 기온이 이 도 이상 변할 때마다 표준성으로 다시 맞춘다. 이 항목은 3번째 점검 주기에 적용한다. +3-5. 관측 자료는 원본과 보정본을 따로 저장하고 보정 단계마다 처리 시각을 남긴다. 이 항목은 3번째 점검 주기에 적용한다. +3-6. 달이 밝은 밤에는 장노출 촬영을 줄이고 밝은 변광성 위주로 일정을 바꾼다. 이 항목은 3번째 점검 주기에 적용한다. + +제4절. RC517B 가상 산악 천문대 관측 운영 기록 세부 항목 4 +4-1. RC517B 천문대는 가상의 시험용 관측소이며 실제 기관이 아니다. 이 항목은 4번째 점검 주기에 적용한다. +4-2. 관측 전에는 돔 내부와 외부의 온도 차를 줄이기 위해 한 시간 동안 환기한다. 이 항목은 4번째 점검 주기에 적용한다. +4-3. 구름 덮임이 사십 퍼센트를 넘으면 분광 관측을 멈추고 측광 관측으로 전환한다. 이 항목은 4번째 점검 주기에 적용한다. +4-4. 망원경 초점은 기온이 이 도 이상 변할 때마다 표준성으로 다시 맞춘다. 이 항목은 4번째 점검 주기에 적용한다. +4-5. 관측 자료는 원본과 보정본을 따로 저장하고 보정 단계마다 처리 시각을 남긴다. 이 항목은 4번째 점검 주기에 적용한다. +4-6. 달이 밝은 밤에는 장노출 촬영을 줄이고 밝은 변광성 위주로 일정을 바꾼다. 이 항목은 4번째 점검 주기에 적용한다. + +제5절. RC517B 가상 산악 천문대 관측 운영 기록 세부 항목 5 +5-1. RC517B 천문대는 가상의 시험용 관측소이며 실제 기관이 아니다. 이 항목은 5번째 점검 주기에 적용한다. +5-2. 관측 전에는 돔 내부와 외부의 온도 차를 줄이기 위해 한 시간 동안 환기한다. 이 항목은 5번째 점검 주기에 적용한다. +5-3. 구름 덮임이 사십 퍼센트를 넘으면 분광 관측을 멈추고 측광 관측으로 전환한다. 이 항목은 5번째 점검 주기에 적용한다. +5-4. 망원경 초점은 기온이 이 도 이상 변할 때마다 표준성으로 다시 맞춘다. 이 항목은 5번째 점검 주기에 적용한다. +5-5. 관측 자료는 원본과 보정본을 따로 저장하고 보정 단계마다 처리 시각을 남긴다. 이 항목은 5번째 점검 주기에 적용한다. +5-6. 달이 밝은 밤에는 장노출 촬영을 줄이고 밝은 변광성 위주로 일정을 바꾼다. 이 항목은 5번째 점검 주기에 적용한다. + +제6절. RC517B 가상 산악 천문대 관측 운영 기록 세부 항목 6 +6-1. RC517B 천문대는 가상의 시험용 관측소이며 실제 기관이 아니다. 이 항목은 6번째 점검 주기에 적용한다. +6-2. 관측 전에는 돔 내부와 외부의 온도 차를 줄이기 위해 한 시간 동안 환기한다. 이 항목은 6번째 점검 주기에 적용한다. +6-3. 구름 덮임이 사십 퍼센트를 넘으면 분광 관측을 멈추고 측광 관측으로 전환한다. 이 항목은 6번째 점검 주기에 적용한다. +6-4. 망원경 초점은 기온이 이 도 이상 변할 때마다 표준성으로 다시 맞춘다. 이 항목은 6번째 점검 주기에 적용한다. +6-5. 관측 자료는 원본과 보정본을 따로 저장하고 보정 단계마다 처리 시각을 남긴다. 이 항목은 6번째 점검 주기에 적용한다. +6-6. 달이 밝은 밤에는 장노출 촬영을 줄이고 밝은 변광성 위주로 일정을 바꾼다. 이 항목은 6번째 점검 주기에 적용한다. + +제7절. RC517B 가상 산악 천문대 관측 운영 기록 세부 항목 7 +7-1. RC517B 천문대는 가상의 시험용 관측소이며 실제 기관이 아니다. 이 항목은 7번째 점검 주기에 적용한다. +7-2. 관측 전에는 돔 내부와 외부의 온도 차를 줄이기 위해 한 시간 동안 환기한다. 이 항목은 7번째 점검 주기에 적용한다. +7-3. 구름 덮임이 사십 퍼센트를 넘으면 분광 관측을 멈추고 측광 관측으로 전환한다. 이 항목은 7번째 점검 주기에 적용한다. +7-4. 망원경 초점은 기온이 이 도 이상 변할 때마다 표준성으로 다시 맞춘다. 이 항목은 7번째 점검 주기에 적용한다. +7-5. 관측 자료는 원본과 보정본을 따로 저장하고 보정 단계마다 처리 시각을 남긴다. 이 항목은 7번째 점검 주기에 적용한다. +7-6. 달이 밝은 밤에는 장노출 촬영을 줄이고 밝은 변광성 위주로 일정을 바꾼다. 이 항목은 7번째 점검 주기에 적용한다. + +제8절. RC517B 가상 산악 천문대 관측 운영 기록 세부 항목 8 +8-1. RC517B 천문대는 가상의 시험용 관측소이며 실제 기관이 아니다. 이 항목은 8번째 점검 주기에 적용한다. +8-2. 관측 전에는 돔 내부와 외부의 온도 차를 줄이기 위해 한 시간 동안 환기한다. 이 항목은 8번째 점검 주기에 적용한다. +8-3. 구름 덮임이 사십 퍼센트를 넘으면 분광 관측을 멈추고 측광 관측으로 전환한다. 이 항목은 8번째 점검 주기에 적용한다. +8-4. 망원경 초점은 기온이 이 도 이상 변할 때마다 표준성으로 다시 맞춘다. 이 항목은 8번째 점검 주기에 적용한다. +8-5. 관측 자료는 원본과 보정본을 따로 저장하고 보정 단계마다 처리 시각을 남긴다. 이 항목은 8번째 점검 주기에 적용한다. +8-6. 달이 밝은 밤에는 장노출 촬영을 줄이고 밝은 변광성 위주로 일정을 바꾼다. 이 항목은 8번째 점검 주기에 적용한다. diff --git a/docs/test-results/reconciler-repair-20261016/inputs/rc517-c-apiary.txt b/docs/test-results/reconciler-repair-20261016/inputs/rc517-c-apiary.txt new file mode 100644 index 00000000..1cfd4f9a --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/inputs/rc517-c-apiary.txt @@ -0,0 +1,65 @@ +RC517C 가상 양봉장 계절 관리 기록 + +제1절. RC517C 가상 양봉장 계절 관리 기록 세부 항목 1 +1-1. RC517C 양봉장은 가상의 시험용 농장이며 실제 농가가 아니다. 이 항목은 1번째 점검 주기에 적용한다. +1-2. 봄철 첫 내검에서는 여왕벌 산란 상태와 저장 꿀의 양을 함께 확인한다. 이 항목은 1번째 점검 주기에 적용한다. +1-3. 분봉 징후가 보이면 왕대를 정리하고 빈 소비를 넣어 공간을 넓힌다. 이 항목은 1번째 점검 주기에 적용한다. +1-4. 장마 기간에는 벌통 받침을 높이고 출입구 주변의 물 고임을 막는다. 이 항목은 1번째 점검 주기에 적용한다. +1-5. 가을에는 월동 먹이를 충분히 남기고 응애 방제 기록을 통별로 정리한다. 이 항목은 1번째 점검 주기에 적용한다. +1-6. 겨울에는 벌통을 열지 않고 바깥 소리와 사체 수로 군세를 추정한다. 이 항목은 1번째 점검 주기에 적용한다. + +제2절. RC517C 가상 양봉장 계절 관리 기록 세부 항목 2 +2-1. RC517C 양봉장은 가상의 시험용 농장이며 실제 농가가 아니다. 이 항목은 2번째 점검 주기에 적용한다. +2-2. 봄철 첫 내검에서는 여왕벌 산란 상태와 저장 꿀의 양을 함께 확인한다. 이 항목은 2번째 점검 주기에 적용한다. +2-3. 분봉 징후가 보이면 왕대를 정리하고 빈 소비를 넣어 공간을 넓힌다. 이 항목은 2번째 점검 주기에 적용한다. +2-4. 장마 기간에는 벌통 받침을 높이고 출입구 주변의 물 고임을 막는다. 이 항목은 2번째 점검 주기에 적용한다. +2-5. 가을에는 월동 먹이를 충분히 남기고 응애 방제 기록을 통별로 정리한다. 이 항목은 2번째 점검 주기에 적용한다. +2-6. 겨울에는 벌통을 열지 않고 바깥 소리와 사체 수로 군세를 추정한다. 이 항목은 2번째 점검 주기에 적용한다. + +제3절. RC517C 가상 양봉장 계절 관리 기록 세부 항목 3 +3-1. RC517C 양봉장은 가상의 시험용 농장이며 실제 농가가 아니다. 이 항목은 3번째 점검 주기에 적용한다. +3-2. 봄철 첫 내검에서는 여왕벌 산란 상태와 저장 꿀의 양을 함께 확인한다. 이 항목은 3번째 점검 주기에 적용한다. +3-3. 분봉 징후가 보이면 왕대를 정리하고 빈 소비를 넣어 공간을 넓힌다. 이 항목은 3번째 점검 주기에 적용한다. +3-4. 장마 기간에는 벌통 받침을 높이고 출입구 주변의 물 고임을 막는다. 이 항목은 3번째 점검 주기에 적용한다. +3-5. 가을에는 월동 먹이를 충분히 남기고 응애 방제 기록을 통별로 정리한다. 이 항목은 3번째 점검 주기에 적용한다. +3-6. 겨울에는 벌통을 열지 않고 바깥 소리와 사체 수로 군세를 추정한다. 이 항목은 3번째 점검 주기에 적용한다. + +제4절. RC517C 가상 양봉장 계절 관리 기록 세부 항목 4 +4-1. RC517C 양봉장은 가상의 시험용 농장이며 실제 농가가 아니다. 이 항목은 4번째 점검 주기에 적용한다. +4-2. 봄철 첫 내검에서는 여왕벌 산란 상태와 저장 꿀의 양을 함께 확인한다. 이 항목은 4번째 점검 주기에 적용한다. +4-3. 분봉 징후가 보이면 왕대를 정리하고 빈 소비를 넣어 공간을 넓힌다. 이 항목은 4번째 점검 주기에 적용한다. +4-4. 장마 기간에는 벌통 받침을 높이고 출입구 주변의 물 고임을 막는다. 이 항목은 4번째 점검 주기에 적용한다. +4-5. 가을에는 월동 먹이를 충분히 남기고 응애 방제 기록을 통별로 정리한다. 이 항목은 4번째 점검 주기에 적용한다. +4-6. 겨울에는 벌통을 열지 않고 바깥 소리와 사체 수로 군세를 추정한다. 이 항목은 4번째 점검 주기에 적용한다. + +제5절. RC517C 가상 양봉장 계절 관리 기록 세부 항목 5 +5-1. RC517C 양봉장은 가상의 시험용 농장이며 실제 농가가 아니다. 이 항목은 5번째 점검 주기에 적용한다. +5-2. 봄철 첫 내검에서는 여왕벌 산란 상태와 저장 꿀의 양을 함께 확인한다. 이 항목은 5번째 점검 주기에 적용한다. +5-3. 분봉 징후가 보이면 왕대를 정리하고 빈 소비를 넣어 공간을 넓힌다. 이 항목은 5번째 점검 주기에 적용한다. +5-4. 장마 기간에는 벌통 받침을 높이고 출입구 주변의 물 고임을 막는다. 이 항목은 5번째 점검 주기에 적용한다. +5-5. 가을에는 월동 먹이를 충분히 남기고 응애 방제 기록을 통별로 정리한다. 이 항목은 5번째 점검 주기에 적용한다. +5-6. 겨울에는 벌통을 열지 않고 바깥 소리와 사체 수로 군세를 추정한다. 이 항목은 5번째 점검 주기에 적용한다. + +제6절. RC517C 가상 양봉장 계절 관리 기록 세부 항목 6 +6-1. RC517C 양봉장은 가상의 시험용 농장이며 실제 농가가 아니다. 이 항목은 6번째 점검 주기에 적용한다. +6-2. 봄철 첫 내검에서는 여왕벌 산란 상태와 저장 꿀의 양을 함께 확인한다. 이 항목은 6번째 점검 주기에 적용한다. +6-3. 분봉 징후가 보이면 왕대를 정리하고 빈 소비를 넣어 공간을 넓힌다. 이 항목은 6번째 점검 주기에 적용한다. +6-4. 장마 기간에는 벌통 받침을 높이고 출입구 주변의 물 고임을 막는다. 이 항목은 6번째 점검 주기에 적용한다. +6-5. 가을에는 월동 먹이를 충분히 남기고 응애 방제 기록을 통별로 정리한다. 이 항목은 6번째 점검 주기에 적용한다. +6-6. 겨울에는 벌통을 열지 않고 바깥 소리와 사체 수로 군세를 추정한다. 이 항목은 6번째 점검 주기에 적용한다. + +제7절. RC517C 가상 양봉장 계절 관리 기록 세부 항목 7 +7-1. RC517C 양봉장은 가상의 시험용 농장이며 실제 농가가 아니다. 이 항목은 7번째 점검 주기에 적용한다. +7-2. 봄철 첫 내검에서는 여왕벌 산란 상태와 저장 꿀의 양을 함께 확인한다. 이 항목은 7번째 점검 주기에 적용한다. +7-3. 분봉 징후가 보이면 왕대를 정리하고 빈 소비를 넣어 공간을 넓힌다. 이 항목은 7번째 점검 주기에 적용한다. +7-4. 장마 기간에는 벌통 받침을 높이고 출입구 주변의 물 고임을 막는다. 이 항목은 7번째 점검 주기에 적용한다. +7-5. 가을에는 월동 먹이를 충분히 남기고 응애 방제 기록을 통별로 정리한다. 이 항목은 7번째 점검 주기에 적용한다. +7-6. 겨울에는 벌통을 열지 않고 바깥 소리와 사체 수로 군세를 추정한다. 이 항목은 7번째 점검 주기에 적용한다. + +제8절. RC517C 가상 양봉장 계절 관리 기록 세부 항목 8 +8-1. RC517C 양봉장은 가상의 시험용 농장이며 실제 농가가 아니다. 이 항목은 8번째 점검 주기에 적용한다. +8-2. 봄철 첫 내검에서는 여왕벌 산란 상태와 저장 꿀의 양을 함께 확인한다. 이 항목은 8번째 점검 주기에 적용한다. +8-3. 분봉 징후가 보이면 왕대를 정리하고 빈 소비를 넣어 공간을 넓힌다. 이 항목은 8번째 점검 주기에 적용한다. +8-4. 장마 기간에는 벌통 받침을 높이고 출입구 주변의 물 고임을 막는다. 이 항목은 8번째 점검 주기에 적용한다. +8-5. 가을에는 월동 먹이를 충분히 남기고 응애 방제 기록을 통별로 정리한다. 이 항목은 8번째 점검 주기에 적용한다. +8-6. 겨울에는 벌통을 열지 않고 바깥 소리와 사체 수로 군세를 추정한다. 이 항목은 8번째 점검 주기에 적용한다. diff --git a/docs/test-results/reconciler-repair-20261016/inputs/rc517-d-bakery.txt b/docs/test-results/reconciler-repair-20261016/inputs/rc517-d-bakery.txt new file mode 100644 index 00000000..a606e2b1 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/inputs/rc517-d-bakery.txt @@ -0,0 +1,65 @@ +RC517D 가상 제빵 공정 표준서 + +제1절. RC517D 가상 제빵 공정 표준서 세부 항목 1 +1-1. RC517D 제빵소는 가상의 시험용 공방이며 실제 사업장이 아니다. 이 항목은 1번째 점검 주기에 적용한다. +1-2. 반죽 온도는 이십육 도를 목표로 하고 물 온도로 계절 차이를 보정한다. 이 항목은 1번째 점검 주기에 적용한다. +1-3. 일차 발효는 부피가 두 배가 될 때까지 진행하고 손가락 자국으로 상태를 확인한다. 이 항목은 1번째 점검 주기에 적용한다. +1-4. 분할한 반죽은 무게 편차가 삼 그램을 넘지 않도록 다시 계량한다. 이 항목은 1번째 점검 주기에 적용한다. +1-5. 오븐은 굽기 삼십 분 전에 예열하고 첫 판은 온도계로 실제 온도를 확인한다. 이 항목은 1번째 점검 주기에 적용한다. +1-6. 구운 빵은 식힘 선반에서 중심 온도가 내려간 뒤에 포장한다. 이 항목은 1번째 점검 주기에 적용한다. + +제2절. RC517D 가상 제빵 공정 표준서 세부 항목 2 +2-1. RC517D 제빵소는 가상의 시험용 공방이며 실제 사업장이 아니다. 이 항목은 2번째 점검 주기에 적용한다. +2-2. 반죽 온도는 이십육 도를 목표로 하고 물 온도로 계절 차이를 보정한다. 이 항목은 2번째 점검 주기에 적용한다. +2-3. 일차 발효는 부피가 두 배가 될 때까지 진행하고 손가락 자국으로 상태를 확인한다. 이 항목은 2번째 점검 주기에 적용한다. +2-4. 분할한 반죽은 무게 편차가 삼 그램을 넘지 않도록 다시 계량한다. 이 항목은 2번째 점검 주기에 적용한다. +2-5. 오븐은 굽기 삼십 분 전에 예열하고 첫 판은 온도계로 실제 온도를 확인한다. 이 항목은 2번째 점검 주기에 적용한다. +2-6. 구운 빵은 식힘 선반에서 중심 온도가 내려간 뒤에 포장한다. 이 항목은 2번째 점검 주기에 적용한다. + +제3절. RC517D 가상 제빵 공정 표준서 세부 항목 3 +3-1. RC517D 제빵소는 가상의 시험용 공방이며 실제 사업장이 아니다. 이 항목은 3번째 점검 주기에 적용한다. +3-2. 반죽 온도는 이십육 도를 목표로 하고 물 온도로 계절 차이를 보정한다. 이 항목은 3번째 점검 주기에 적용한다. +3-3. 일차 발효는 부피가 두 배가 될 때까지 진행하고 손가락 자국으로 상태를 확인한다. 이 항목은 3번째 점검 주기에 적용한다. +3-4. 분할한 반죽은 무게 편차가 삼 그램을 넘지 않도록 다시 계량한다. 이 항목은 3번째 점검 주기에 적용한다. +3-5. 오븐은 굽기 삼십 분 전에 예열하고 첫 판은 온도계로 실제 온도를 확인한다. 이 항목은 3번째 점검 주기에 적용한다. +3-6. 구운 빵은 식힘 선반에서 중심 온도가 내려간 뒤에 포장한다. 이 항목은 3번째 점검 주기에 적용한다. + +제4절. RC517D 가상 제빵 공정 표준서 세부 항목 4 +4-1. RC517D 제빵소는 가상의 시험용 공방이며 실제 사업장이 아니다. 이 항목은 4번째 점검 주기에 적용한다. +4-2. 반죽 온도는 이십육 도를 목표로 하고 물 온도로 계절 차이를 보정한다. 이 항목은 4번째 점검 주기에 적용한다. +4-3. 일차 발효는 부피가 두 배가 될 때까지 진행하고 손가락 자국으로 상태를 확인한다. 이 항목은 4번째 점검 주기에 적용한다. +4-4. 분할한 반죽은 무게 편차가 삼 그램을 넘지 않도록 다시 계량한다. 이 항목은 4번째 점검 주기에 적용한다. +4-5. 오븐은 굽기 삼십 분 전에 예열하고 첫 판은 온도계로 실제 온도를 확인한다. 이 항목은 4번째 점검 주기에 적용한다. +4-6. 구운 빵은 식힘 선반에서 중심 온도가 내려간 뒤에 포장한다. 이 항목은 4번째 점검 주기에 적용한다. + +제5절. RC517D 가상 제빵 공정 표준서 세부 항목 5 +5-1. RC517D 제빵소는 가상의 시험용 공방이며 실제 사업장이 아니다. 이 항목은 5번째 점검 주기에 적용한다. +5-2. 반죽 온도는 이십육 도를 목표로 하고 물 온도로 계절 차이를 보정한다. 이 항목은 5번째 점검 주기에 적용한다. +5-3. 일차 발효는 부피가 두 배가 될 때까지 진행하고 손가락 자국으로 상태를 확인한다. 이 항목은 5번째 점검 주기에 적용한다. +5-4. 분할한 반죽은 무게 편차가 삼 그램을 넘지 않도록 다시 계량한다. 이 항목은 5번째 점검 주기에 적용한다. +5-5. 오븐은 굽기 삼십 분 전에 예열하고 첫 판은 온도계로 실제 온도를 확인한다. 이 항목은 5번째 점검 주기에 적용한다. +5-6. 구운 빵은 식힘 선반에서 중심 온도가 내려간 뒤에 포장한다. 이 항목은 5번째 점검 주기에 적용한다. + +제6절. RC517D 가상 제빵 공정 표준서 세부 항목 6 +6-1. RC517D 제빵소는 가상의 시험용 공방이며 실제 사업장이 아니다. 이 항목은 6번째 점검 주기에 적용한다. +6-2. 반죽 온도는 이십육 도를 목표로 하고 물 온도로 계절 차이를 보정한다. 이 항목은 6번째 점검 주기에 적용한다. +6-3. 일차 발효는 부피가 두 배가 될 때까지 진행하고 손가락 자국으로 상태를 확인한다. 이 항목은 6번째 점검 주기에 적용한다. +6-4. 분할한 반죽은 무게 편차가 삼 그램을 넘지 않도록 다시 계량한다. 이 항목은 6번째 점검 주기에 적용한다. +6-5. 오븐은 굽기 삼십 분 전에 예열하고 첫 판은 온도계로 실제 온도를 확인한다. 이 항목은 6번째 점검 주기에 적용한다. +6-6. 구운 빵은 식힘 선반에서 중심 온도가 내려간 뒤에 포장한다. 이 항목은 6번째 점검 주기에 적용한다. + +제7절. RC517D 가상 제빵 공정 표준서 세부 항목 7 +7-1. RC517D 제빵소는 가상의 시험용 공방이며 실제 사업장이 아니다. 이 항목은 7번째 점검 주기에 적용한다. +7-2. 반죽 온도는 이십육 도를 목표로 하고 물 온도로 계절 차이를 보정한다. 이 항목은 7번째 점검 주기에 적용한다. +7-3. 일차 발효는 부피가 두 배가 될 때까지 진행하고 손가락 자국으로 상태를 확인한다. 이 항목은 7번째 점검 주기에 적용한다. +7-4. 분할한 반죽은 무게 편차가 삼 그램을 넘지 않도록 다시 계량한다. 이 항목은 7번째 점검 주기에 적용한다. +7-5. 오븐은 굽기 삼십 분 전에 예열하고 첫 판은 온도계로 실제 온도를 확인한다. 이 항목은 7번째 점검 주기에 적용한다. +7-6. 구운 빵은 식힘 선반에서 중심 온도가 내려간 뒤에 포장한다. 이 항목은 7번째 점검 주기에 적용한다. + +제8절. RC517D 가상 제빵 공정 표준서 세부 항목 8 +8-1. RC517D 제빵소는 가상의 시험용 공방이며 실제 사업장이 아니다. 이 항목은 8번째 점검 주기에 적용한다. +8-2. 반죽 온도는 이십육 도를 목표로 하고 물 온도로 계절 차이를 보정한다. 이 항목은 8번째 점검 주기에 적용한다. +8-3. 일차 발효는 부피가 두 배가 될 때까지 진행하고 손가락 자국으로 상태를 확인한다. 이 항목은 8번째 점검 주기에 적용한다. +8-4. 분할한 반죽은 무게 편차가 삼 그램을 넘지 않도록 다시 계량한다. 이 항목은 8번째 점검 주기에 적용한다. +8-5. 오븐은 굽기 삼십 분 전에 예열하고 첫 판은 온도계로 실제 온도를 확인한다. 이 항목은 8번째 점검 주기에 적용한다. +8-6. 구운 빵은 식힘 선반에서 중심 온도가 내려간 뒤에 포장한다. 이 항목은 8번째 점검 주기에 적용한다. diff --git a/docs/test-results/reconciler-repair-20261016/logs/backend-phase1.txt b/docs/test-results/reconciler-repair-20261016/logs/backend-phase1.txt new file mode 100644 index 00000000..b931e750 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/logs/backend-phase1.txt @@ -0,0 +1,6 @@ +# backend-phase1 핵심 줄 (원본 212줄 중 기동·Worker·WARN·ERROR만 추출, 시험 경로는 로 치환) +2026-10-16T15:56:22.199+09:00 INFO 87512 --- [docgrid] [ main] c.opensource.docgrid.DocgridApplication : Started DocgridApplication in 7.016 seconds (process running for 7.818) +2026-10-16T15:56:22.272+09:00 INFO 87512 --- [docgrid] [ main] c.o.d.d.w.l.WorkerLifecycleManager : 인덱싱 Worker를 등록했습니다. workerId=1, workerName=rc517-worker, instanceId=bcb2082a-aa99-4e9b-a7d8-74bd3dad7b8f +2026-10-16T15:59:54.122+09:00 ERROR 87512 --- [docgrid] [ag-worker-job-1] c.o.d.domain.rag.service.OllamaClient : Ollama 서버 호출 실패: I/O error on POST request for "http://127.0.0.1:9/api/generate": null +2026-10-16T15:59:54.137+09:00 WARN 87512 --- [docgrid] [ag-worker-job-1] c.o.d.domain.rag.service.RagFacade : [RAG] fallback queryId=1 errorCode=RAG-001 +2026-10-16T16:00:38.906+09:00 INFO 87512 --- [docgrid] [ionShutdownHook] .d.d.w.l.WorkerExecutionLifecycleManager : Worker 실행 종료를 완료했습니다. graceful=true, cancelledTaskCount=0, activeLeaseCount=0 diff --git a/docs/test-results/reconciler-repair-20261016/logs/backend-phase2-worker-off-dispatcher-off.txt b/docs/test-results/reconciler-repair-20261016/logs/backend-phase2-worker-off-dispatcher-off.txt new file mode 100644 index 00000000..f23b5450 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/logs/backend-phase2-worker-off-dispatcher-off.txt @@ -0,0 +1,3 @@ +# backend-phase2-worker-off-dispatcher-off 핵심 줄 (원본 130줄 중 기동·Worker·WARN·ERROR만 추출, 시험 경로는 로 치환) +2026-10-16T16:00:55.331+09:00 INFO 90775 --- [docgrid] [ main] c.opensource.docgrid.DocgridApplication : Started DocgridApplication in 5.104 seconds (process running for 5.443) +2026-10-16T16:02:10.593+09:00 WARN 90775 --- [docgrid] [io-18190-exec-5] c.o.d.g.e.GlobalExceptionHandler : [DocGridException] POST /admin/sync/issues/2/repair | code=SYNC-006 | message=현재 Issue는 안전한 자동 복구를 요청할 수 없습니다. diff --git a/docs/test-results/reconciler-repair-20261016/logs/backend-phase3-worker-off-dispatcher-on.txt b/docs/test-results/reconciler-repair-20261016/logs/backend-phase3-worker-off-dispatcher-on.txt new file mode 100644 index 00000000..7e2b3aff --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/logs/backend-phase3-worker-off-dispatcher-on.txt @@ -0,0 +1,2 @@ +# backend-phase3-worker-off-dispatcher-on 핵심 줄 (원본 125줄 중 기동·Worker·WARN·ERROR만 추출, 시험 경로는 로 치환) +2026-10-16T16:02:40.961+09:00 INFO 91898 --- [docgrid] [ main] c.opensource.docgrid.DocgridApplication : Started DocgridApplication in 10.063 seconds (process running for 10.58) diff --git a/docs/test-results/reconciler-repair-20261016/logs/backend-phase4-worker-on-dispatcher-on.txt b/docs/test-results/reconciler-repair-20261016/logs/backend-phase4-worker-on-dispatcher-on.txt new file mode 100644 index 00000000..2e25996f --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/logs/backend-phase4-worker-on-dispatcher-on.txt @@ -0,0 +1,6 @@ +# backend-phase4-worker-on-dispatcher-on 핵심 줄 (원본 141줄 중 기동·Worker·WARN·ERROR만 추출, 시험 경로는 로 치환) +2026-10-16T16:05:31.691+09:00 INFO 94917 --- [docgrid] [ main] c.opensource.docgrid.DocgridApplication : Started DocgridApplication in 6.745 seconds (process running for 7.149) +2026-10-16T16:05:31.765+09:00 INFO 94917 --- [docgrid] [ main] c.o.d.d.w.l.WorkerLifecycleManager : 인덱싱 Worker를 등록했습니다. workerId=2, workerName=rc517-worker, instanceId=7aeacb33-56d1-4a8f-8391-765d4e6f75cd +2026-10-16T16:06:08.047+09:00 ERROR 94917 --- [docgrid] [ag-worker-job-1] c.o.d.domain.rag.service.OllamaClient : Ollama 서버 호출 실패: I/O error on POST request for "http://127.0.0.1:9/api/generate": null +2026-10-16T16:06:08.054+09:00 WARN 94917 --- [docgrid] [ag-worker-job-1] c.o.d.domain.rag.service.RagFacade : [RAG] fallback queryId=3 errorCode=RAG-001 +2026-10-16T16:06:57.524+09:00 INFO 94917 --- [docgrid] [ionShutdownHook] .d.d.w.l.WorkerExecutionLifecycleManager : Worker 실행 종료를 완료했습니다. graceful=true, cancelledTaskCount=0, activeLeaseCount=0 diff --git a/docs/test-results/reconciler-repair-20261016/run-baseline-01/README.md b/docs/test-results/reconciler-repair-20261016/run-baseline-01/README.md new file mode 100644 index 00000000..30c1544d --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-baseline-01/README.md @@ -0,0 +1,21 @@ +# 기준선 점검 — run-baseline-01 + +| 항목 | 기록 | +| --- | --- | +| 목적 | 주입 전 깨끗한 상태에서 Reconciler가 Issue를 만들지 않는지 확인 | +| 시각 | 2026-10-16 15:57:23~15:57:24 KST | +| 환경 | 1단계 Backend(Worker·Dispatcher 켬), 시드 문서 2건만 있는 새 DB | +| 방법 | `POST /admin/sync/reconcile` `DRY_RUN`, cursor 0부터 `hasMore=false`까지 반복 | +| 성공 기준 | 탐지 0건, Issue 0건, 실행 이력 `COMPLETED` | +| 결과 | 통과. 배치 1회, 버전 **2개** 점검, 탐지 **0건**, 복구 요청 0건, Issue 0건 | +| 정리 | 시험 DB는 전체 시험 뒤 컨테이너째 삭제 | + +- 실행 ID: `893413a4-17af-4f48-b371-5dcaa2f82914` +- 시드 문서 2건은 Flyway `R__seed_test_fixtures`가 넣은 개발용 고정 Vector 문서다. Chunk 2개·ACTIVE Vector 2개로 개수가 맞는다. +- `DRY_RUN`도 `sync_reconciliation_runs` 1행과 관리자 감사 Action 1행을 기록했다. 읽기 전용 모드가 아니다. + +## 증거 + +- [점검 응답](dry-run-batch1.json) +- [점검 전 전역 상태](global-before.txt), [점검 후 전역 상태](global-after.txt) +- [Issue 목록](issues-after.json), [운영 요약](summary-after.json) diff --git a/docs/test-results/reconciler-repair-20261016/run-baseline-01/dry-run-batch1.json b/docs/test-results/reconciler-repair-20261016/run-baseline-01/dry-run-batch1.json new file mode 100644 index 00000000..2506e471 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-baseline-01/dry-run-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "893413a4-17af-4f48-b371-5dcaa2f82914", + "startCursor": 0, + "endCursor": 2, + "scannedCount": 2, + "detectedCount": 0, + "repairRequestedCount": 0, + "hasMore": false, + "action": { + "actionId": "f1402eb0-f3a8-4d16-9197-81966f17c56d", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "893413a4-17af-4f48-b371-5dcaa2f82914", + "adminUserId": 1, + "occurredAt": "2026-10-16T15:57:23.981883" + } + }, + "timestamp": "2026-10-16 15:57:23" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-baseline-01/finished_at.txt b/docs/test-results/reconciler-repair-20261016/run-baseline-01/finished_at.txt new file mode 100644 index 00000000..26b0aa40 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-baseline-01/finished_at.txt @@ -0,0 +1 @@ +2026-10-16T15:57:24+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-baseline-01/global-after.txt b/docs/test-results/reconciler-repair-20261016/run-baseline-01/global-after.txt new file mode 100644 index 00000000..bac0a541 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-baseline-01/global-after.txt @@ -0,0 +1,34 @@ +## active embedding model + id | model_name | is_active | is_searchable +----+-------------+-----------+--------------- + 1 | BAAI/bge-m3 | t | t +(1 row) + +## documents by status + status | count +---------+------- + INDEXED | 2 +(1 row) + +## versions by status + status | count +---------+------- + INDEXED | 2 +(1 row) + +## issues by type/status + issue_type | severity | status | repairable | count +------------+----------+--------+------------+------- +(0 rows) + +## outbox by type/status + event_type | status | count +------------+--------+------- +(0 rows) + +## reconciliation runs (latest 10) + run_id | mode | status | start_cursor | end_cursor | scanned_count | detected_count | repair_requested_count | started_at | completed_at | error_code +--------------------------------------+---------+-----------+--------------+------------+---------------+----------------+------------------------+----------------------------+----------------------------+------------ + 893413a4-17af-4f48-b371-5dcaa2f82914 | DRY_RUN | COMPLETED | 0 | 2 | 2 | 0 | 0 | 2026-10-16 15:57:23.900001 | 2026-10-16 15:57:23.977916 | +(1 row) + diff --git a/docs/test-results/reconciler-repair-20261016/run-baseline-01/global-before.txt b/docs/test-results/reconciler-repair-20261016/run-baseline-01/global-before.txt new file mode 100644 index 00000000..7830d3eb --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-baseline-01/global-before.txt @@ -0,0 +1,33 @@ +## active embedding model + id | model_name | is_active | is_searchable +----+-------------+-----------+--------------- + 1 | BAAI/bge-m3 | t | t +(1 row) + +## documents by status + status | count +---------+------- + INDEXED | 2 +(1 row) + +## versions by status + status | count +---------+------- + INDEXED | 2 +(1 row) + +## issues by type/status + issue_type | severity | status | repairable | count +------------+----------+--------+------------+------- +(0 rows) + +## outbox by type/status + event_type | status | count +------------+--------+------- +(0 rows) + +## reconciliation runs (latest 10) + run_id | mode | status | start_cursor | end_cursor | scanned_count | detected_count | repair_requested_count | started_at | completed_at | error_code +--------+------+--------+--------------+------------+---------------+----------------+------------------------+------------+--------------+------------ +(0 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-baseline-01/issues-after.json b/docs/test-results/reconciler-repair-20261016/run-baseline-01/issues-after.json new file mode 100644 index 00000000..802e785a --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-baseline-01/issues-after.json @@ -0,0 +1,14 @@ +{ + "success": true, + "status": 200, + "data": { + "content": [], + "page": 0, + "size": 100, + "totalElements": 0, + "totalPages": 0, + "first": true, + "last": true + }, + "timestamp": "2026-10-16 15:57:24" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-baseline-01/started_at.txt b/docs/test-results/reconciler-repair-20261016/run-baseline-01/started_at.txt new file mode 100644 index 00000000..4f61fc3a --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-baseline-01/started_at.txt @@ -0,0 +1 @@ +2026-10-16T15:57:23+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-baseline-01/summary-after.json b/docs/test-results/reconciler-repair-20261016/run-baseline-01/summary-after.json new file mode 100644 index 00000000..2cb044f3 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-baseline-01/summary-after.json @@ -0,0 +1,39 @@ +{ + "success": true, + "status": 200, + "data": { + "capturedAt": "2026-10-16T15:57:24.255879", + "events": { + "pendingCount": 0, + "processingCount": 0, + "failedCount": 0, + "oldestPendingAgeSeconds": null, + "processedLast24hCount": 0, + "failedLast24hCount": 0, + "retriedLast24hCount": 0, + "successRateLast24h": null, + "lastProcessedEventId": null, + "lastProcessedAt": null + }, + "issues": { + "openCount": 0, + "repairingCount": 0, + "autoResolvedLast24hCount": 0, + "failedRepairCount": 0 + }, + "reconciliation": { + "runId": "893413a4-17af-4f48-b371-5dcaa2f82914", + "mode": "DRY_RUN", + "status": "COMPLETED", + "startCursor": 0, + "endCursor": 2, + "scannedCount": 2, + "detectedCount": 0, + "repairRequestedCount": 0, + "startedAt": "2026-10-16T15:57:23.900001", + "completedAt": "2026-10-16T15:57:23.977916", + "errorCode": null + } + }, + "timestamp": "2026-10-16 15:57:24" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/0-precheck-dry-run-batch1.json b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/0-precheck-dry-run-batch1.json new file mode 100644 index 00000000..ff1a8309 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/0-precheck-dry-run-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "5c121b20-6198-42a5-8f76-03522cfe3975", + "startCursor": 0, + "endCursor": 4, + "scannedCount": 4, + "detectedCount": 0, + "repairRequestedCount": 0, + "hasMore": false, + "action": { + "actionId": "301a4c7d-2d50-476a-907f-54510ba132fa", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "5c121b20-6198-42a5-8f76-03522cfe3975", + "adminUserId": 1, + "occurredAt": "2026-10-16T16:01:15.73063" + } + }, + "timestamp": "2026-10-16 16:01:15" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/1-delete-response.txt b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/1-delete-response.txt new file mode 100644 index 00000000..9f03869a --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/1-delete-response.txt @@ -0,0 +1,2 @@ + +HTTP 204 diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/2-direct-similarity-probe.sql b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/2-direct-similarity-probe.sql new file mode 100644 index 00000000..34209343 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/2-direct-similarity-probe.sql @@ -0,0 +1,6 @@ +-- :q 는 임베딩 서버 POST /embed 로 얻은 질문 Vector 리터럴(1024차원)이다. 값은 길어서 저장하지 않았다. +-- 검색 API를 거치지 않고 같은 질문 Vector와 버전별 ACTIVE Vector의 최대 코사인 유사도를 비교한다(읽기 전용 진단). +SELECT e.document_version_id, d.status AS document_status, max(1 - (e.vector <=> :'q'::vector)) AS max_cosine_similarity, count(*) AS active_vectors +FROM embeddings e JOIN documents d ON d.id = e.document_id +WHERE e.status = 'ACTIVE' +GROUP BY 1, 2 ORDER BY 3 DESC; diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/2-direct-similarity-probe.txt b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/2-direct-similarity-probe.txt new file mode 100644 index 00000000..d004857d --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/2-direct-similarity-probe.txt @@ -0,0 +1,8 @@ + document_version_id | document_status | max_cosine_similarity | active_vectors +---------------------+-----------------+-----------------------+---------------- + 4 | DELETED | 0.5060508998051556 | 5 + 3 | INDEXED | 0.3265365459482834 | 5 + 1 | INDEXED | 0.023410720373349014 | 2 + 2 | INDEXED | -0.02074359441659901 | 2 +(4 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/2-search-during-residue.json b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/2-search-during-residue.json new file mode 100644 index 00000000..888e971b --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/2-search-during-residue.json @@ -0,0 +1,13 @@ +{ + "success": true, + "status": 200, + "data": { + "conversationId": 2, + "queryId": 2, + "results": [], + "ragStatus": "SUCCESS", + "answer": "관련 문서를 찾지 못했습니다.", + "citations": [] + }, + "timestamp": "2026-10-16 16:01:29" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/2-search-results-db.txt b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/2-search-results-db.txt new file mode 100644 index 00000000..70f712e5 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/2-search-results-db.txt @@ -0,0 +1,4 @@ + rank_no | document_version_id | similarity_score +---------+---------------------+------------------ +(0 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/3-detect-dry-run-batch1.json b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/3-detect-dry-run-batch1.json new file mode 100644 index 00000000..337d8e76 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/3-detect-dry-run-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "0ee01720-a87a-4469-a709-dde4777385a1", + "startCursor": 0, + "endCursor": 4, + "scannedCount": 4, + "detectedCount": 1, + "repairRequestedCount": 0, + "hasMore": false, + "action": { + "actionId": "0de82b72-40eb-4be6-8c0d-d0b4180801aa", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "0ee01720-a87a-4469-a709-dde4777385a1", + "adminUserId": 1, + "occurredAt": "2026-10-16T16:02:01.438171" + } + }, + "timestamp": "2026-10-16 16:02:01" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/3-issues-open.json b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/3-issues-open.json new file mode 100644 index 00000000..576fe181 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/3-issues-open.json @@ -0,0 +1,34 @@ +{ + "success": true, + "status": 200, + "data": { + "content": [ + { + "issueId": 2, + "issueKey": "DELETED_DOCUMENT_RESIDUE:DOCUMENT:4", + "issueType": "DELETED_DOCUMENT_RESIDUE", + "severity": "CRITICAL", + "status": "OPEN", + "documentId": 4, + "documentVersionId": 4, + "embeddingModelId": 1, + "expectedJson": "{\"activeEmbeddingCount\":0}", + "actualJson": "{\"activeEmbeddingCount\":\">0\"}", + "repairable": false, + "detectedAt": "2026-10-16T16:02:01.366136", + "lastDetectedAt": "2026-10-16T16:02:01.366136", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": null, + "resolutionMessage": null + } + ], + "page": 0, + "size": 100, + "totalElements": 1, + "totalPages": 1, + "first": true, + "last": true + }, + "timestamp": "2026-10-16 16:02:01" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/4-issue-repair-endpoint.txt b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/4-issue-repair-endpoint.txt new file mode 100644 index 00000000..6abb34de --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/4-issue-repair-endpoint.txt @@ -0,0 +1,2 @@ +{"status":409,"code":"SYNC-006","message":"현재 Issue는 안전한 자동 복구를 요청할 수 없습니다.","method":"POST","path":"/admin/sync/issues/2/repair","success":false,"timestamp":"2026-10-16 16:02:10"} +HTTP 409 diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/4-repair-batch1.json b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/4-repair-batch1.json new file mode 100644 index 00000000..80924cfa --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/4-repair-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "80fe1526-21cf-4d76-bab4-c7a172e36fc1", + "startCursor": 0, + "endCursor": 4, + "scannedCount": 4, + "detectedCount": 1, + "repairRequestedCount": 0, + "hasMore": false, + "action": { + "actionId": "ccd87139-1037-401b-a284-3f844fb346ac", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "80fe1526-21cf-4d76-bab4-c7a172e36fc1", + "adminUserId": 1, + "occurredAt": "2026-10-16T16:02:10.280308" + } + }, + "timestamp": "2026-10-16 16:02:10" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/5-issues-all.json b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/5-issues-all.json new file mode 100644 index 00000000..a2e909ff --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/5-issues-all.json @@ -0,0 +1,72 @@ +{ + "success": true, + "status": 200, + "data": { + "content": [ + { + "issueId": 3, + "issueKey": "MISSING_EMBEDDINGS:VERSION:4:MODEL:1", + "issueType": "MISSING_EMBEDDINGS", + "severity": "CRITICAL", + "status": "OPEN", + "documentId": 4, + "documentVersionId": 4, + "embeddingModelId": 1, + "expectedJson": "{\"activeEmbeddingCount\":5}", + "actualJson": "{\"activeEmbeddingCount\":0,\"currentModelEmbeddingCount\":5,\"allModelEmbeddingCount\":5}", + "repairable": false, + "detectedAt": "2026-10-16T16:02:43.18896", + "lastDetectedAt": "2026-10-16T16:02:43.18896", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": null, + "resolutionMessage": null + }, + { + "issueId": 2, + "issueKey": "DELETED_DOCUMENT_RESIDUE:DOCUMENT:4", + "issueType": "DELETED_DOCUMENT_RESIDUE", + "severity": "CRITICAL", + "status": "RESOLVED", + "documentId": 4, + "documentVersionId": 4, + "embeddingModelId": 1, + "expectedJson": "{\"activeEmbeddingCount\":0}", + "actualJson": "{\"activeEmbeddingCount\":\">0\"}", + "repairable": false, + "detectedAt": "2026-10-16T16:02:01.366136", + "lastDetectedAt": "2026-10-16T16:02:10.222043", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": "2026-10-16T16:02:43.18896", + "resolutionMessage": "Reconciliation 재검사에서 정상 상태를 확인했습니다." + }, + { + "issueId": 1, + "issueKey": "MISSING_EMBEDDINGS:VERSION:3:MODEL:1", + "issueType": "MISSING_EMBEDDINGS", + "severity": "CRITICAL", + "status": "RESOLVED", + "documentId": 3, + "documentVersionId": 3, + "embeddingModelId": 1, + "expectedJson": "{\"activeEmbeddingCount\":5}", + "actualJson": "{\"activeEmbeddingCount\":4,\"currentModelEmbeddingCount\":4,\"allModelEmbeddingCount\":4}", + "repairable": true, + "detectedAt": "2026-10-16T15:58:34.015381", + "lastDetectedAt": "2026-10-16T15:58:56.134837", + "repairEventId": "7cc6bc1b-8834-4830-a6a3-e6ec41d9a410", + "repairAttemptCount": 1, + "resolvedAt": "2026-10-16T15:59:23.771277", + "resolutionMessage": "Reconciliation 재검사에서 정상 상태를 확인했습니다." + } + ], + "page": 0, + "size": 100, + "totalElements": 3, + "totalPages": 1, + "first": true, + "last": true + }, + "timestamp": "2026-10-16 16:02:43" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/5-recheck-dry-run-batch1.json b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/5-recheck-dry-run-batch1.json new file mode 100644 index 00000000..060513cc --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/5-recheck-dry-run-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "80a2cabf-0161-4c9a-b1b7-0a7f4dd5584c", + "startCursor": 0, + "endCursor": 4, + "scannedCount": 4, + "detectedCount": 1, + "repairRequestedCount": 0, + "hasMore": false, + "action": { + "actionId": "b881eddd-eb67-443d-8f89-4c0fe6f3f722", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "80a2cabf-0161-4c9a-b1b7-0a7f4dd5584c", + "adminUserId": 1, + "occurredAt": "2026-10-16T16:02:43.244603" + } + }, + "timestamp": "2026-10-16 16:02:43" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/5-timeline-dispatcher-on.txt b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/5-timeline-dispatcher-on.txt new file mode 100644 index 00000000..61a84258 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/5-timeline-dispatcher-on.txt @@ -0,0 +1,3 @@ +16:02:30 doc=DELETED ver=INDEXED jobs=2:INDEXED reindexEvents=- activeVec=5 issues=2:DELETED_DOCUMENT_RESIDUE:OPEN +16:02:42 doc=DELETED ver=INDEXED jobs=2:INDEXED reindexEvents=- activeVec=0 issues=2:DELETED_DOCUMENT_RESIDUE:OPEN +16:02:43 doc=DELETED ver=INDEXED jobs=2:INDEXED reindexEvents=- activeVec=0 issues=2:DELETED_DOCUMENT_RESIDUE:RESOLVED,3:MISSING_EMBEDDINGS:OPEN diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/5-unexpected-issue-3.txt b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/5-unexpected-issue-3.txt new file mode 100644 index 00000000..fcdfb775 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/5-unexpected-issue-3.txt @@ -0,0 +1,5 @@ + id | issue_key | issue_type | severity | status | repairable | document_id | document_version_id | document_status | version_status | expected_json | actual_json +----+--------------------------------------+--------------------+----------+--------+------------+-------------+---------------------+-----------------+----------------+----------------------------+-------------------------------------------------------------------------------------- + 3 | MISSING_EMBEDDINGS:VERSION:4:MODEL:1 | MISSING_EMBEDDINGS | CRITICAL | OPEN | f | 4 | 4 | DELETED | INDEXED | {"activeEmbeddingCount":5} | {"activeEmbeddingCount":0,"currentModelEmbeddingCount":5,"allModelEmbeddingCount":5} +(1 row) + diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/README.md b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/README.md new file mode 100644 index 00000000..38fff89d --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/README.md @@ -0,0 +1,57 @@ +# 보고 사례: 삭제 문서의 검색 Vector 잔여 — run-deleted-residue-01 + +| 항목 | 기록 | +| --- | --- | +| 목적 | 삭제된 문서에 ACTIVE Vector가 남은 상태를 탐지·보고만 하는지, Outbox 처리 뒤 Issue가 닫히는지 확인 | +| 시각 | 2026-10-16 16:01:15~16:02:43 KST | +| 환경 | 2단계 Backend(Worker·Dispatcher 끔) → 3단계 Backend(Dispatcher만 켬). 시험 문서 C(`documentId=4`, `versionId=4`, Chunk 5개) | +| 주입 | SQL 없음. Dispatcher를 끈 상태에서 `DELETE /api/documents/4`로 정상 삭제해, `DOCUMENT_DELETED` Event 처리 전 구간을 만들었다 | +| 성공 기준 | `DELETED_DOCUMENT_RESIDUE` 탐지, `REPAIR`와 단건 복구가 아무것도 예약하지 않음, Event 처리 뒤 재점검에서 Issue `RESOLVED` | +| 결과 | **부분 통과.** 위 기준은 모두 충족했지만, 재점검에서 기대하지 않은 `MISSING_EMBEDDINGS` Issue가 새로 열렸다(아래 참고) | +| 정리 | 시험 DB는 전체 시험 뒤 컨테이너째 삭제. 이 결과에 대한 코드 수정은 하지 않았다 | + +## 흐름 + +| 시각 (KST) | 단계 | 관측 | +| --- | --- | --- | +| 16:01:15 | 사전 점검 `DRY_RUN` | 버전 4개, 탐지 0건 | +| 16:01:15 | 문서 삭제 | HTTP 204. 문서 `DELETED`, 버전 `INDEXED` 유지, ACTIVE Vector 5, `DOCUMENT_DELETED` Event `PENDING` | +| 16:01:29 | 문서 C 주제로 검색 | 결과 **0건**(`NO_CONTEXT` 안내) | +| 16:02:01 | 탐지 `DRY_RUN` | Issue **2번** `DELETED_DOCUMENT_RESIDUE`, `CRITICAL`, `repairable=false`, `OPEN` | +| 16:02:10 | `REPAIR` | 탐지 1건, 복구 요청 **0건** | +| 16:02:10 | `POST /admin/sync/issues/2/repair` | HTTP **409** `SYNC-006`. 감사 Action 미기록 | +| 16:02:40 | Dispatcher 켬 | 3단계 Backend 기동 | +| 16:02:42 | Event 처리 | `DOCUMENT_DELETED` `PROCESSED`. Vector 5행 `ACTIVE → STALE`(물리 삭제 없음) | +| 16:02:43 | 재점검 `DRY_RUN` | Issue 2번 `RESOLVED`. **Issue 3번 `MISSING_EMBEDDINGS` 새로 `OPEN`** | + +## 삭제 문서의 검색 노출 + +삭제 직후 Vector가 ACTIVE로 남아 있는 동안에도 검색 결과는 0건이었다. 유사도가 낮아서인지 상태 필터 때문인지 가르기 위해, 같은 질문 Vector와 버전별 ACTIVE Vector의 최대 코사인 유사도를 SQL로 직접 계산했다([쿼리](2-direct-similarity-probe.sql), [결과](2-direct-similarity-probe.txt)). + +| 버전 | 문서 상태 | 최대 유사도 | +| ---: | --- | ---: | +| 4 (문서 C) | `DELETED` | 0.5061 | +| 3 (문서 A) | `INDEXED` | 0.3265 | + +문서 C의 0.5061은 하이브리드 검색의 벡터 통과 기준 0.45보다 높다. 그런데도 결과가 0건이었으므로, 이 시험에서는 삭제 문서가 문서 상태 조건으로 검색 후보에서 빠졌다고 본다. 따라서 이 Issue는 "삭제 문서가 검색에 노출된다"는 뜻이 아니다. 검색 경로 밖에 ACTIVE Vector가 남은 정합성 위반을 보고한다. + +## 기대와 다른 결과: 정상 삭제 뒤 `MISSING_EMBEDDINGS` 보고 + +삭제 Event가 정상 처리되어 Vector가 모두 STALE이 되자, 같은 재점검에서 다음 Issue가 열렸다([상세](5-unexpected-issue-3.txt)). + +```text +issue_key MISSING_EMBEDDINGS:VERSION:4:MODEL:1 +severity CRITICAL, repairable=false, OPEN +document DELETED, version INDEXED (documents.current_version_id = 4) +actual_json {"activeEmbeddingCount":0,"currentModelEmbeddingCount":5,"allModelEmbeddingCount":5} +``` + +- 코드 기준 추정 원인: `SyncConsistencyInspector.inspectChunksAndEmbeddings`는 버전이 `INDEXED`이고 현재 버전이며 Chunk 수가 ACTIVE Vector 수보다 많으면 보고한다. 문서가 `DELETED`인지는 보지 않는다. +- 영향: 정상 삭제된 문서마다 해소되지 않는 `CRITICAL` Issue가 하나씩 남을 수 있다. `repairable=false`라 복구 Event는 만들지 않는다. 이후 [최종 점검](../run-final-check-01/README.md)까지 이 Issue만 `OPEN`으로 남았다. +- 처리: 시험 지시에 따라 이 시험 중에는 코드를 고치지 않고 기록만 했다. 수정과 재시험은 [#518](https://github.com/DocGrid/docgrid/issues/518)의 [검증 기록](../../deleted-document-false-positive-20261016/README.md)에 있다. + +## 증거 + +- [실행 조건](conditions.txt), [업로드 응답](upload-response.json), [삭제 응답](1-delete-response.txt) +- 상태: [삭제 전](state-0-before-delete.txt), [삭제 직후](state-1-after-delete.txt), [복구 시도 뒤](state-2-after-repair-attempts.txt), [Dispatcher 처리 뒤](state-3-after-dispatcher.txt), [Dispatcher 재개 중 상태 변화](5-timeline-dispatcher-on.txt) +- API: [사전 점검](0-precheck-dry-run-batch1.json), [검색 응답](2-search-during-residue.json), [검색 원장](2-search-results-db.txt), [탐지](3-detect-dry-run-batch1.json), [OPEN Issue](3-issues-open.json), [REPAIR](4-repair-batch1.json), [단건 복구 거절](4-issue-repair-endpoint.txt), [재점검](5-recheck-dry-run-batch1.json), [전체 Issue](5-issues-all.json) diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/conditions.txt b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/conditions.txt new file mode 100644 index 00000000..4f67a7d8 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/conditions.txt @@ -0,0 +1,2 @@ +backend phase: INDEXING_WORKER_ENABLED=false, SYNC_DISPATCHER_ENABLED=false +backend phase after resume: INDEXING_WORKER_ENABLED=false, SYNC_DISPATCHER_ENABLED=true diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/deleted_at.txt b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/deleted_at.txt new file mode 100644 index 00000000..4ac34345 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/deleted_at.txt @@ -0,0 +1 @@ +2026-10-16T16:01:15+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/finished_at.txt b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/finished_at.txt new file mode 100644 index 00000000..41289f12 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/finished_at.txt @@ -0,0 +1 @@ +2026-10-16T16:02:43+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/started_at.txt b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/started_at.txt new file mode 100644 index 00000000..4ac34345 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/started_at.txt @@ -0,0 +1 @@ +2026-10-16T16:01:15+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/state-0-before-delete.txt b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/state-0-before-delete.txt new file mode 100644 index 00000000..22f5a646 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/state-0-before-delete.txt @@ -0,0 +1,39 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+----------------------------+--------------------------- + 4 | INDEXED | 4 | f | 4 | INDEXED | 2026-10-16 15:57:57.062105 | 2026-10-16 15:57:57.07663 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+---------+-------------+--------------------------------------+----------------------------+----------------------------+----------+----------------- + 2 | INDEXED | 0 | 073d9cb7-b888-4353-a854-f5b70feba363 | 2026-10-16 15:57:34.655245 | 2026-10-16 15:57:57.062105 | 1 | 5 +(1 row) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- + 5 | 1 | ACTIVE | 5 +(1 row) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+------------------------------------------------------------------+----------------------------------+---------------------------- + 5 | 0 | 6 | ACTIVE | 1a847a83ad9390b6fd960eb256d87c70912260218f7c36f637d92b5e4ffd63ad | e429707746dcc36fbe59c53d1c320c62 | 2026-10-16 15:57:57.025938 + 6 | 1 | 9 | ACTIVE | e569aa0eba56af37f177d1a453920a4c1a3868ec1fe77b2645f2b948e2b6b25b | 0b68e61a1fce6489e07fb4541d262ea8 | 2026-10-16 15:57:57.044334 + 7 | 2 | 11 | ACTIVE | 737e179a0251ed069f3b89d0726e6d58dc0fa20f145d4407a38e3063e9fc9df7 | be8396b157d1069583d85d407085bf5f | 2026-10-16 15:57:57.053706 + 8 | 3 | 13 | ACTIVE | 9a88251f3ae365b9355fabf106fff1640630dc107e5f18152d9a607a34f563d1 | 18d938337a96970579f95ed1124f0df9 | 2026-10-16 15:57:57.056616 + 9 | 4 | 14 | ACTIVE | d45c5b4c7bcbc681fa03efc4d0815fea237d6904ca6d23e6417e22abd1502b40 | be0993c28f824229f3ba21567549cd14 | 2026-10-16 15:57:57.05833 +(5 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+--------------------------+------------------+--------------+-----------+-------------+-----------------------------------------------+----------------------------+----------------------------+----------------- + 073d9cb7-b888-4353-a854-f5b70feba363 | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 4 | PROCESSED | 0 | DOCUMENT_VERSION:4:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 15:57:34.652313 | 2026-10-16 15:57:35.900976 | +(1 row) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+------------+----------+--------+------------+-----------------+----------------------+-------------+------------------+-------------+------------- +(0 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/state-1-after-delete.txt b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/state-1-after-delete.txt new file mode 100644 index 00000000..3d959b66 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/state-1-after-delete.txt @@ -0,0 +1,40 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+----------------------------+--------------------------- + 4 | DELETED | 4 | t | 4 | INDEXED | 2026-10-16 15:57:57.062105 | 2026-10-16 15:57:57.07663 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+---------+-------------+--------------------------------------+----------------------------+----------------------------+----------+----------------- + 2 | INDEXED | 0 | 073d9cb7-b888-4353-a854-f5b70feba363 | 2026-10-16 15:57:34.655245 | 2026-10-16 15:57:57.062105 | 1 | 5 +(1 row) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- + 5 | 1 | ACTIVE | 5 +(1 row) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+------------------------------------------------------------------+----------------------------------+---------------------------- + 5 | 0 | 6 | ACTIVE | 1a847a83ad9390b6fd960eb256d87c70912260218f7c36f637d92b5e4ffd63ad | e429707746dcc36fbe59c53d1c320c62 | 2026-10-16 15:57:57.025938 + 6 | 1 | 9 | ACTIVE | e569aa0eba56af37f177d1a453920a4c1a3868ec1fe77b2645f2b948e2b6b25b | 0b68e61a1fce6489e07fb4541d262ea8 | 2026-10-16 15:57:57.044334 + 7 | 2 | 11 | ACTIVE | 737e179a0251ed069f3b89d0726e6d58dc0fa20f145d4407a38e3063e9fc9df7 | be8396b157d1069583d85d407085bf5f | 2026-10-16 15:57:57.053706 + 8 | 3 | 13 | ACTIVE | 9a88251f3ae365b9355fabf106fff1640630dc107e5f18152d9a607a34f563d1 | 18d938337a96970579f95ed1124f0df9 | 2026-10-16 15:57:57.056616 + 9 | 4 | 14 | ACTIVE | d45c5b4c7bcbc681fa03efc4d0815fea237d6904ca6d23e6417e22abd1502b40 | be0993c28f824229f3ba21567549cd14 | 2026-10-16 15:57:57.05833 +(5 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+--------------------------+------------------+--------------+-----------+-------------+-----------------------------------------------+----------------------------+----------------------------+----------------- + 073d9cb7-b888-4353-a854-f5b70feba363 | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 4 | PROCESSED | 0 | DOCUMENT_VERSION:4:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 15:57:34.652313 | 2026-10-16 15:57:35.900976 | + dc7ccbae-a6ea-42da-ae92-f42a54ff1fd4 | DOCUMENT_DELETED | DOCUMENT | 4 | PENDING | 0 | DOCUMENT:4:DOCUMENT_DELETED | 2026-10-16 16:01:15.930353 | | +(2 rows) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+------------+----------+--------+------------+-----------------+----------------------+-------------+------------------+-------------+------------- +(0 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/state-2-after-repair-attempts.txt b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/state-2-after-repair-attempts.txt new file mode 100644 index 00000000..a1f0f5a9 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/state-2-after-repair-attempts.txt @@ -0,0 +1,41 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+----------------------------+--------------------------- + 4 | DELETED | 4 | t | 4 | INDEXED | 2026-10-16 15:57:57.062105 | 2026-10-16 15:57:57.07663 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+---------+-------------+--------------------------------------+----------------------------+----------------------------+----------+----------------- + 2 | INDEXED | 0 | 073d9cb7-b888-4353-a854-f5b70feba363 | 2026-10-16 15:57:34.655245 | 2026-10-16 15:57:57.062105 | 1 | 5 +(1 row) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- + 5 | 1 | ACTIVE | 5 +(1 row) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+------------------------------------------------------------------+----------------------------------+---------------------------- + 5 | 0 | 6 | ACTIVE | 1a847a83ad9390b6fd960eb256d87c70912260218f7c36f637d92b5e4ffd63ad | e429707746dcc36fbe59c53d1c320c62 | 2026-10-16 15:57:57.025938 + 6 | 1 | 9 | ACTIVE | e569aa0eba56af37f177d1a453920a4c1a3868ec1fe77b2645f2b948e2b6b25b | 0b68e61a1fce6489e07fb4541d262ea8 | 2026-10-16 15:57:57.044334 + 7 | 2 | 11 | ACTIVE | 737e179a0251ed069f3b89d0726e6d58dc0fa20f145d4407a38e3063e9fc9df7 | be8396b157d1069583d85d407085bf5f | 2026-10-16 15:57:57.053706 + 8 | 3 | 13 | ACTIVE | 9a88251f3ae365b9355fabf106fff1640630dc107e5f18152d9a607a34f563d1 | 18d938337a96970579f95ed1124f0df9 | 2026-10-16 15:57:57.056616 + 9 | 4 | 14 | ACTIVE | d45c5b4c7bcbc681fa03efc4d0815fea237d6904ca6d23e6417e22abd1502b40 | be0993c28f824229f3ba21567549cd14 | 2026-10-16 15:57:57.05833 +(5 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+--------------------------+------------------+--------------+-----------+-------------+-----------------------------------------------+----------------------------+----------------------------+----------------- + 073d9cb7-b888-4353-a854-f5b70feba363 | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 4 | PROCESSED | 0 | DOCUMENT_VERSION:4:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 15:57:34.652313 | 2026-10-16 15:57:35.900976 | + dc7ccbae-a6ea-42da-ae92-f42a54ff1fd4 | DOCUMENT_DELETED | DOCUMENT | 4 | PENDING | 0 | DOCUMENT:4:DOCUMENT_DELETED | 2026-10-16 16:01:15.930353 | | +(2 rows) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+--------------------------+----------+--------+------------+-----------------+----------------------+----------------------------+----------------------------+-------------+------------------------------- + 2 | DELETED_DOCUMENT_RESIDUE | CRITICAL | OPEN | f | | 0 | 2026-10-16 16:02:01.366136 | 2026-10-16 16:02:10.222043 | | {"activeEmbeddingCount":">0"} +(1 row) + diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/state-3-after-dispatcher.txt b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/state-3-after-dispatcher.txt new file mode 100644 index 00000000..8bf93a54 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/state-3-after-dispatcher.txt @@ -0,0 +1,41 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+----------------------------+--------------------------- + 4 | DELETED | 4 | t | 4 | INDEXED | 2026-10-16 15:57:57.062105 | 2026-10-16 15:57:57.07663 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+---------+-------------+--------------------------------------+----------------------------+----------------------------+----------+----------------- + 2 | INDEXED | 0 | 073d9cb7-b888-4353-a854-f5b70feba363 | 2026-10-16 15:57:34.655245 | 2026-10-16 15:57:57.062105 | 1 | 5 +(1 row) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- + 5 | 1 | STALE | 5 +(1 row) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+------------------------------------------------------------------+----------------------------------+---------------------------- + 5 | 0 | 6 | STALE | 1a847a83ad9390b6fd960eb256d87c70912260218f7c36f637d92b5e4ffd63ad | e429707746dcc36fbe59c53d1c320c62 | 2026-10-16 15:57:57.025938 + 6 | 1 | 9 | STALE | e569aa0eba56af37f177d1a453920a4c1a3868ec1fe77b2645f2b948e2b6b25b | 0b68e61a1fce6489e07fb4541d262ea8 | 2026-10-16 15:57:57.044334 + 7 | 2 | 11 | STALE | 737e179a0251ed069f3b89d0726e6d58dc0fa20f145d4407a38e3063e9fc9df7 | be8396b157d1069583d85d407085bf5f | 2026-10-16 15:57:57.053706 + 8 | 3 | 13 | STALE | 9a88251f3ae365b9355fabf106fff1640630dc107e5f18152d9a607a34f563d1 | 18d938337a96970579f95ed1124f0df9 | 2026-10-16 15:57:57.056616 + 9 | 4 | 14 | STALE | d45c5b4c7bcbc681fa03efc4d0815fea237d6904ca6d23e6417e22abd1502b40 | be0993c28f824229f3ba21567549cd14 | 2026-10-16 15:57:57.05833 +(5 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+--------------------------+------------------+--------------+-----------+-------------+-----------------------------------------------+----------------------------+----------------------------+----------------- + 073d9cb7-b888-4353-a854-f5b70feba363 | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 4 | PROCESSED | 0 | DOCUMENT_VERSION:4:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 15:57:34.652313 | 2026-10-16 15:57:35.900976 | + dc7ccbae-a6ea-42da-ae92-f42a54ff1fd4 | DOCUMENT_DELETED | DOCUMENT | 4 | PROCESSED | 0 | DOCUMENT:4:DOCUMENT_DELETED | 2026-10-16 16:01:15.930353 | 2026-10-16 16:02:42.051421 | +(2 rows) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+--------------------------+----------+--------+------------+-----------------+----------------------+----------------------------+----------------------------+-------------+------------------------------- + 2 | DELETED_DOCUMENT_RESIDUE | CRITICAL | OPEN | f | | 0 | 2026-10-16 16:02:01.366136 | 2026-10-16 16:02:10.222043 | | {"activeEmbeddingCount":">0"} +(1 row) + diff --git a/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/upload-response.json b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/upload-response.json new file mode 100644 index 00000000..5ef78e35 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-deleted-residue-01/upload-response.json @@ -0,0 +1,13 @@ +{ + "success": true, + "status": 201, + "data": { + "documentId": 4, + "documentVersionId": 4, + "fileObjectId": 2, + "embeddingJobId": 2, + "documentStatus": "UPLOADED", + "jobStatus": "PENDING" + }, + "timestamp": "2026-10-16 15:57:34" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-final-check-01/README.md b/docs/test-results/reconciler-repair-20261016/run-final-check-01/README.md new file mode 100644 index 00000000..b8e1655c --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-final-check-01/README.md @@ -0,0 +1,41 @@ +# 최종 점검과 무결성 확인 — run-final-check-01 + +| 항목 | 기록 | +| --- | --- | +| 목적 | 모든 주입·복구 뒤 남은 Issue와 데이터 중복·누락을 한 번에 확인 | +| 시각 | 2026-10-16 16:06:06 KST (4단계 Backend 16:05:31 기동, 16:06:57 종료) | +| 환경 | 4단계 Backend(Worker·Dispatcher 켬), 버전 6개 | +| 방법 | `DRY_RUN` 전체 점검, [무결성 SQL](../sql/integrity-check.sql), 관리자 요약·Issue 목록 조회 | +| 결과 | OPEN Issue **1건**. 문서 C의 삭제 뒤 `MISSING_EMBEDDINGS`(기대와 다른 결과)만 남았다. 나머지 Issue 5건은 `RESOLVED` | + +## Issue 최종 상태 + +| Issue | 유형 | 심각도 | 대상 버전 | 자동 복구 | 최종 상태 | +| ---: | --- | --- | ---: | --- | --- | +| 1 | `MISSING_EMBEDDINGS` | CRITICAL | 3 | 1회 | `RESOLVED` | +| 2 | `DELETED_DOCUMENT_RESIDUE` | CRITICAL | 4 | 대상 아님 | `RESOLVED` (Outbox 삭제 처리 뒤) | +| 3 | `MISSING_EMBEDDINGS` | CRITICAL | 4 | 대상 아님 | **`OPEN`** (삭제 문서, 기대와 다른 결과) | +| 4 | `MISSING_JOB` | ERROR | 5 | 1회 | `RESOLVED` | +| 5 | `STALLED_VERSION` | WARNING↔ERROR | 6 | 대상 아님 | `RESOLVED` (Worker 처리 뒤) | +| 6 | `MISSING_JOB` | ERROR | 6 | 1회 | `RESOLVED` | + +관리자 요약 API는 `openCount=1`, `repairingCount=0`, `failedRepairCount=0`, `autoResolvedLast24hCount=3`이었다. 마지막 값은 복구 Event가 연결된 채 24시간 안에 `RESOLVED`가 된 Issue 수로, 이번에는 1·4·6번이다. 보고만 하는 Issue 2·5번은 이 수에 들어가지 않는다. + +## 무결성 + +| 확인 | 결과 | +| --- | --- | +| 같은 Chunk·모델 Vector 중복 | 0행 | +| 버전당 살아 있는 Job 2개 이상 | 0행 | +| 미처리·실패 Outbox Event | 0행 | +| 복구 Event ↔ Job 연결 | 3건 모두 `PROCESSED`, 각각 Job 1개로 연결되어 `INDEXED` | +| 삭제되지 않은 시험 문서 A·B·D | Chunk 5 = ACTIVE Vector 5 | +| 삭제된 문서 C | ACTIVE 0, STALE 5 (물리 삭제 없음) | + +수동 점검 요청은 모두 18회였고, 감사 Action도 18건이 남았다. 409로 거절된 단건 복구 요청은 Action을 남기지 않았다. 18회 모두 버전이 100개보다 적어 배치 1번에 `hasMore=false`로 끝났다. + +## 증거 + +- [최종 점검 응답](final-dry-run-batch1.json), [Issue 목록](issues-all.json), [운영 요약](summary.json) +- [무결성 결과](integrity.txt), [전역 상태](global-final.txt) +- [전체 실행 이력](all-reconciliation-runs.txt), [전체 감사 Action](all-admin-actions.txt), [실행 조건](conditions.txt) diff --git a/docs/test-results/reconciler-repair-20261016/run-final-check-01/all-admin-actions.txt b/docs/test-results/reconciler-repair-20261016/run-final-check-01/all-admin-actions.txt new file mode 100644 index 00000000..cfe61330 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-final-check-01/all-admin-actions.txt @@ -0,0 +1,22 @@ + action_id | action_type | target_type | target_id | admin_user_id | metadata_json | occurred_at +--------------------------------------+--------------------------+----------------+--------------------------------------+---------------+--------------------------------------------------+---------------------------- + f1402eb0-f3a8-4d16-9197-81966f17c56d | RECONCILIATION_REQUESTED | RECONCILIATION | 893413a4-17af-4f48-b371-5dcaa2f82914 | 1 | {"mode":"DRY_RUN","startCursor":0,"endCursor":2} | 2026-10-16 15:57:23.981883 + 9fb206df-9ac3-4a52-911c-786202a86234 | RECONCILIATION_REQUESTED | RECONCILIATION | c0ea5873-b2b7-4d06-be53-fed023136b08 | 1 | {"mode":"DRY_RUN","startCursor":0,"endCursor":4} | 2026-10-16 15:58:14.946239 + 006a686d-b4b5-4154-bc52-7e24a4adbf01 | RECONCILIATION_REQUESTED | RECONCILIATION | 9f39ae6e-2dac-49df-8bc9-678278165e87 | 1 | {"mode":"DRY_RUN","startCursor":0,"endCursor":4} | 2026-10-16 15:58:34.054148 + bd4b0135-5642-409a-b091-a9d58d9e1b52 | RECONCILIATION_REQUESTED | RECONCILIATION | ad88af00-ef70-4247-a739-9a0dd15921db | 1 | {"mode":"REPAIR","startCursor":0,"endCursor":4} | 2026-10-16 15:58:56.170746 + d9215666-0205-448e-bb0d-daade99f2e28 | RECONCILIATION_REQUESTED | RECONCILIATION | bba35108-3cec-44bc-95e7-de2c5f2f979b | 1 | {"mode":"DRY_RUN","startCursor":0,"endCursor":4} | 2026-10-16 15:59:23.798706 + 301a4c7d-2d50-476a-907f-54510ba132fa | RECONCILIATION_REQUESTED | RECONCILIATION | 5c121b20-6198-42a5-8f76-03522cfe3975 | 1 | {"mode":"DRY_RUN","startCursor":0,"endCursor":4} | 2026-10-16 16:01:15.73063 + 0de82b72-40eb-4be6-8c0d-d0b4180801aa | RECONCILIATION_REQUESTED | RECONCILIATION | 0ee01720-a87a-4469-a709-dde4777385a1 | 1 | {"mode":"DRY_RUN","startCursor":0,"endCursor":4} | 2026-10-16 16:02:01.438171 + ccd87139-1037-401b-a284-3f844fb346ac | RECONCILIATION_REQUESTED | RECONCILIATION | 80fe1526-21cf-4d76-bab4-c7a172e36fc1 | 1 | {"mode":"REPAIR","startCursor":0,"endCursor":4} | 2026-10-16 16:02:10.280308 + b881eddd-eb67-443d-8f89-4c0fe6f3f722 | RECONCILIATION_REQUESTED | RECONCILIATION | 80a2cabf-0161-4c9a-b1b7-0a7f4dd5584c | 1 | {"mode":"DRY_RUN","startCursor":0,"endCursor":4} | 2026-10-16 16:02:43.244603 + ce03692e-f365-4f13-9c06-63fac498fea3 | RECONCILIATION_REQUESTED | RECONCILIATION | 567edd5b-7ebf-473b-9af1-e1281171f975 | 1 | {"mode":"DRY_RUN","startCursor":0,"endCursor":5} | 2026-10-16 16:03:36.99075 + bc796cbe-09d6-4628-a808-8deaec34d6d0 | RECONCILIATION_REQUESTED | RECONCILIATION | 01853e16-77a6-4e16-a487-9743bd10c266 | 1 | {"mode":"DRY_RUN","startCursor":0,"endCursor":5} | 2026-10-16 16:03:54.454832 + 844ee02d-f9e2-4f30-8c7c-567600866fc4 | RECONCILIATION_REQUESTED | RECONCILIATION | 811b7c1d-9b2f-4803-8194-a9b3cb349de4 | 1 | {"mode":"REPAIR","startCursor":0,"endCursor":5} | 2026-10-16 16:04:07.095578 + 021ef77d-0829-4552-9ee0-6c1421d33fcd | RECONCILIATION_REQUESTED | RECONCILIATION | 5e78c4a1-0827-42fa-89f1-348c5e6dee70 | 1 | {"mode":"DRY_RUN","startCursor":0,"endCursor":5} | 2026-10-16 16:04:11.522339 + afb5bcc9-7d63-4ee3-ba5a-6775c5743e57 | RECONCILIATION_REQUESTED | RECONCILIATION | a0be300f-6bed-400d-a3ee-a69007397ea2 | 1 | {"mode":"DRY_RUN","startCursor":0,"endCursor":6} | 2026-10-16 16:04:40.860352 + cf0b7d7a-f5c9-4f6b-a87d-63430d672166 | RECONCILIATION_REQUESTED | RECONCILIATION | 178bd9aa-8a9d-49ea-ac76-dc5a996fee57 | 1 | {"mode":"DRY_RUN","startCursor":0,"endCursor":6} | 2026-10-16 16:04:53.87954 + 44ed8988-e693-4044-b551-deca3f96939f | RECONCILIATION_REQUESTED | RECONCILIATION | 52961815-8492-4300-a356-5f22ae9b5667 | 1 | {"mode":"REPAIR","startCursor":0,"endCursor":6} | 2026-10-16 16:05:03.40777 + 55d80fbc-f99b-48a2-939f-12b641ba0251 | RECONCILIATION_REQUESTED | RECONCILIATION | b928c717-b6a1-4e2c-8cf4-1067b02e037f | 1 | {"mode":"DRY_RUN","startCursor":0,"endCursor":6} | 2026-10-16 16:05:07.772131 + d15acf38-496c-4e28-95cd-cf5518eabfaa | RECONCILIATION_REQUESTED | RECONCILIATION | 21764d46-42a6-4ece-afdd-86708d3e1970 | 1 | {"mode":"DRY_RUN","startCursor":0,"endCursor":6} | 2026-10-16 16:06:06.68807 +(18 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-final-check-01/all-reconciliation-runs.txt b/docs/test-results/reconciler-repair-20261016/run-final-check-01/all-reconciliation-runs.txt new file mode 100644 index 00000000..16cef9f4 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-final-check-01/all-reconciliation-runs.txt @@ -0,0 +1,22 @@ + run_id | mode | status | start_cursor | end_cursor | scanned_count | detected_count | repair_requested_count | started_at | completed_at | error_code +--------------------------------------+---------+-----------+--------------+------------+---------------+----------------+------------------------+----------------------------+----------------------------+------------ + 893413a4-17af-4f48-b371-5dcaa2f82914 | DRY_RUN | COMPLETED | 0 | 2 | 2 | 0 | 0 | 2026-10-16 15:57:23.900001 | 2026-10-16 15:57:23.977916 | + c0ea5873-b2b7-4d06-be53-fed023136b08 | DRY_RUN | COMPLETED | 0 | 4 | 4 | 0 | 0 | 2026-10-16 15:58:14.91844 | 2026-10-16 15:58:14.94482 | + 9f39ae6e-2dac-49df-8bc9-678278165e87 | DRY_RUN | COMPLETED | 0 | 4 | 4 | 1 | 0 | 2026-10-16 15:58:34.011124 | 2026-10-16 15:58:34.05244 | + ad88af00-ef70-4247-a739-9a0dd15921db | REPAIR | COMPLETED | 0 | 4 | 4 | 1 | 1 | 2026-10-16 15:58:56.131405 | 2026-10-16 15:58:56.169089 | + bba35108-3cec-44bc-95e7-de2c5f2f979b | DRY_RUN | COMPLETED | 0 | 4 | 4 | 0 | 0 | 2026-10-16 15:59:23.766982 | 2026-10-16 15:59:23.796784 | + 5c121b20-6198-42a5-8f76-03522cfe3975 | DRY_RUN | COMPLETED | 0 | 4 | 4 | 0 | 0 | 2026-10-16 16:01:15.649537 | 2026-10-16 16:01:15.727968 | + 0ee01720-a87a-4469-a709-dde4777385a1 | DRY_RUN | COMPLETED | 0 | 4 | 4 | 1 | 0 | 2026-10-16 16:02:01.362002 | 2026-10-16 16:02:01.435604 | + 80fe1526-21cf-4d76-bab4-c7a172e36fc1 | REPAIR | COMPLETED | 0 | 4 | 4 | 1 | 0 | 2026-10-16 16:02:10.21262 | 2026-10-16 16:02:10.27822 | + 80a2cabf-0161-4c9a-b1b7-0a7f4dd5584c | DRY_RUN | COMPLETED | 0 | 4 | 4 | 1 | 0 | 2026-10-16 16:02:43.184655 | 2026-10-16 16:02:43.24271 | + 567edd5b-7ebf-473b-9af1-e1281171f975 | DRY_RUN | COMPLETED | 0 | 5 | 5 | 1 | 0 | 2026-10-16 16:03:36.954614 | 2026-10-16 16:03:36.989232 | + 01853e16-77a6-4e16-a487-9743bd10c266 | DRY_RUN | COMPLETED | 0 | 5 | 5 | 2 | 0 | 2026-10-16 16:03:54.408775 | 2026-10-16 16:03:54.452405 | + 811b7c1d-9b2f-4803-8194-a9b3cb349de4 | REPAIR | COMPLETED | 0 | 5 | 5 | 2 | 1 | 2026-10-16 16:04:07.010907 | 2026-10-16 16:04:07.092812 | + 5e78c4a1-0827-42fa-89f1-348c5e6dee70 | DRY_RUN | COMPLETED | 0 | 5 | 5 | 1 | 0 | 2026-10-16 16:04:11.452096 | 2026-10-16 16:04:11.519508 | + a0be300f-6bed-400d-a3ee-a69007397ea2 | DRY_RUN | COMPLETED | 0 | 6 | 6 | 2 | 0 | 2026-10-16 16:04:40.770363 | 2026-10-16 16:04:40.857926 | + 178bd9aa-8a9d-49ea-ac76-dc5a996fee57 | DRY_RUN | COMPLETED | 0 | 6 | 6 | 3 | 0 | 2026-10-16 16:04:53.815217 | 2026-10-16 16:04:53.877369 | + 52961815-8492-4300-a356-5f22ae9b5667 | REPAIR | COMPLETED | 0 | 6 | 6 | 3 | 1 | 2026-10-16 16:05:03.359268 | 2026-10-16 16:05:03.406237 | + b928c717-b6a1-4e2c-8cf4-1067b02e037f | DRY_RUN | COMPLETED | 0 | 6 | 6 | 2 | 0 | 2026-10-16 16:05:07.708055 | 2026-10-16 16:05:07.770725 | + 21764d46-42a6-4ece-afdd-86708d3e1970 | DRY_RUN | COMPLETED | 0 | 6 | 6 | 1 | 0 | 2026-10-16 16:06:06.637791 | 2026-10-16 16:06:06.686715 | +(18 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-final-check-01/conditions.txt b/docs/test-results/reconciler-repair-20261016/run-final-check-01/conditions.txt new file mode 100644 index 00000000..d3bb9b2b --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-final-check-01/conditions.txt @@ -0,0 +1 @@ +backend phase: INDEXING_WORKER_ENABLED=true, SYNC_DISPATCHER_ENABLED=true diff --git a/docs/test-results/reconciler-repair-20261016/run-final-check-01/final-dry-run-batch1.json b/docs/test-results/reconciler-repair-20261016/run-final-check-01/final-dry-run-batch1.json new file mode 100644 index 00000000..37154aae --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-final-check-01/final-dry-run-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "21764d46-42a6-4ece-afdd-86708d3e1970", + "startCursor": 0, + "endCursor": 6, + "scannedCount": 6, + "detectedCount": 1, + "repairRequestedCount": 0, + "hasMore": false, + "action": { + "actionId": "d15acf38-496c-4e28-95cd-cf5518eabfaa", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "21764d46-42a6-4ece-afdd-86708d3e1970", + "adminUserId": 1, + "occurredAt": "2026-10-16T16:06:06.68807" + } + }, + "timestamp": "2026-10-16 16:06:06" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-final-check-01/finished_at.txt b/docs/test-results/reconciler-repair-20261016/run-final-check-01/finished_at.txt new file mode 100644 index 00000000..4e3bc4d6 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-final-check-01/finished_at.txt @@ -0,0 +1 @@ +2026-10-16T16:06:57+0900 (phase4 종료) diff --git a/docs/test-results/reconciler-repair-20261016/run-final-check-01/global-final.txt b/docs/test-results/reconciler-repair-20261016/run-final-check-01/global-final.txt new file mode 100644 index 00000000..379e3e5c --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-final-check-01/global-final.txt @@ -0,0 +1,52 @@ +## active embedding model + id | model_name | is_active | is_searchable +----+-------------+-----------+--------------- + 1 | BAAI/bge-m3 | t | t +(1 row) + +## documents by status + status | count +---------+------- + DELETED | 1 + INDEXED | 5 +(2 rows) + +## versions by status + status | count +---------+------- + INDEXED | 6 +(1 row) + +## issues by type/status + issue_type | severity | status | repairable | count +--------------------------+----------+----------+------------+------- + DELETED_DOCUMENT_RESIDUE | CRITICAL | RESOLVED | f | 1 + MISSING_EMBEDDINGS | CRITICAL | OPEN | f | 1 + MISSING_EMBEDDINGS | CRITICAL | RESOLVED | t | 1 + MISSING_JOB | ERROR | RESOLVED | t | 2 + STALLED_VERSION | WARNING | RESOLVED | f | 1 +(5 rows) + +## outbox by type/status + event_type | status | count +----------------------------+-----------+------- + DOCUMENT_DELETED | PROCESSED | 1 + DOCUMENT_REINDEX_REQUESTED | PROCESSED | 3 + DOCUMENT_VERSION_CREATED | PROCESSED | 4 +(3 rows) + +## reconciliation runs (latest 10) + run_id | mode | status | start_cursor | end_cursor | scanned_count | detected_count | repair_requested_count | started_at | completed_at | error_code +--------------------------------------+---------+-----------+--------------+------------+---------------+----------------+------------------------+----------------------------+----------------------------+------------ + 21764d46-42a6-4ece-afdd-86708d3e1970 | DRY_RUN | COMPLETED | 0 | 6 | 6 | 1 | 0 | 2026-10-16 16:06:06.637791 | 2026-10-16 16:06:06.686715 | + b928c717-b6a1-4e2c-8cf4-1067b02e037f | DRY_RUN | COMPLETED | 0 | 6 | 6 | 2 | 0 | 2026-10-16 16:05:07.708055 | 2026-10-16 16:05:07.770725 | + 52961815-8492-4300-a356-5f22ae9b5667 | REPAIR | COMPLETED | 0 | 6 | 6 | 3 | 1 | 2026-10-16 16:05:03.359268 | 2026-10-16 16:05:03.406237 | + 178bd9aa-8a9d-49ea-ac76-dc5a996fee57 | DRY_RUN | COMPLETED | 0 | 6 | 6 | 3 | 0 | 2026-10-16 16:04:53.815217 | 2026-10-16 16:04:53.877369 | + a0be300f-6bed-400d-a3ee-a69007397ea2 | DRY_RUN | COMPLETED | 0 | 6 | 6 | 2 | 0 | 2026-10-16 16:04:40.770363 | 2026-10-16 16:04:40.857926 | + 5e78c4a1-0827-42fa-89f1-348c5e6dee70 | DRY_RUN | COMPLETED | 0 | 5 | 5 | 1 | 0 | 2026-10-16 16:04:11.452096 | 2026-10-16 16:04:11.519508 | + 811b7c1d-9b2f-4803-8194-a9b3cb349de4 | REPAIR | COMPLETED | 0 | 5 | 5 | 2 | 1 | 2026-10-16 16:04:07.010907 | 2026-10-16 16:04:07.092812 | + 01853e16-77a6-4e16-a487-9743bd10c266 | DRY_RUN | COMPLETED | 0 | 5 | 5 | 2 | 0 | 2026-10-16 16:03:54.408775 | 2026-10-16 16:03:54.452405 | + 567edd5b-7ebf-473b-9af1-e1281171f975 | DRY_RUN | COMPLETED | 0 | 5 | 5 | 1 | 0 | 2026-10-16 16:03:36.954614 | 2026-10-16 16:03:36.989232 | + 80a2cabf-0161-4c9a-b1b7-0a7f4dd5584c | DRY_RUN | COMPLETED | 0 | 4 | 4 | 1 | 0 | 2026-10-16 16:02:43.184655 | 2026-10-16 16:02:43.24271 | +(10 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-final-check-01/integrity.txt b/docs/test-results/reconciler-repair-20261016/run-final-check-01/integrity.txt new file mode 100644 index 00000000..62942163 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-final-check-01/integrity.txt @@ -0,0 +1,34 @@ +## version별 Chunk·ACTIVE Vector·Job 수 + version_id | document_id | document_status | version_status | chunks | active_vectors | inactive_vectors | jobs | live_jobs +------------+-------------+-----------------+----------------+--------+----------------+------------------+------+----------- + 1 | 1 | INDEXED | INDEXED | 2 | 2 | 0 | 0 | 0 + 2 | 2 | INDEXED | INDEXED | 2 | 2 | 0 | 0 | 0 + 3 | 3 | INDEXED | INDEXED | 5 | 5 | 0 | 2 | 0 + 4 | 4 | DELETED | INDEXED | 5 | 0 | 5 | 1 | 0 + 5 | 5 | INDEXED | INDEXED | 5 | 5 | 0 | 1 | 0 + 6 | 6 | INDEXED | INDEXED | 5 | 5 | 0 | 1 | 0 +(6 rows) + +## 같은 Chunk·모델 Vector 중복 (0행이어야 함) + chunk_id | embedding_model_id | count +----------+--------------------+------- +(0 rows) + +## version당 live Job 2개 이상 (0행이어야 함) + document_version_id | count +---------------------+------- +(0 rows) + +## Outbox 미완료·실패 (0행이어야 함) + event_id | event_type | status | last_error_code +----------+------------+--------+----------------- +(0 rows) + +## Reindex Event ↔ Job 연결 + event_id | version_id | status | job_id | job_status +--------------------------------------+------------+-----------+--------+------------ + 7cc6bc1b-8834-4830-a6a3-e6ec41d9a410 | 3 | PROCESSED | 3 | INDEXED + e8c1e0bb-805f-4707-bda0-64746f2e12c1 | 5 | PROCESSED | 5 | INDEXED + a9bc2b82-52ce-49c0-ae47-4c5e103057c3 | 6 | PROCESSED | 7 | INDEXED +(3 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-final-check-01/issues-all.json b/docs/test-results/reconciler-repair-20261016/run-final-check-01/issues-all.json new file mode 100644 index 00000000..42642310 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-final-check-01/issues-all.json @@ -0,0 +1,129 @@ +{ + "success": true, + "status": 200, + "data": { + "content": [ + { + "issueId": 3, + "issueKey": "MISSING_EMBEDDINGS:VERSION:4:MODEL:1", + "issueType": "MISSING_EMBEDDINGS", + "severity": "CRITICAL", + "status": "OPEN", + "documentId": 4, + "documentVersionId": 4, + "embeddingModelId": 1, + "expectedJson": "{\"activeEmbeddingCount\":5}", + "actualJson": "{\"activeEmbeddingCount\":0,\"currentModelEmbeddingCount\":5,\"allModelEmbeddingCount\":5}", + "repairable": false, + "detectedAt": "2026-10-16T16:02:43.18896", + "lastDetectedAt": "2026-10-16T16:06:06.643051", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": null, + "resolutionMessage": null + }, + { + "issueId": 5, + "issueKey": "STALLED_VERSION:VERSION:6:MODEL:1", + "issueType": "STALLED_VERSION", + "severity": "WARNING", + "status": "RESOLVED", + "documentId": 6, + "documentVersionId": 6, + "embeddingModelId": 1, + "expectedJson": "{\"updatedAfter\":\"2026-10-16T15:50:07.710629\"}", + "actualJson": "{\"updatedAt\":\"2026-10-16T15:44:29.366706\",\"liveJob\":true}", + "repairable": false, + "detectedAt": "2026-10-16T16:04:40.777191", + "lastDetectedAt": "2026-10-16T16:05:07.710629", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": "2026-10-16T16:06:06.643051", + "resolutionMessage": "Reconciliation 재검사에서 정상 상태를 확인했습니다." + }, + { + "issueId": 6, + "issueKey": "MISSING_JOB:VERSION:6:MODEL:1", + "issueType": "MISSING_JOB", + "severity": "ERROR", + "status": "RESOLVED", + "documentId": 6, + "documentVersionId": 6, + "embeddingModelId": 1, + "expectedJson": "{\"liveJob\":true}", + "actualJson": "{\"liveJob\":false,\"versionStatus\":\"UPLOADED\"}", + "repairable": true, + "detectedAt": "2026-10-16T16:04:53.820939", + "lastDetectedAt": "2026-10-16T16:05:03.362609", + "repairEventId": "a9bc2b82-52ce-49c0-ae47-4c5e103057c3", + "repairAttemptCount": 1, + "resolvedAt": "2026-10-16T16:05:07.710629", + "resolutionMessage": "Reconciliation 재검사에서 정상 상태를 확인했습니다." + }, + { + "issueId": 4, + "issueKey": "MISSING_JOB:VERSION:5:MODEL:1", + "issueType": "MISSING_JOB", + "severity": "ERROR", + "status": "RESOLVED", + "documentId": 5, + "documentVersionId": 5, + "embeddingModelId": 1, + "expectedJson": "{\"liveJob\":true}", + "actualJson": "{\"liveJob\":false,\"versionStatus\":\"UPLOADED\"}", + "repairable": true, + "detectedAt": "2026-10-16T16:03:54.412214", + "lastDetectedAt": "2026-10-16T16:04:07.020063", + "repairEventId": "e8c1e0bb-805f-4707-bda0-64746f2e12c1", + "repairAttemptCount": 1, + "resolvedAt": "2026-10-16T16:04:11.45721", + "resolutionMessage": "Reconciliation 재검사에서 정상 상태를 확인했습니다." + }, + { + "issueId": 2, + "issueKey": "DELETED_DOCUMENT_RESIDUE:DOCUMENT:4", + "issueType": "DELETED_DOCUMENT_RESIDUE", + "severity": "CRITICAL", + "status": "RESOLVED", + "documentId": 4, + "documentVersionId": 4, + "embeddingModelId": 1, + "expectedJson": "{\"activeEmbeddingCount\":0}", + "actualJson": "{\"activeEmbeddingCount\":\">0\"}", + "repairable": false, + "detectedAt": "2026-10-16T16:02:01.366136", + "lastDetectedAt": "2026-10-16T16:02:10.222043", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": "2026-10-16T16:02:43.18896", + "resolutionMessage": "Reconciliation 재검사에서 정상 상태를 확인했습니다." + }, + { + "issueId": 1, + "issueKey": "MISSING_EMBEDDINGS:VERSION:3:MODEL:1", + "issueType": "MISSING_EMBEDDINGS", + "severity": "CRITICAL", + "status": "RESOLVED", + "documentId": 3, + "documentVersionId": 3, + "embeddingModelId": 1, + "expectedJson": "{\"activeEmbeddingCount\":5}", + "actualJson": "{\"activeEmbeddingCount\":4,\"currentModelEmbeddingCount\":4,\"allModelEmbeddingCount\":4}", + "repairable": true, + "detectedAt": "2026-10-16T15:58:34.015381", + "lastDetectedAt": "2026-10-16T15:58:56.134837", + "repairEventId": "7cc6bc1b-8834-4830-a6a3-e6ec41d9a410", + "repairAttemptCount": 1, + "resolvedAt": "2026-10-16T15:59:23.771277", + "resolutionMessage": "Reconciliation 재검사에서 정상 상태를 확인했습니다." + } + ], + "page": 0, + "size": 100, + "totalElements": 6, + "totalPages": 1, + "first": true, + "last": true + }, + "timestamp": "2026-10-16 16:06:06" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-final-check-01/started_at.txt b/docs/test-results/reconciler-repair-20261016/run-final-check-01/started_at.txt new file mode 100644 index 00000000..574fcdd4 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-final-check-01/started_at.txt @@ -0,0 +1 @@ +2026-10-16T16:05:31+0900 (phase4 기동) diff --git a/docs/test-results/reconciler-repair-20261016/run-final-check-01/summary.json b/docs/test-results/reconciler-repair-20261016/run-final-check-01/summary.json new file mode 100644 index 00000000..6da59e73 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-final-check-01/summary.json @@ -0,0 +1,39 @@ +{ + "success": true, + "status": 200, + "data": { + "capturedAt": "2026-10-16T16:06:06.920723", + "events": { + "pendingCount": 0, + "processingCount": 0, + "failedCount": 0, + "oldestPendingAgeSeconds": null, + "processedLast24hCount": 8, + "failedLast24hCount": 0, + "retriedLast24hCount": 0, + "successRateLast24h": 100.0, + "lastProcessedEventId": "a9bc2b82-52ce-49c0-ae47-4c5e103057c3", + "lastProcessedAt": "2026-10-16T16:05:03.564134" + }, + "issues": { + "openCount": 1, + "repairingCount": 0, + "autoResolvedLast24hCount": 3, + "failedRepairCount": 0 + }, + "reconciliation": { + "runId": "21764d46-42a6-4ece-afdd-86708d3e1970", + "mode": "DRY_RUN", + "status": "COMPLETED", + "startCursor": 0, + "endCursor": 6, + "scannedCount": 6, + "detectedCount": 1, + "repairRequestedCount": 0, + "startedAt": "2026-10-16T16:06:06.637791", + "completedAt": "2026-10-16T16:06:06.686715", + "errorCode": null + } + }, + "timestamp": "2026-10-16 16:06:06" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/0-precheck-dry-run-batch1.json b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/0-precheck-dry-run-batch1.json new file mode 100644 index 00000000..176cb5df --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/0-precheck-dry-run-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "c0ea5873-b2b7-4d06-be53-fed023136b08", + "startCursor": 0, + "endCursor": 4, + "scannedCount": 4, + "detectedCount": 0, + "repairRequestedCount": 0, + "hasMore": false, + "action": { + "actionId": "9fb206df-9ac3-4a52-911c-786202a86234", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "c0ea5873-b2b7-4d06-be53-fed023136b08", + "adminUserId": 1, + "occurredAt": "2026-10-16T15:58:14.946239" + } + }, + "timestamp": "2026-10-16 15:58:14" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/1-detect-dry-run-batch1.json b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/1-detect-dry-run-batch1.json new file mode 100644 index 00000000..568679bf --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/1-detect-dry-run-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "9f39ae6e-2dac-49df-8bc9-678278165e87", + "startCursor": 0, + "endCursor": 4, + "scannedCount": 4, + "detectedCount": 1, + "repairRequestedCount": 0, + "hasMore": false, + "action": { + "actionId": "006a686d-b4b5-4154-bc52-7e24a4adbf01", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "9f39ae6e-2dac-49df-8bc9-678278165e87", + "adminUserId": 1, + "occurredAt": "2026-10-16T15:58:34.054148" + } + }, + "timestamp": "2026-10-16 15:58:34" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/1-issues-open.json b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/1-issues-open.json new file mode 100644 index 00000000..a0127619 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/1-issues-open.json @@ -0,0 +1,34 @@ +{ + "success": true, + "status": 200, + "data": { + "content": [ + { + "issueId": 1, + "issueKey": "MISSING_EMBEDDINGS:VERSION:3:MODEL:1", + "issueType": "MISSING_EMBEDDINGS", + "severity": "CRITICAL", + "status": "OPEN", + "documentId": 3, + "documentVersionId": 3, + "embeddingModelId": 1, + "expectedJson": "{\"activeEmbeddingCount\":5}", + "actualJson": "{\"activeEmbeddingCount\":4,\"currentModelEmbeddingCount\":4,\"allModelEmbeddingCount\":4}", + "repairable": true, + "detectedAt": "2026-10-16T15:58:34.015381", + "lastDetectedAt": "2026-10-16T15:58:34.015381", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": null, + "resolutionMessage": null + } + ], + "page": 0, + "size": 100, + "totalElements": 1, + "totalPages": 1, + "first": true, + "last": true + }, + "timestamp": "2026-10-16 15:58:34" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/2-repair-batch1.json b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/2-repair-batch1.json new file mode 100644 index 00000000..91010ab7 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/2-repair-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "ad88af00-ef70-4247-a739-9a0dd15921db", + "startCursor": 0, + "endCursor": 4, + "scannedCount": 4, + "detectedCount": 1, + "repairRequestedCount": 1, + "hasMore": false, + "action": { + "actionId": "bd4b0135-5642-409a-b091-a9d58d9e1b52", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "ad88af00-ef70-4247-a739-9a0dd15921db", + "adminUserId": 1, + "occurredAt": "2026-10-16T15:58:56.170746" + } + }, + "timestamp": "2026-10-16 15:58:56" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/2-timeline.txt b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/2-timeline.txt new file mode 100644 index 00000000..7753c843 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/2-timeline.txt @@ -0,0 +1,6 @@ +15:58:54 doc=INDEXED ver=INDEXED jobs=1:INDEXED reindexEvents=- activeVec=4 issues=1:MISSING_EMBEDDINGS:OPEN +15:58:56 doc=INDEXED ver=INDEXED jobs=1:INDEXED reindexEvents=PENDING activeVec=4 issues=1:MISSING_EMBEDDINGS:REPAIRING +15:58:56 doc=INDEXING ver=CHUNKED jobs=1:INDEXED,3:PENDING reindexEvents=PROCESSED activeVec=4 issues=1:MISSING_EMBEDDINGS:REPAIRING +15:59:02 doc=INDEXING ver=EMBEDDING jobs=1:INDEXED,3:PROCESSING reindexEvents=PROCESSED activeVec=4 issues=1:MISSING_EMBEDDINGS:REPAIRING +15:59:11 doc=INDEXED ver=INDEXED jobs=1:INDEXED,3:INDEXED reindexEvents=PROCESSED activeVec=5 issues=1:MISSING_EMBEDDINGS:REPAIRING +15:59:24 doc=INDEXED ver=INDEXED jobs=1:INDEXED,3:INDEXED reindexEvents=PROCESSED activeVec=5 issues=1:MISSING_EMBEDDINGS:RESOLVED diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/3-issues-all.json b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/3-issues-all.json new file mode 100644 index 00000000..8bdf6775 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/3-issues-all.json @@ -0,0 +1,34 @@ +{ + "success": true, + "status": 200, + "data": { + "content": [ + { + "issueId": 1, + "issueKey": "MISSING_EMBEDDINGS:VERSION:3:MODEL:1", + "issueType": "MISSING_EMBEDDINGS", + "severity": "CRITICAL", + "status": "RESOLVED", + "documentId": 3, + "documentVersionId": 3, + "embeddingModelId": 1, + "expectedJson": "{\"activeEmbeddingCount\":5}", + "actualJson": "{\"activeEmbeddingCount\":4,\"currentModelEmbeddingCount\":4,\"allModelEmbeddingCount\":4}", + "repairable": true, + "detectedAt": "2026-10-16T15:58:34.015381", + "lastDetectedAt": "2026-10-16T15:58:56.134837", + "repairEventId": "7cc6bc1b-8834-4830-a6a3-e6ec41d9a410", + "repairAttemptCount": 1, + "resolvedAt": "2026-10-16T15:59:23.771277", + "resolutionMessage": "Reconciliation 재검사에서 정상 상태를 확인했습니다." + } + ], + "page": 0, + "size": 100, + "totalElements": 1, + "totalPages": 1, + "first": true, + "last": true + }, + "timestamp": "2026-10-16 15:59:23" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/3-recheck-dry-run-batch1.json b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/3-recheck-dry-run-batch1.json new file mode 100644 index 00000000..85da2d74 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/3-recheck-dry-run-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "bba35108-3cec-44bc-95e7-de2c5f2f979b", + "startCursor": 0, + "endCursor": 4, + "scannedCount": 4, + "detectedCount": 0, + "repairRequestedCount": 0, + "hasMore": false, + "action": { + "actionId": "d9215666-0205-448e-bb0d-daade99f2e28", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "bba35108-3cec-44bc-95e7-de2c5f2f979b", + "adminUserId": 1, + "occurredAt": "2026-10-16T15:59:23.798706" + } + }, + "timestamp": "2026-10-16 15:59:23" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/4-search-after-repair.json b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/4-search-after-repair.json new file mode 100644 index 00000000..1c995315 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/4-search-after-repair.json @@ -0,0 +1,54 @@ +{ + "success": true, + "status": 200, + "data": { + "conversationId": 1, + "queryId": 1, + "results": [ + { + "rank": 1, + "documentId": 3, + "chunkId": 8, + "documentTitle": "RC517A 가상 항만 야적장 운영 지침", + "chunkText": " 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 4번째 점검 주기에 적용한다.\n4-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 4번째 점검 주기에 적용한다.\n4-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 4번째 점검 주기에 적용한다.\n4-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 4번째 점검 주기에 적용한다.\n\n제5절. RC517A 가상 항만 야적장 운영 지침 세부 항목 5\n5-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 5번째 점검 주기에 적용한다.\n5-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 5번째 점검 주기에 적용한다.\n5-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 5번째 점검 주기에 적용한다.\n5-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 5번째 점검 주기에 적용한다.\n5-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 5번째 점검 주기에 적용한다.\n5-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 5번째 점검 주기에 적용한다.\n\n제6절. RC517A 가상 항만 야적장 운영 지침 세부 항목 6\n6-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 6번째 점검 주기에 적용한다.\n6-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 6번째 점검 주기에 적용한다.\n6-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 6번째 점검 주기에 적용한다.\n6-4. 크레인 작업 반경 안에서는 보행", + "pageNo": null, + "sectionPath": null, + "similarityScore": 0.620245 + }, + { + "rank": 2, + "documentId": 3, + "chunkId": 10, + "documentTitle": "RC517A 가상 항만 야적장 운영 지침", + "chunkText": "실제 시설이 아니다. 이 항목은 6번째 점검 주기에 적용한다.\n6-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 6번째 점검 주기에 적용한다.\n6-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 6번째 점검 주기에 적용한다.\n6-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 6번째 점검 주기에 적용한다.\n6-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 6번째 점검 주기에 적용한다.\n6-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 6번째 점검 주기에 적용한다.\n\n제7절. RC517A 가상 항만 야적장 운영 지침 세부 항목 7\n7-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 7번째 점검 주기에 적용한다.\n7-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 7번째 점검 주기에 적용한다.\n7-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 7번째 점검 주기에 적용한다.\n7-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 7번째 점검 주기에 적용한다.\n7-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 7번째 점검 주기에 적용한다.\n7-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 7번째 점검 주기에 적용한다.\n\n제8절. RC517A 가상 항만 야적장 운영 지침 세부 항목 8\n8-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 8번째 점검 주기에 적용한다.\n8-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배", + "pageNo": null, + "sectionPath": null, + "similarityScore": 0.60442 + }, + { + "rank": 3, + "documentId": 4, + "chunkId": 9, + "documentTitle": "RC517C 가상 양봉장 계절 관리 기록", + "chunkText": "정리한다. 이 항목은 2번째 점검 주기에 적용한다.\n2-6. 겨울에는 벌통을 열지 않고 바깥 소리와 사체 수로 군세를 추정한다. 이 항목은 2번째 점검 주기에 적용한다.\n\n제3절. RC517C 가상 양봉장 계절 관리 기록 세부 항목 3\n3-1. RC517C 양봉장은 가상의 시험용 농장이며 실제 농가가 아니다. 이 항목은 3번째 점검 주기에 적용한다.\n3-2. 봄철 첫 내검에서는 여왕벌 산란 상태와 저장 꿀의 양을 함께 확인한다. 이 항목은 3번째 점검 주기에 적용한다.\n3-3. 분봉 징후가 보이면 왕대를 정리하고 빈 소비를 넣어 공간을 넓힌다. 이 항목은 3번째 점검 주기에 적용한다.\n3-4. 장마 기간에는 벌통 받침을 높이고 출입구 주변의 물 고임을 막는다. 이 항목은 3번째 점검 주기에 적용한다.\n3-5. 가을에는 월동 먹이를 충분히 남기고 응애 방제 기록을 통별로 정리한다. 이 항목은 3번째 점검 주기에 적용한다.\n3-6. 겨울에는 벌통을 열지 않고 바깥 소리와 사체 수로 군세를 추정한다. 이 항목은 3번째 점검 주기에 적용한다.\n\n제4절. RC517C 가상 양봉장 계절 관리 기록 세부 항목 4\n4-1. RC517C 양봉장은 가상의 시험용 농장이며 실제 농가가 아니다. 이 항목은 4번째 점검 주기에 적용한다.\n4-2. 봄철 첫 내검에서는 여왕벌 산란 상태와 저장 꿀의 양을 함께 확인한다. 이 항목은 4번째 점검 주기에 적용한다.\n4-3. 분봉 징후가 보이면 왕대를 정리하고 빈 소비를 넣어 공간을 넓힌다. 이 항목은 4번째 점검 주기에 적용한다.\n4-4. 장마 기간에는 벌통 받침을 높이고 출입구 주변의 물 고임을 막는다. 이 항목은 4번째 점검 주기에 적용한다.\n4-5. 가을에는 월동 먹이를 충분히 남기고 응애 방제 기록을 통별로 정리한다. 이 항목은 4번째 점검 주기에 적용한다.\n4-6. 겨울에는 벌통을 열지 않고 바깥 소리와 사체 수로 군세를 추정한다. 이 항목은 4번째 점검 주기에 적용한다.\n\n제5절. RC517C 가상 양봉장 계절 관리 기록 세부 항", + "pageNo": null, + "sectionPath": null, + "similarityScore": 0.514456 + }, + { + "rank": 4, + "documentId": 4, + "chunkId": 13, + "documentTitle": "RC517C 가상 양봉장 계절 관리 기록", + "chunkText": "소비를 넣어 공간을 넓힌다. 이 항목은 6번째 점검 주기에 적용한다.\n6-4. 장마 기간에는 벌통 받침을 높이고 출입구 주변의 물 고임을 막는다. 이 항목은 6번째 점검 주기에 적용한다.\n6-5. 가을에는 월동 먹이를 충분히 남기고 응애 방제 기록을 통별로 정리한다. 이 항목은 6번째 점검 주기에 적용한다.\n6-6. 겨울에는 벌통을 열지 않고 바깥 소리와 사체 수로 군세를 추정한다. 이 항목은 6번째 점검 주기에 적용한다.\n\n제7절. RC517C 가상 양봉장 계절 관리 기록 세부 항목 7\n7-1. RC517C 양봉장은 가상의 시험용 농장이며 실제 농가가 아니다. 이 항목은 7번째 점검 주기에 적용한다.\n7-2. 봄철 첫 내검에서는 여왕벌 산란 상태와 저장 꿀의 양을 함께 확인한다. 이 항목은 7번째 점검 주기에 적용한다.\n7-3. 분봉 징후가 보이면 왕대를 정리하고 빈 소비를 넣어 공간을 넓힌다. 이 항목은 7번째 점검 주기에 적용한다.\n7-4. 장마 기간에는 벌통 받침을 높이고 출입구 주변의 물 고임을 막는다. 이 항목은 7번째 점검 주기에 적용한다.\n7-5. 가을에는 월동 먹이를 충분히 남기고 응애 방제 기록을 통별로 정리한다. 이 항목은 7번째 점검 주기에 적용한다.\n7-6. 겨울에는 벌통을 열지 않고 바깥 소리와 사체 수로 군세를 추정한다. 이 항목은 7번째 점검 주기에 적용한다.\n\n제8절. RC517C 가상 양봉장 계절 관리 기록 세부 항목 8\n8-1. RC517C 양봉장은 가상의 시험용 농장이며 실제 농가가 아니다. 이 항목은 8번째 점검 주기에 적용한다.\n8-2. 봄철 첫 내검에서는 여왕벌 산란 상태와 저장 꿀의 양을 함께 확인한다. 이 항목은 8번째 점검 주기에 적용한다.\n8-3. 분봉 징후가 보이면 왕대를 정리하고 빈 소비를 넣어 공간을 넓힌다. 이 항목은 8번째 점검 주기에 적용한다.\n8-4. 장마 기간에는 벌통 받침을 높이고 출입구 주변의 물 고임을 막는다. 이 항목은 8번째 점검 주기에 적용한다.\n8-5. 가을에는 월동 먹이를 충분히 남기", + "pageNo": null, + "sectionPath": null, + "similarityScore": 0.513445 + } + ], + "ragStatus": "PROCESSING", + "answer": null, + "citations": [] + }, + "timestamp": "2026-10-16 15:59:53" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/4-search-results-db.txt b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/4-search-results-db.txt new file mode 100644 index 00000000..cc42b5fb --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/4-search-results-db.txt @@ -0,0 +1,8 @@ + rank_no | chunk_id | embedding_id | document_version_id | chunk_index | similarity_score | final_score +---------+----------+--------------+---------------------+-------------+------------------+------------- + 1 | 8 | 15 | 3 | 2 | 0.620245 | 0.620245 + 2 | 10 | 13 | 3 | 3 | 0.604420 | 0.604420 + 3 | 9 | 6 | 4 | 1 | 0.514456 | 0.514456 + 4 | 13 | 8 | 4 | 3 | 0.513445 | 0.513445 +(4 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/README.md b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/README.md new file mode 100644 index 00000000..a4cec460 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/README.md @@ -0,0 +1,56 @@ +# 완결 증명 A: Vector 1행 누락 복구 — run-missing-embeddings-01 + +| 항목 | 기록 | +| --- | --- | +| 목적 | 현재 INDEXED 버전의 활성 모델 Vector가 1행 빠졌을 때 탐지 → 복구 예약 → Worker 처리 → 재점검 종결까지 이어지는지 확인 | +| 시각 | 2026-10-16 15:58:14~16:00:21 KST | +| 환경 | 1단계 Backend(Worker·Dispatcher 켬), 시험 문서 A(`documentId=3`, `versionId=3`, Chunk 5개) | +| 주입 | [inject.sql](inject.sql): `chunk_index=2`의 ACTIVE Vector(`embedding_id=12`) 1행 삭제. 정확히 1행이 아니면 롤백 | +| 성공 기준 | `MISSING_EMBEDDINGS` 탐지, `REPAIR`가 Event 1건 예약, 기존 Vector 보존, 누락 1행만 추가, 재점검에서 Issue `RESOLVED`, 검색 결과 반환 | +| 결과 | 통과 | +| 정리 | 시험 DB는 전체 시험 뒤 컨테이너째 삭제 | + +## 흐름 + +| 시각 (KST) | 단계 | 관측 | +| --- | --- | --- | +| 15:58:14 | 사전 점검 `DRY_RUN` | 버전 4개, 탐지 0건. 이 버전의 검색·인용 이력 0건 | +| 15:58:26 | 주입 | ACTIVE Vector 5 → 4 | +| 15:58:34 | 탐지 `DRY_RUN` | Issue **1번** `MISSING_EMBEDDINGS`, `CRITICAL`, `repairable=true`, `OPEN`. 복구 Event 0건 | +| 15:58:56.134 | `REPAIR` | 탐지 1건, 복구 요청 **1건**. Issue `REPAIRING` | +| 15:58:56.156 | Outbox 기록 | `DOCUMENT_REINDEX_REQUESTED` `7cc6bc1b…` | +| 15:58:56.700 | Dispatcher 처리 | Event `PROCESSED`, 전달 시도 1회 `SUCCEEDED`. 새 Job **3번** `PENDING` 생성 | +| 15:58:56 | 상태 전환 | 문서 `INDEXED → INDEXING`, 버전 `INDEXED → CHUNKED` | +| 15:59:01.907 | Worker claim | Job 3 `PROCESSING`. Parsing 단계 없이 `CHUNKED → EMBEDDING` | +| 15:59:11.024 | Worker 완료 | 버전·문서 `INDEXED`, ACTIVE Vector 5. Attempt 1회 `SUCCESS`, 9,104ms | +| 15:59:23 | 재점검 `DRY_RUN` | 탐지 0건. Issue 1번 `RESOLVED` | +| 15:59:53 | 검색 | 1위가 복구된 Vector(`embedding_id=15`, 유사도 0.620245) | + +`REPAIR` 요청부터 `INDEXED`까지 약 **14.9초**였다. 이 가운데 Job 생성부터 Worker claim까지 약 5.2초였다. Worker의 빈 대기 polling 간격(최대 10초) 때문으로 보이며, 따로 측정하지 않았다. + +## 보존·추가 확인 + +| chunk_index | 주입 전 embedding_id | 복구 후 embedding_id | vector_hash 앞 8자 | 비고 | +| ---: | ---: | ---: | --- | --- | +| 0 | 10 | 10 | `4fbb852e` | ID·해시·생성 시각 동일 | +| 1 | 11 | 11 | `54d2b9db` | ID·해시·생성 시각 동일 | +| 2 | 12 | **15** | `a74e1a91` | 새 행. 삭제 전과 같은 해시 | +| 3 | 13 | 13 | `2df1945c` | ID·해시·생성 시각 동일 | +| 4 | 14 | 14 | `955eaf4a` | ID·해시·생성 시각 동일 | + +- Job 수: 1 → **2**. 새 Job 3번의 `source_event_id`가 복구 Event와 같다. +- 복구 중 임베딩 서버 `POST /embed/batch` 호출은 **2회**였다. Worker는 Chunk 5개를 모두 다시 계산하고, 저장은 없던 1행만 했다. +- 같은 Chunk·모델 Vector 중복 0건(최종 [무결성 확인](../run-final-check-01/integrity.txt)). + +## 해석 범위 + +- Issue는 Worker 완료로 바로 닫히지 않는다. 다음 점검에서 같은 Issue Key가 다시 관찰되지 않아야 `RESOLVED`가 된다. +- 복구 동안(15:58:56~15:59:11, 약 14초) 문서 A는 `INDEXING` 상태였다. 일반 검색은 `INDEXED` 문서만 대상으로 하므로 이 구간에는 문서 전체가 검색에서 빠진다. 이 구간의 검색은 호출하지 않았고 상태로만 확인했다. +- 검색 뒤 비동기 RAG는 Ollama 주소를 닫힌 로컬 포트로 지정해 `FAILED`가 됐다. RAG는 이번 시험 범위가 아니다. +- 문서 1건, Chunk 5개, 로컬 장비 1대의 관측이다. 시간 값은 처리 속도 기준이 아니다. + +## 증거 + +- 주입: [inject.sql](inject.sql), [실행 출력](inject-output.txt), [검색 이력 사전 확인](precheck-search-history.txt) +- 상태: [주입 전](state-0-before-injection.txt), [주입 후](state-1-after-injection.txt), [REPAIR 직후](state-2-right-after-repair.txt), [Worker 완료 후](state-3-after-worker.txt), [Job·Event 상세](state-3-job-event-detail.txt), [상태 변화 기록](2-timeline.txt) +- API: [사전 점검](0-precheck-dry-run-batch1.json), [탐지](1-detect-dry-run-batch1.json), [OPEN Issue](1-issues-open.json), [REPAIR](2-repair-batch1.json), [재점검](3-recheck-dry-run-batch1.json), [전체 Issue](3-issues-all.json), [검색 응답](4-search-after-repair.json), [검색 원장](4-search-results-db.txt), [업로드 응답](upload-response.json) diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/finished_at.txt b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/finished_at.txt new file mode 100644 index 00000000..a8bd4acb --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/finished_at.txt @@ -0,0 +1 @@ +2026-10-16T16:00:21+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/inject-output.txt b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/inject-output.txt new file mode 100644 index 00000000..f66e0f14 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/inject-output.txt @@ -0,0 +1,4 @@ +BEGIN +NOTICE: deleted embeddings: 1 +DO +COMMIT diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/inject.sql b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/inject.sql new file mode 100644 index 00000000..4343e613 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/inject.sql @@ -0,0 +1,20 @@ +-- run-missing-embeddings-01 주입: 시험 문서 A(version 3)의 활성 모델 Vector 1행(chunk_index 2)을 삭제한다. +-- 정확히 1행만 지워지지 않으면 전체를 롤백한다. 검색·인용 이력이 없는 버전이라 FK 위반이 없다. +BEGIN; +DO $$ +DECLARE deleted_count integer; +BEGIN + DELETE FROM embeddings e + USING document_chunks c + WHERE e.chunk_id = c.id + AND e.document_version_id = 3 + AND c.chunk_index = 2 + AND e.embedding_model_id = (SELECT id FROM embedding_models WHERE is_active) + AND e.status = 'ACTIVE'; + GET DIAGNOSTICS deleted_count = ROW_COUNT; + IF deleted_count <> 1 THEN + RAISE EXCEPTION 'expected 1 deleted embedding, got %', deleted_count; + END IF; + RAISE NOTICE 'deleted embeddings: %', deleted_count; +END $$; +COMMIT; diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/injected_at.txt b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/injected_at.txt new file mode 100644 index 00000000..11cb01b7 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/injected_at.txt @@ -0,0 +1 @@ +2026-10-16T15:58:26+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/precheck-search-history.txt b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/precheck-search-history.txt new file mode 100644 index 00000000..17cfd8e6 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/precheck-search-history.txt @@ -0,0 +1,2 @@ +search_results_for_v3|0 +response_citations_for_v3|0 diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/repair_requested_at.txt b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/repair_requested_at.txt new file mode 100644 index 00000000..4251fc12 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/repair_requested_at.txt @@ -0,0 +1 @@ +2026-10-16T15:58:56+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/started_at.txt b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/started_at.txt new file mode 100644 index 00000000..0ec9299c --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/started_at.txt @@ -0,0 +1 @@ +2026-10-16T15:58:14+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/state-0-before-injection.txt b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/state-0-before-injection.txt new file mode 100644 index 00000000..c5358e93 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/state-0-before-injection.txt @@ -0,0 +1,39 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+----------------------------+---------------------------- + 3 | INDEXED | 3 | f | 3 | INDEXED | 2026-10-16 15:58:00.891255 | 2026-10-16 15:58:00.903367 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+---------+-------------+--------------------------------------+----------------------------+----------------------------+----------+----------------- + 1 | INDEXED | 0 | f04b0143-8a77-46f6-a0cc-d7db1748ec59 | 2026-10-16 15:57:34.620743 | 2026-10-16 15:58:00.891255 | 1 | 5 +(1 row) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- + 5 | 1 | ACTIVE | 5 +(1 row) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+------------------------------------------------------------------+----------------------------------+---------------------------- + 10 | 0 | 5 | ACTIVE | 4fbb852eefd249e357f24972f1c4d8399f71266b5a4bbdbf4081e4dde1694315 | 458f1ad09fad49f70aaa20339644e3d1 | 2026-10-16 15:58:00.8621 + 11 | 1 | 7 | ACTIVE | 54d2b9db49c373be0f0a7263024e7f9f56f9bd48dff72063b3390188ca8f1f5f | 84cd60ef3f726cbc723212e3bbbf4223 | 2026-10-16 15:58:00.866542 + 12 | 2 | 8 | ACTIVE | a74e1a91eea32f8998ff13fdae94c903f21bcafefb18ce43b690c4b49ea79773 | c0ede6799f8b203704be93b40178f183 | 2026-10-16 15:58:00.875469 + 13 | 3 | 10 | ACTIVE | 2df1945cfce57a30a1b1bcfbb741ef03cd30b408b1e7eca2629145dc54fd7bed | 59d0579055c6ecc1279ef7cd1e6f4784 | 2026-10-16 15:58:00.8839 + 14 | 4 | 12 | ACTIVE | 955eaf4a1a72f05811c86b4dc1ba6a8b2b2fc2b7348f8a2b0d8b093a00f82298 | dc09971dd1bb7ca6084d98d3ba39d31c | 2026-10-16 15:58:00.886217 +(5 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+--------------------------+------------------+--------------+-----------+-------------+-----------------------------------------------+---------------------------+----------------------------+----------------- + f04b0143-8a77-46f6-a0cc-d7db1748ec59 | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 3 | PROCESSED | 0 | DOCUMENT_VERSION:3:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 15:57:34.61224 | 2026-10-16 15:57:34.874258 | +(1 row) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+------------+----------+--------+------------+-----------------+----------------------+-------------+------------------+-------------+------------- +(0 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/state-1-after-injection.txt b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/state-1-after-injection.txt new file mode 100644 index 00000000..dc3cd10f --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/state-1-after-injection.txt @@ -0,0 +1,38 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+----------------------------+---------------------------- + 3 | INDEXED | 3 | f | 3 | INDEXED | 2026-10-16 15:58:00.891255 | 2026-10-16 15:58:00.903367 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+---------+-------------+--------------------------------------+----------------------------+----------------------------+----------+----------------- + 1 | INDEXED | 0 | f04b0143-8a77-46f6-a0cc-d7db1748ec59 | 2026-10-16 15:57:34.620743 | 2026-10-16 15:58:00.891255 | 1 | 5 +(1 row) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- + 5 | 1 | ACTIVE | 4 +(1 row) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+------------------------------------------------------------------+----------------------------------+---------------------------- + 10 | 0 | 5 | ACTIVE | 4fbb852eefd249e357f24972f1c4d8399f71266b5a4bbdbf4081e4dde1694315 | 458f1ad09fad49f70aaa20339644e3d1 | 2026-10-16 15:58:00.8621 + 11 | 1 | 7 | ACTIVE | 54d2b9db49c373be0f0a7263024e7f9f56f9bd48dff72063b3390188ca8f1f5f | 84cd60ef3f726cbc723212e3bbbf4223 | 2026-10-16 15:58:00.866542 + 13 | 3 | 10 | ACTIVE | 2df1945cfce57a30a1b1bcfbb741ef03cd30b408b1e7eca2629145dc54fd7bed | 59d0579055c6ecc1279ef7cd1e6f4784 | 2026-10-16 15:58:00.8839 + 14 | 4 | 12 | ACTIVE | 955eaf4a1a72f05811c86b4dc1ba6a8b2b2fc2b7348f8a2b0d8b093a00f82298 | dc09971dd1bb7ca6084d98d3ba39d31c | 2026-10-16 15:58:00.886217 +(4 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+--------------------------+------------------+--------------+-----------+-------------+-----------------------------------------------+---------------------------+----------------------------+----------------- + f04b0143-8a77-46f6-a0cc-d7db1748ec59 | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 3 | PROCESSED | 0 | DOCUMENT_VERSION:3:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 15:57:34.61224 | 2026-10-16 15:57:34.874258 | +(1 row) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+------------+----------+--------+------------+-----------------+----------------------+-------------+------------------+-------------+------------- +(0 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/state-2-right-after-repair.txt b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/state-2-right-after-repair.txt new file mode 100644 index 00000000..e00d4ee0 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/state-2-right-after-repair.txt @@ -0,0 +1,41 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+------------+--------------------------- + 3 | INDEXING | 3 | f | 3 | CHUNKED | | 2026-10-16 15:58:56.70385 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+---------+-------------+--------------------------------------+----------------------------+----------------------------+----------+----------------- + 1 | INDEXED | 0 | f04b0143-8a77-46f6-a0cc-d7db1748ec59 | 2026-10-16 15:57:34.620743 | 2026-10-16 15:58:00.891255 | 1 | 5 + 3 | PENDING | 0 | 7cc6bc1b-8834-4830-a6a3-e6ec41d9a410 | 2026-10-16 15:58:56.697117 | | 0 | 0 +(2 rows) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- + 5 | 1 | ACTIVE | 4 +(1 row) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+------------------------------------------------------------------+----------------------------------+---------------------------- + 10 | 0 | 5 | ACTIVE | 4fbb852eefd249e357f24972f1c4d8399f71266b5a4bbdbf4081e4dde1694315 | 458f1ad09fad49f70aaa20339644e3d1 | 2026-10-16 15:58:00.8621 + 11 | 1 | 7 | ACTIVE | 54d2b9db49c373be0f0a7263024e7f9f56f9bd48dff72063b3390188ca8f1f5f | 84cd60ef3f726cbc723212e3bbbf4223 | 2026-10-16 15:58:00.866542 + 13 | 3 | 10 | ACTIVE | 2df1945cfce57a30a1b1bcfbb741ef03cd30b408b1e7eca2629145dc54fd7bed | 59d0579055c6ecc1279ef7cd1e6f4784 | 2026-10-16 15:58:00.8839 + 14 | 4 | 12 | ACTIVE | 955eaf4a1a72f05811c86b4dc1ba6a8b2b2fc2b7348f8a2b0d8b093a00f82298 | dc09971dd1bb7ca6084d98d3ba39d31c | 2026-10-16 15:58:00.886217 +(4 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+----------------------------+------------------+--------------+-----------+-------------+----------------------------------------------------------------------------------------------------------+----------------------------+----------------------------+----------------- + f04b0143-8a77-46f6-a0cc-d7db1748ec59 | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 3 | PROCESSED | 0 | DOCUMENT_VERSION:3:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 15:57:34.61224 | 2026-10-16 15:57:34.874258 | + 7cc6bc1b-8834-4830-a6a3-e6ec41d9a410 | DOCUMENT_REINDEX_REQUESTED | DOCUMENT_VERSION | 3 | PROCESSED | 0 | DOCUMENT_VERSION:3:DOCUMENT_REINDEX_REQUESTED:1:reconcile:MISSING_EMBEDDINGS:VERSION:3:MODEL:1:attempt:1 | 2026-10-16 15:58:56.156336 | 2026-10-16 15:58:56.699972 | +(2 rows) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+--------------------+----------+-----------+------------+--------------------------------------+----------------------+----------------------------+----------------------------+-------------+-------------------------------------------------------------------------------------- + 1 | MISSING_EMBEDDINGS | CRITICAL | REPAIRING | t | 7cc6bc1b-8834-4830-a6a3-e6ec41d9a410 | 1 | 2026-10-16 15:58:34.015381 | 2026-10-16 15:58:56.134837 | | {"activeEmbeddingCount":4,"currentModelEmbeddingCount":4,"allModelEmbeddingCount":4} +(1 row) + diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/state-3-after-worker.txt b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/state-3-after-worker.txt new file mode 100644 index 00000000..a75b9cea --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/state-3-after-worker.txt @@ -0,0 +1,42 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+---------------------------+---------------------------- + 3 | INDEXED | 3 | f | 3 | INDEXED | 2026-10-16 15:59:11.02436 | 2026-10-16 15:59:11.033509 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+---------+-------------+--------------------------------------+----------------------------+----------------------------+----------+----------------- + 1 | INDEXED | 0 | f04b0143-8a77-46f6-a0cc-d7db1748ec59 | 2026-10-16 15:57:34.620743 | 2026-10-16 15:58:00.891255 | 1 | 5 + 3 | INDEXED | 0 | 7cc6bc1b-8834-4830-a6a3-e6ec41d9a410 | 2026-10-16 15:58:56.697117 | 2026-10-16 15:59:11.02436 | 1 | 3 +(2 rows) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- + 5 | 1 | ACTIVE | 5 +(1 row) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+------------------------------------------------------------------+----------------------------------+---------------------------- + 10 | 0 | 5 | ACTIVE | 4fbb852eefd249e357f24972f1c4d8399f71266b5a4bbdbf4081e4dde1694315 | 458f1ad09fad49f70aaa20339644e3d1 | 2026-10-16 15:58:00.8621 + 11 | 1 | 7 | ACTIVE | 54d2b9db49c373be0f0a7263024e7f9f56f9bd48dff72063b3390188ca8f1f5f | 84cd60ef3f726cbc723212e3bbbf4223 | 2026-10-16 15:58:00.866542 + 15 | 2 | 8 | ACTIVE | a74e1a91eea32f8998ff13fdae94c903f21bcafefb18ce43b690c4b49ea79773 | c0ede6799f8b203704be93b40178f183 | 2026-10-16 15:59:11.016695 + 13 | 3 | 10 | ACTIVE | 2df1945cfce57a30a1b1bcfbb741ef03cd30b408b1e7eca2629145dc54fd7bed | 59d0579055c6ecc1279ef7cd1e6f4784 | 2026-10-16 15:58:00.8839 + 14 | 4 | 12 | ACTIVE | 955eaf4a1a72f05811c86b4dc1ba6a8b2b2fc2b7348f8a2b0d8b093a00f82298 | dc09971dd1bb7ca6084d98d3ba39d31c | 2026-10-16 15:58:00.886217 +(5 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+----------------------------+------------------+--------------+-----------+-------------+----------------------------------------------------------------------------------------------------------+----------------------------+----------------------------+----------------- + f04b0143-8a77-46f6-a0cc-d7db1748ec59 | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 3 | PROCESSED | 0 | DOCUMENT_VERSION:3:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 15:57:34.61224 | 2026-10-16 15:57:34.874258 | + 7cc6bc1b-8834-4830-a6a3-e6ec41d9a410 | DOCUMENT_REINDEX_REQUESTED | DOCUMENT_VERSION | 3 | PROCESSED | 0 | DOCUMENT_VERSION:3:DOCUMENT_REINDEX_REQUESTED:1:reconcile:MISSING_EMBEDDINGS:VERSION:3:MODEL:1:attempt:1 | 2026-10-16 15:58:56.156336 | 2026-10-16 15:58:56.699972 | +(2 rows) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+--------------------+----------+-----------+------------+--------------------------------------+----------------------+----------------------------+----------------------------+-------------+-------------------------------------------------------------------------------------- + 1 | MISSING_EMBEDDINGS | CRITICAL | REPAIRING | t | 7cc6bc1b-8834-4830-a6a3-e6ec41d9a410 | 1 | 2026-10-16 15:58:34.015381 | 2026-10-16 15:58:56.134837 | | {"activeEmbeddingCount":4,"currentModelEmbeddingCount":4,"allModelEmbeddingCount":4} +(1 row) + diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/state-3-job-event-detail.txt b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/state-3-job-event-detail.txt new file mode 100644 index 00000000..b9521859 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/state-3-job-event-detail.txt @@ -0,0 +1,17 @@ + event_type | from_status | to_status | occurred_at +-------------------+-------------+------------+---------------------------- + LOCKED | PENDING | PROCESSING | 2026-10-16 15:59:01.906762 + EMBEDDING_STARTED | CHUNKED | EMBEDDING | 2026-10-16 15:59:01.92885 + INDEXED | EMBEDDING | INDEXED | 2026-10-16 15:59:11.02436 +(3 rows) + + id | attempt_no | status | started_at | ended_at | duration_ms | error_code +----+------------+---------+----------------------------+---------------------------+-------------+------------ + 3 | 1 | SUCCESS | 2026-10-16 15:59:01.920015 | 2026-10-16 15:59:11.02436 | 9104 | +(1 row) + + event_id | attempt_no | dispatcher_name | status | started_at | completed_at +--------------------------------------+------------+------------------+-----------+----------------------------+---------------------------- + 7cc6bc1b-8834-4830-a6a3-e6ec41d9a410 | 1 | rc517-dispatcher | SUCCEEDED | 2026-10-16 15:58:56.665256 | 2026-10-16 15:58:56.699972 +(1 row) + diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/upload-response.json b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/upload-response.json new file mode 100644 index 00000000..b0f59138 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-embeddings-01/upload-response.json @@ -0,0 +1,13 @@ +{ + "success": true, + "status": 201, + "data": { + "documentId": 3, + "documentVersionId": 3, + "fileObjectId": 1, + "embeddingJobId": 1, + "documentStatus": "UPLOADED", + "jobStatus": "PENDING" + }, + "timestamp": "2026-10-16 15:57:34" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/0-precheck-dry-run-batch1.json b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/0-precheck-dry-run-batch1.json new file mode 100644 index 00000000..c4717b38 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/0-precheck-dry-run-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "567edd5b-7ebf-473b-9af1-e1281171f975", + "startCursor": 0, + "endCursor": 5, + "scannedCount": 5, + "detectedCount": 1, + "repairRequestedCount": 0, + "hasMore": false, + "action": { + "actionId": "ce03692e-f365-4f13-9c06-63fac498fea3", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "567edd5b-7ebf-473b-9af1-e1281171f975", + "adminUserId": 1, + "occurredAt": "2026-10-16T16:03:36.99075" + } + }, + "timestamp": "2026-10-16 16:03:36" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/1-detect-dry-run-batch1.json b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/1-detect-dry-run-batch1.json new file mode 100644 index 00000000..88d10f34 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/1-detect-dry-run-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "01853e16-77a6-4e16-a487-9743bd10c266", + "startCursor": 0, + "endCursor": 5, + "scannedCount": 5, + "detectedCount": 2, + "repairRequestedCount": 0, + "hasMore": false, + "action": { + "actionId": "bc796cbe-09d6-4628-a808-8deaec34d6d0", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "01853e16-77a6-4e16-a487-9743bd10c266", + "adminUserId": 1, + "occurredAt": "2026-10-16T16:03:54.454832" + } + }, + "timestamp": "2026-10-16 16:03:54" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/1-issues-open.json b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/1-issues-open.json new file mode 100644 index 00000000..af75f3f4 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/1-issues-open.json @@ -0,0 +1,53 @@ +{ + "success": true, + "status": 200, + "data": { + "content": [ + { + "issueId": 4, + "issueKey": "MISSING_JOB:VERSION:5:MODEL:1", + "issueType": "MISSING_JOB", + "severity": "ERROR", + "status": "OPEN", + "documentId": 5, + "documentVersionId": 5, + "embeddingModelId": 1, + "expectedJson": "{\"liveJob\":true}", + "actualJson": "{\"liveJob\":false,\"versionStatus\":\"UPLOADED\"}", + "repairable": true, + "detectedAt": "2026-10-16T16:03:54.412214", + "lastDetectedAt": "2026-10-16T16:03:54.412214", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": null, + "resolutionMessage": null + }, + { + "issueId": 3, + "issueKey": "MISSING_EMBEDDINGS:VERSION:4:MODEL:1", + "issueType": "MISSING_EMBEDDINGS", + "severity": "CRITICAL", + "status": "OPEN", + "documentId": 4, + "documentVersionId": 4, + "embeddingModelId": 1, + "expectedJson": "{\"activeEmbeddingCount\":5}", + "actualJson": "{\"activeEmbeddingCount\":0,\"currentModelEmbeddingCount\":5,\"allModelEmbeddingCount\":5}", + "repairable": false, + "detectedAt": "2026-10-16T16:02:43.18896", + "lastDetectedAt": "2026-10-16T16:03:54.412214", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": null, + "resolutionMessage": null + } + ], + "page": 0, + "size": 100, + "totalElements": 2, + "totalPages": 1, + "first": true, + "last": true + }, + "timestamp": "2026-10-16 16:03:54" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/2-repair-batch1.json b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/2-repair-batch1.json new file mode 100644 index 00000000..9fa5b56a --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/2-repair-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "811b7c1d-9b2f-4803-8194-a9b3cb349de4", + "startCursor": 0, + "endCursor": 5, + "scannedCount": 5, + "detectedCount": 2, + "repairRequestedCount": 1, + "hasMore": false, + "action": { + "actionId": "844ee02d-f9e2-4f30-8c7c-567600866fc4", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "811b7c1d-9b2f-4803-8194-a9b3cb349de4", + "adminUserId": 1, + "occurredAt": "2026-10-16T16:04:07.095578" + } + }, + "timestamp": "2026-10-16 16:04:07" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/2-timeline-worker-off.txt b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/2-timeline-worker-off.txt new file mode 100644 index 00000000..8b7d91ee --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/2-timeline-worker-off.txt @@ -0,0 +1,4 @@ +16:04:04 doc=UPLOADED ver=UPLOADED jobs=- reindexEvents=- activeVec=0 issues=4:MISSING_JOB:OPEN +16:04:07 doc=UPLOADED ver=UPLOADED jobs=- reindexEvents=PENDING activeVec=0 issues=4:MISSING_JOB:REPAIRING +16:04:08 doc=UPLOADED ver=UPLOADED jobs=5:PENDING reindexEvents=PROCESSED activeVec=0 issues=4:MISSING_JOB:REPAIRING +16:04:11 doc=UPLOADED ver=UPLOADED jobs=5:PENDING reindexEvents=PROCESSED activeVec=0 issues=4:MISSING_JOB:RESOLVED diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/3-recheck-dry-run-worker-off-batch1.json b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/3-recheck-dry-run-worker-off-batch1.json new file mode 100644 index 00000000..4a598019 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/3-recheck-dry-run-worker-off-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "5e78c4a1-0827-42fa-89f1-348c5e6dee70", + "startCursor": 0, + "endCursor": 5, + "scannedCount": 5, + "detectedCount": 1, + "repairRequestedCount": 0, + "hasMore": false, + "action": { + "actionId": "021ef77d-0829-4552-9ee0-6c1421d33fcd", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "5e78c4a1-0827-42fa-89f1-348c5e6dee70", + "adminUserId": 1, + "occurredAt": "2026-10-16T16:04:11.522339" + } + }, + "timestamp": "2026-10-16 16:04:11" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/4-timeline-worker-on.txt b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/4-timeline-worker-on.txt new file mode 100644 index 00000000..3190e208 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/4-timeline-worker-on.txt @@ -0,0 +1,3 @@ +16:05:24 doc=UPLOADED ver=UPLOADED jobs=5:PENDING reindexEvents=PROCESSED activeVec=0 issues=4:MISSING_JOB:RESOLVED +16:05:33 doc=INDEXING ver=EMBEDDING jobs=5:PROCESSING reindexEvents=PROCESSED activeVec=0 issues=4:MISSING_JOB:RESOLVED +16:05:53 doc=INDEXED ver=INDEXED jobs=5:INDEXED reindexEvents=PROCESSED activeVec=5 issues=4:MISSING_JOB:RESOLVED diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/5-search-after-indexed.json b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/5-search-after-indexed.json new file mode 100644 index 00000000..de8e0b34 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/5-search-after-indexed.json @@ -0,0 +1,54 @@ +{ + "success": true, + "status": 200, + "data": { + "conversationId": 3, + "queryId": 3, + "results": [ + { + "rank": 1, + "documentId": 5, + "chunkId": 20, + "documentTitle": "RC517B 가상 산악 천문대 관측 운영 기록", + "chunkText": "센트를 넘으면 분광 관측을 멈추고 측광 관측으로 전환한다. 이 항목은 4번째 점검 주기에 적용한다.\n4-4. 망원경 초점은 기온이 이 도 이상 변할 때마다 표준성으로 다시 맞춘다. 이 항목은 4번째 점검 주기에 적용한다.\n4-5. 관측 자료는 원본과 보정본을 따로 저장하고 보정 단계마다 처리 시각을 남긴다. 이 항목은 4번째 점검 주기에 적용한다.\n4-6. 달이 밝은 밤에는 장노출 촬영을 줄이고 밝은 변광성 위주로 일정을 바꾼다. 이 항목은 4번째 점검 주기에 적용한다.\n\n제5절. RC517B 가상 산악 천문대 관측 운영 기록 세부 항목 5\n5-1. RC517B 천문대는 가상의 시험용 관측소이며 실제 기관이 아니다. 이 항목은 5번째 점검 주기에 적용한다.\n5-2. 관측 전에는 돔 내부와 외부의 온도 차를 줄이기 위해 한 시간 동안 환기한다. 이 항목은 5번째 점검 주기에 적용한다.\n5-3. 구름 덮임이 사십 퍼센트를 넘으면 분광 관측을 멈추고 측광 관측으로 전환한다. 이 항목은 5번째 점검 주기에 적용한다.\n5-4. 망원경 초점은 기온이 이 도 이상 변할 때마다 표준성으로 다시 맞춘다. 이 항목은 5번째 점검 주기에 적용한다.\n5-5. 관측 자료는 원본과 보정본을 따로 저장하고 보정 단계마다 처리 시각을 남긴다. 이 항목은 5번째 점검 주기에 적용한다.\n5-6. 달이 밝은 밤에는 장노출 촬영을 줄이고 밝은 변광성 위주로 일정을 바꾼다. 이 항목은 5번째 점검 주기에 적용한다.\n\n제6절. RC517B 가상 산악 천문대 관측 운영 기록 세부 항목 6\n6-1. RC517B 천문대는 가상의 시험용 관측소이며 실제 기관이 아니다. 이 항목은 6번째 점검 주기에 적용한다.\n6-2. 관측 전에는 돔 내부와 외부의 온도 차를 줄이기 위해 한 시간 동안 환기한다. 이 항목은 6번째 점검 주기에 적용한다.\n6-3. 구름 덮임이 사십 퍼센트를 넘으면 분광 관측을 멈추고 측광 관측으로 전환한다. 이 항목은 6번째 점검 주기에 적용한다.\n6-4. 망원경 초점은 기온이 이 도 이상 ", + "pageNo": null, + "sectionPath": null, + "similarityScore": 0.660189 + }, + { + "rank": 2, + "documentId": 5, + "chunkId": 17, + "documentTitle": "RC517B 가상 산악 천문대 관측 운영 기록", + "chunkText": "한다.\n2-5. 관측 자료는 원본과 보정본을 따로 저장하고 보정 단계마다 처리 시각을 남긴다. 이 항목은 2번째 점검 주기에 적용한다.\n2-6. 달이 밝은 밤에는 장노출 촬영을 줄이고 밝은 변광성 위주로 일정을 바꾼다. 이 항목은 2번째 점검 주기에 적용한다.\n\n제3절. RC517B 가상 산악 천문대 관측 운영 기록 세부 항목 3\n3-1. RC517B 천문대는 가상의 시험용 관측소이며 실제 기관이 아니다. 이 항목은 3번째 점검 주기에 적용한다.\n3-2. 관측 전에는 돔 내부와 외부의 온도 차를 줄이기 위해 한 시간 동안 환기한다. 이 항목은 3번째 점검 주기에 적용한다.\n3-3. 구름 덮임이 사십 퍼센트를 넘으면 분광 관측을 멈추고 측광 관측으로 전환한다. 이 항목은 3번째 점검 주기에 적용한다.\n3-4. 망원경 초점은 기온이 이 도 이상 변할 때마다 표준성으로 다시 맞춘다. 이 항목은 3번째 점검 주기에 적용한다.\n3-5. 관측 자료는 원본과 보정본을 따로 저장하고 보정 단계마다 처리 시각을 남긴다. 이 항목은 3번째 점검 주기에 적용한다.\n3-6. 달이 밝은 밤에는 장노출 촬영을 줄이고 밝은 변광성 위주로 일정을 바꾼다. 이 항목은 3번째 점검 주기에 적용한다.\n\n제4절. RC517B 가상 산악 천문대 관측 운영 기록 세부 항목 4\n4-1. RC517B 천문대는 가상의 시험용 관측소이며 실제 기관이 아니다. 이 항목은 4번째 점검 주기에 적용한다.\n4-2. 관측 전에는 돔 내부와 외부의 온도 차를 줄이기 위해 한 시간 동안 환기한다. 이 항목은 4번째 점검 주기에 적용한다.\n4-3. 구름 덮임이 사십 퍼센트를 넘으면 분광 관측을 멈추고 측광 관측으로 전환한다. 이 항목은 4번째 점검 주기에 적용한다.\n4-4. 망원경 초점은 기온이 이 도 이상 변할 때마다 표준성으로 다시 맞춘다. 이 항목은 4번째 점검 주기에 적용한다.\n4-5. 관측 자료는 원본과 보정본을 따로 저장하고 보정 단계마다 처리 시각을 남긴다. 이 항목은 4번째 점검 주기에 적용한다.\n4-6.", + "pageNo": null, + "sectionPath": null, + "similarityScore": 0.610054 + }, + { + "rank": 3, + "documentId": 3, + "chunkId": 8, + "documentTitle": "RC517A 가상 항만 야적장 운영 지침", + "chunkText": " 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 4번째 점검 주기에 적용한다.\n4-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 4번째 점검 주기에 적용한다.\n4-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 4번째 점검 주기에 적용한다.\n4-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 4번째 점검 주기에 적용한다.\n\n제5절. RC517A 가상 항만 야적장 운영 지침 세부 항목 5\n5-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 5번째 점검 주기에 적용한다.\n5-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 5번째 점검 주기에 적용한다.\n5-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 5번째 점검 주기에 적용한다.\n5-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 5번째 점검 주기에 적용한다.\n5-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 5번째 점검 주기에 적용한다.\n5-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 5번째 점검 주기에 적용한다.\n\n제6절. RC517A 가상 항만 야적장 운영 지침 세부 항목 6\n6-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 6번째 점검 주기에 적용한다.\n6-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 6번째 점검 주기에 적용한다.\n6-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 6번째 점검 주기에 적용한다.\n6-4. 크레인 작업 반경 안에서는 보행", + "pageNo": null, + "sectionPath": null, + "similarityScore": 0.470905 + }, + { + "rank": 4, + "documentId": 3, + "chunkId": 10, + "documentTitle": "RC517A 가상 항만 야적장 운영 지침", + "chunkText": "실제 시설이 아니다. 이 항목은 6번째 점검 주기에 적용한다.\n6-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 6번째 점검 주기에 적용한다.\n6-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 6번째 점검 주기에 적용한다.\n6-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 6번째 점검 주기에 적용한다.\n6-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 6번째 점검 주기에 적용한다.\n6-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 6번째 점검 주기에 적용한다.\n\n제7절. RC517A 가상 항만 야적장 운영 지침 세부 항목 7\n7-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 7번째 점검 주기에 적용한다.\n7-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배치한다. 이 항목은 7번째 점검 주기에 적용한다.\n7-3. 냉동 컨테이너는 전원 소켓이 있는 R 구역에만 두고 두 시간마다 온도를 기록한다. 이 항목은 7번째 점검 주기에 적용한다.\n7-4. 크레인 작업 반경 안에서는 보행자 통행을 막고 신호수가 무전으로 진입을 허가한다. 이 항목은 7번째 점검 주기에 적용한다.\n7-5. 야간 반출은 게이트 예약 번호와 차량 번호가 모두 일치할 때만 승인한다. 이 항목은 7번째 점검 주기에 적용한다.\n7-6. 위험물 컨테이너는 등급별 이격 거리를 지키고 소화 장비 위치를 교대 시 확인한다. 이 항목은 7번째 점검 주기에 적용한다.\n\n제8절. RC517A 가상 항만 야적장 운영 지침 세부 항목 8\n8-1. RC517A 야적장은 가상의 시험용 항만이며 실제 시설이 아니다. 이 항목은 8번째 점검 주기에 적용한다.\n8-2. 컨테이너는 도착 순서가 아니라 선적 예정 시각 기준으로 블록에 배", + "pageNo": null, + "sectionPath": null, + "similarityScore": 0.45993 + } + ], + "ragStatus": "PROCESSING", + "answer": null, + "citations": [] + }, + "timestamp": "2026-10-16 16:06:07" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/README.md b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/README.md new file mode 100644 index 00000000..72455469 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/README.md @@ -0,0 +1,42 @@ +# 완결 증명 B: 처리 Job 누락 복구 — run-missing-job-01 + +| 항목 | 기록 | +| --- | --- | +| 목적 | 처리 중 버전이 실행할 Job을 잃었을 때 탐지 → 복구 예약 → 새 Job → Worker 처리 → INDEXED까지 이어지는지 확인 | +| 시각 | 2026-10-16 16:03:25~16:06:06 KST | +| 환경 | 3단계 Backend(Worker 끔, Dispatcher 켬) → 4단계 Backend(Worker·Dispatcher 켬). 시험 문서 B(`documentId=5`, `versionId=5`) | +| 주입 | [inject.sql](inject.sql): attempt·indexing_event가 0건인 `PENDING` Job 4번 삭제. 처리 이력이 있으면 롤백 | +| 성공 기준 | `MISSING_JOB` 탐지, `REPAIR`가 Event 1건 예약, Dispatcher가 새 Job 생성, Worker 처리 뒤 `INDEXED`, 검색 결과 반환 | +| 결과 | 통과 | +| 정리 | 시험 DB는 전체 시험 뒤 컨테이너째 삭제 | + +## 흐름 + +| 시각 (KST) | 단계 | 관측 | +| --- | --- | --- | +| 16:03:25 | 업로드 | 문서·버전 `UPLOADED`, Job 4번 `PENDING`. `DOCUMENT_VERSION_CREATED` Event 0.17초 뒤 `PROCESSED` | +| 16:03:36 | 사전 점검 `DRY_RUN` | 버전 5개, 탐지 1건. 문서 C의 Issue 3번이 다시 관찰된 것이며 이 시험과 무관 | +| 16:03:37 | 주입 | Job 4번 삭제(attempt 0, indexing_event 0이라 FK에 막히지 않음) | +| 16:03:47 | 10초 관찰 | Job **0건**. 업로드 Event가 이미 `PROCESSED`라 Dispatcher가 Job을 다시 만들지 않았다 | +| 16:03:54 | 탐지 `DRY_RUN` | Issue **4번** `MISSING_JOB`, `ERROR`, `repairable=true`, `OPEN`. `{"liveJob":false,"versionStatus":"UPLOADED"}` | +| 16:04:07.020 | `REPAIR` | 복구 요청 **1건**. Issue `REPAIRING` | +| 16:04:07.078 | Outbox 기록 | `DOCUMENT_REINDEX_REQUESTED` `e8c1e0bb…` | +| 16:04:07.874 | Dispatcher 처리 | Event `PROCESSED`. 새 Job **5번** `PENDING`, `source_event_id`가 복구 Event와 같음 | +| 16:04:11 | 재점검 `DRY_RUN` (Worker 끔) | Issue 4번 `RESOLVED`. 버전은 아직 `UPLOADED` | +| 16:05:31 | Worker 켬 | 4단계 Backend 기동 | +| 16:05:53 | Worker 완료 | Job 5번·버전·문서 `INDEXED`, Chunk 5·ACTIVE Vector 5 | +| 16:06:06 | 최종 `DRY_RUN` | 이 버전의 Issue 없음 | +| 16:06:07 | 검색 | 1·2위가 문서 B(유사도 0.660189, 0.610054) | + +## 해석 범위 + +- Dispatcher 재생성 여부: 이번 실행에서는 업로드 Event가 0.17초 만에 처리됐다. 그래서 Job을 지운 뒤에는 Outbox가 Job을 다시 만들지 않았고, 복구는 Reconciler의 `REPAIR`로만 일어났다. 업로드 Event가 처리되기 전에 Job이 사라지는 경우는 이번에 만들지 않았다. 코드상으로는 그때 Dispatcher가 같은 Event로 Job을 새로 만든다. +- `MISSING_JOB`의 `RESOLVED`는 "살아 있는 Job이 다시 생겼다"는 뜻이다. 문서가 검색 가능해졌다는 뜻이 아니다. 이번에는 Worker를 켠 뒤 `INDEXED`까지 별도로 확인했다. +- Worker를 끈 동안 버전은 약 2분간 `UPLOADED`였다. 정체 임계값 15분보다 짧아 `STALLED_VERSION`은 나오지 않았다. +- 문서 1건의 로컬 관측이다. + +## 증거 + +- 주입: [inject.sql](inject.sql), [실행 출력](inject-output.txt), [실행 조건](conditions.txt), [업로드 응답](upload-response.json) +- 상태: [주입 전](state-0-before-injection.txt), [주입 10초 뒤](state-1-after-injection-10s.txt), [REPAIR 뒤](state-2-after-repair.txt), [Worker 완료 뒤](state-3-after-worker.txt), [Worker 끔 구간 변화](2-timeline-worker-off.txt), [Worker 켬 구간 변화](4-timeline-worker-on.txt) +- API: [사전 점검](0-precheck-dry-run-batch1.json), [탐지](1-detect-dry-run-batch1.json), [OPEN Issue](1-issues-open.json), [REPAIR](2-repair-batch1.json), [재점검](3-recheck-dry-run-worker-off-batch1.json), [검색 응답](5-search-after-indexed.json) diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/conditions.txt b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/conditions.txt new file mode 100644 index 00000000..7386105f --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/conditions.txt @@ -0,0 +1 @@ +backend phase: INDEXING_WORKER_ENABLED=false, SYNC_DISPATCHER_ENABLED=true diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/finished_at.txt b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/finished_at.txt new file mode 100644 index 00000000..265416be --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/finished_at.txt @@ -0,0 +1 @@ +2026-10-16T16:06:06+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/inject-output.txt b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/inject-output.txt new file mode 100644 index 00000000..4f77c8a7 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/inject-output.txt @@ -0,0 +1,4 @@ +BEGIN +NOTICE: deleted jobs: 1 +DO +COMMIT diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/inject.sql b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/inject.sql new file mode 100644 index 00000000..4403dcd0 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/inject.sql @@ -0,0 +1,18 @@ +-- run-missing-job-01 주입: Worker가 꺼진 상태에서 시험 문서 B(version 5)의 PENDING Job을 삭제한다. +-- attempt·indexing_event가 하나라도 있으면 FK 문제와 처리 이력 손상을 피하려고 전체를 롤백한다. +BEGIN; +DO $$ +DECLARE deleted_count integer; +BEGIN + IF EXISTS (SELECT 1 FROM embedding_job_attempts a JOIN embedding_jobs j ON j.id = a.embedding_job_id WHERE j.document_version_id = 5) + OR EXISTS (SELECT 1 FROM indexing_events e JOIN embedding_jobs j ON j.id = e.embedding_job_id WHERE j.document_version_id = 5) THEN + RAISE EXCEPTION 'job history exists; abort injection'; + END IF; + DELETE FROM embedding_jobs WHERE document_version_id = 5 AND status = 'PENDING'; + GET DIAGNOSTICS deleted_count = ROW_COUNT; + IF deleted_count <> 1 THEN + RAISE EXCEPTION 'expected 1 deleted job, got %', deleted_count; + END IF; + RAISE NOTICE 'deleted jobs: %', deleted_count; +END $$; +COMMIT; diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/injected_at.txt b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/injected_at.txt new file mode 100644 index 00000000..07162d6d --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/injected_at.txt @@ -0,0 +1 @@ +2026-10-16T16:03:37+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/repair_requested_at.txt b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/repair_requested_at.txt new file mode 100644 index 00000000..ee5dfd31 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/repair_requested_at.txt @@ -0,0 +1 @@ +2026-10-16T16:04:06+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/started_at.txt b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/started_at.txt new file mode 100644 index 00000000..86abd970 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/started_at.txt @@ -0,0 +1 @@ +2026-10-16T16:03:25+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/state-0-before-injection.txt b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/state-0-before-injection.txt new file mode 100644 index 00000000..c1a42457 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/state-0-before-injection.txt @@ -0,0 +1,33 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+------------+---------------------------- + 5 | UPLOADED | 5 | f | 5 | UPLOADED | | 2026-10-16 16:03:25.259494 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+---------+-------------+--------------------------------------+---------------------------+--------------+----------+----------------- + 4 | PENDING | 0 | 6f59d1be-e4ab-4cf8-b257-62c14dc4667c | 2026-10-16 16:03:25.27011 | | 0 | 0 +(1 row) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- +(0 rows) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+-------------+-----------------+------------ +(0 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+--------------------------+------------------+--------------+-----------+-------------+-----------------------------------------------+---------------------------+----------------------------+----------------- + 6f59d1be-e4ab-4cf8-b257-62c14dc4667c | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 5 | PROCESSED | 0 | DOCUMENT_VERSION:5:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 16:03:25.26515 | 2026-10-16 16:03:25.438802 | +(1 row) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+------------+----------+--------+------------+-----------------+----------------------+-------------+------------------+-------------+------------- +(0 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/state-1-after-injection-10s.txt b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/state-1-after-injection-10s.txt new file mode 100644 index 00000000..01750629 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/state-1-after-injection-10s.txt @@ -0,0 +1,32 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+------------+---------------------------- + 5 | UPLOADED | 5 | f | 5 | UPLOADED | | 2026-10-16 16:03:25.259494 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+--------+-------------+-----------------+------------+--------------+----------+----------------- +(0 rows) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- +(0 rows) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+-------------+-----------------+------------ +(0 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+--------------------------+------------------+--------------+-----------+-------------+-----------------------------------------------+---------------------------+----------------------------+----------------- + 6f59d1be-e4ab-4cf8-b257-62c14dc4667c | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 5 | PROCESSED | 0 | DOCUMENT_VERSION:5:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 16:03:25.26515 | 2026-10-16 16:03:25.438802 | +(1 row) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+------------+----------+--------+------------+-----------------+----------------------+-------------+------------------+-------------+------------- +(0 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/state-2-after-repair.txt b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/state-2-after-repair.txt new file mode 100644 index 00000000..16e2828f --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/state-2-after-repair.txt @@ -0,0 +1,35 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+------------+---------------------------- + 5 | UPLOADED | 5 | f | 5 | UPLOADED | | 2026-10-16 16:03:25.259494 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+---------+-------------+--------------------------------------+----------------------------+--------------+----------+----------------- + 5 | PENDING | 0 | e8c1e0bb-805f-4707-bda0-64746f2e12c1 | 2026-10-16 16:04:07.870352 | | 0 | 0 +(1 row) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- +(0 rows) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+-------------+-----------------+------------ +(0 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+----------------------------+------------------+--------------+-----------+-------------+---------------------------------------------------------------------------------------------------+----------------------------+----------------------------+----------------- + 6f59d1be-e4ab-4cf8-b257-62c14dc4667c | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 5 | PROCESSED | 0 | DOCUMENT_VERSION:5:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 16:03:25.26515 | 2026-10-16 16:03:25.438802 | + e8c1e0bb-805f-4707-bda0-64746f2e12c1 | DOCUMENT_REINDEX_REQUESTED | DOCUMENT_VERSION | 5 | PROCESSED | 0 | DOCUMENT_VERSION:5:DOCUMENT_REINDEX_REQUESTED:1:reconcile:MISSING_JOB:VERSION:5:MODEL:1:attempt:1 | 2026-10-16 16:04:07.078123 | 2026-10-16 16:04:07.873567 | +(2 rows) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+-------------+----------+-----------+------------+--------------------------------------+----------------------+----------------------------+----------------------------+-------------+---------------------------------------------- + 4 | MISSING_JOB | ERROR | REPAIRING | t | e8c1e0bb-805f-4707-bda0-64746f2e12c1 | 1 | 2026-10-16 16:03:54.412214 | 2026-10-16 16:04:07.020063 | | {"liveJob":false,"versionStatus":"UPLOADED"} +(1 row) + diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/state-3-after-worker.txt b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/state-3-after-worker.txt new file mode 100644 index 00000000..779c8063 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/state-3-after-worker.txt @@ -0,0 +1,41 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+----------------------------+---------------------------- + 5 | INDEXED | 5 | f | 5 | INDEXED | 2026-10-16 16:05:53.226381 | 2026-10-16 16:05:53.235647 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+---------+-------------+--------------------------------------+----------------------------+----------------------------+----------+----------------- + 5 | INDEXED | 0 | e8c1e0bb-805f-4707-bda0-64746f2e12c1 | 2026-10-16 16:04:07.870352 | 2026-10-16 16:05:53.226381 | 1 | 5 +(1 row) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- + 5 | 1 | ACTIVE | 5 +(1 row) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+------------------------------------------------------------------+----------------------------------+---------------------------- + 21 | 0 | 16 | ACTIVE | 706b2f41e2b18a24edeceff782b8c554ac937580cb2f1a238e6eb8b8f48683b4 | 2d2106495620392ac7985a4d418ab628 | 2026-10-16 16:05:53.212565 + 22 | 1 | 17 | ACTIVE | 7f314c964d9b56ebb40f1745849b5e9071ad39e53d2bfa862ec66ba4ad846f07 | e78806a93d190ff9beb916d83e3db676 | 2026-10-16 16:05:53.215663 + 23 | 2 | 20 | ACTIVE | c9ec87ceaa3bc4e3bd73fcc10442625c54da3d3acb5aca5e5b0458080bbd5b4e | 8ab6c2dd7a7dc3d23d17b5467dd9815a | 2026-10-16 16:05:53.217176 + 24 | 3 | 21 | ACTIVE | 299ae848a714b13c8285f60de7e9e6926563c108407b6f8de3127abecb6139d0 | 7fba8121af58f8949a9ad2886b8799b5 | 2026-10-16 16:05:53.220067 + 25 | 4 | 24 | ACTIVE | 71eeecc31f81d6a694b4ce3e27e44bc4495d6c818c7c060d6c7e98c1c1cce0ca | baaa8695f3445b7a3dabdc06c8e21ad1 | 2026-10-16 16:05:53.222544 +(5 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+----------------------------+------------------+--------------+-----------+-------------+---------------------------------------------------------------------------------------------------+----------------------------+----------------------------+----------------- + 6f59d1be-e4ab-4cf8-b257-62c14dc4667c | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 5 | PROCESSED | 0 | DOCUMENT_VERSION:5:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 16:03:25.26515 | 2026-10-16 16:03:25.438802 | + e8c1e0bb-805f-4707-bda0-64746f2e12c1 | DOCUMENT_REINDEX_REQUESTED | DOCUMENT_VERSION | 5 | PROCESSED | 0 | DOCUMENT_VERSION:5:DOCUMENT_REINDEX_REQUESTED:1:reconcile:MISSING_JOB:VERSION:5:MODEL:1:attempt:1 | 2026-10-16 16:04:07.078123 | 2026-10-16 16:04:07.873567 | +(2 rows) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+-------------+----------+----------+------------+--------------------------------------+----------------------+----------------------------+----------------------------+---------------------------+---------------------------------------------- + 4 | MISSING_JOB | ERROR | RESOLVED | t | e8c1e0bb-805f-4707-bda0-64746f2e12c1 | 1 | 2026-10-16 16:03:54.412214 | 2026-10-16 16:04:07.020063 | 2026-10-16 16:04:11.45721 | {"liveJob":false,"versionStatus":"UPLOADED"} +(1 row) + diff --git a/docs/test-results/reconciler-repair-20261016/run-missing-job-01/upload-response.json b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/upload-response.json new file mode 100644 index 00000000..f054f3d0 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-missing-job-01/upload-response.json @@ -0,0 +1,13 @@ +{ + "success": true, + "status": 201, + "data": { + "documentId": 5, + "documentVersionId": 5, + "fileObjectId": 3, + "embeddingJobId": 4, + "documentStatus": "UPLOADED", + "jobStatus": "PENDING" + }, + "timestamp": "2026-10-16 16:03:25" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/1-detect-dry-run-live-job-batch1.json b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/1-detect-dry-run-live-job-batch1.json new file mode 100644 index 00000000..badef0aa --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/1-detect-dry-run-live-job-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "a0be300f-6bed-400d-a3ee-a69007397ea2", + "startCursor": 0, + "endCursor": 6, + "scannedCount": 6, + "detectedCount": 2, + "repairRequestedCount": 0, + "hasMore": false, + "action": { + "actionId": "afb5bcc9-7d63-4ee3-ba5a-6775c5743e57", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "a0be300f-6bed-400d-a3ee-a69007397ea2", + "adminUserId": 1, + "occurredAt": "2026-10-16T16:04:40.860352" + } + }, + "timestamp": "2026-10-16 16:04:40" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/1-issues-open.json b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/1-issues-open.json new file mode 100644 index 00000000..4dbda10e --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/1-issues-open.json @@ -0,0 +1,53 @@ +{ + "success": true, + "status": 200, + "data": { + "content": [ + { + "issueId": 5, + "issueKey": "STALLED_VERSION:VERSION:6:MODEL:1", + "issueType": "STALLED_VERSION", + "severity": "WARNING", + "status": "OPEN", + "documentId": 6, + "documentVersionId": 6, + "embeddingModelId": 1, + "expectedJson": "{\"updatedAfter\":\"2026-10-16T15:49:40.777191\"}", + "actualJson": "{\"updatedAt\":\"2026-10-16T15:44:29.366706\",\"liveJob\":true}", + "repairable": false, + "detectedAt": "2026-10-16T16:04:40.777191", + "lastDetectedAt": "2026-10-16T16:04:40.777191", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": null, + "resolutionMessage": null + }, + { + "issueId": 3, + "issueKey": "MISSING_EMBEDDINGS:VERSION:4:MODEL:1", + "issueType": "MISSING_EMBEDDINGS", + "severity": "CRITICAL", + "status": "OPEN", + "documentId": 4, + "documentVersionId": 4, + "embeddingModelId": 1, + "expectedJson": "{\"activeEmbeddingCount\":5}", + "actualJson": "{\"activeEmbeddingCount\":0,\"currentModelEmbeddingCount\":5,\"allModelEmbeddingCount\":5}", + "repairable": false, + "detectedAt": "2026-10-16T16:02:43.18896", + "lastDetectedAt": "2026-10-16T16:04:40.777191", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": null, + "resolutionMessage": null + } + ], + "page": 0, + "size": 100, + "totalElements": 2, + "totalPages": 1, + "first": true, + "last": true + }, + "timestamp": "2026-10-16 16:04:41" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/2-detect-dry-run-no-job-batch1.json b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/2-detect-dry-run-no-job-batch1.json new file mode 100644 index 00000000..f599e94b --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/2-detect-dry-run-no-job-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "178bd9aa-8a9d-49ea-ac76-dc5a996fee57", + "startCursor": 0, + "endCursor": 6, + "scannedCount": 6, + "detectedCount": 3, + "repairRequestedCount": 0, + "hasMore": false, + "action": { + "actionId": "cf0b7d7a-f5c9-4f6b-a87d-63430d672166", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "178bd9aa-8a9d-49ea-ac76-dc5a996fee57", + "adminUserId": 1, + "occurredAt": "2026-10-16T16:04:53.87954" + } + }, + "timestamp": "2026-10-16 16:04:53" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/2-issues-open.json b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/2-issues-open.json new file mode 100644 index 00000000..52ead225 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/2-issues-open.json @@ -0,0 +1,72 @@ +{ + "success": true, + "status": 200, + "data": { + "content": [ + { + "issueId": 6, + "issueKey": "MISSING_JOB:VERSION:6:MODEL:1", + "issueType": "MISSING_JOB", + "severity": "ERROR", + "status": "OPEN", + "documentId": 6, + "documentVersionId": 6, + "embeddingModelId": 1, + "expectedJson": "{\"liveJob\":true}", + "actualJson": "{\"liveJob\":false,\"versionStatus\":\"UPLOADED\"}", + "repairable": true, + "detectedAt": "2026-10-16T16:04:53.820939", + "lastDetectedAt": "2026-10-16T16:04:53.820939", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": null, + "resolutionMessage": null + }, + { + "issueId": 5, + "issueKey": "STALLED_VERSION:VERSION:6:MODEL:1", + "issueType": "STALLED_VERSION", + "severity": "ERROR", + "status": "OPEN", + "documentId": 6, + "documentVersionId": 6, + "embeddingModelId": 1, + "expectedJson": "{\"updatedAfter\":\"2026-10-16T15:49:53.820939\"}", + "actualJson": "{\"updatedAt\":\"2026-10-16T15:44:29.366706\",\"liveJob\":false}", + "repairable": false, + "detectedAt": "2026-10-16T16:04:40.777191", + "lastDetectedAt": "2026-10-16T16:04:53.820939", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": null, + "resolutionMessage": null + }, + { + "issueId": 3, + "issueKey": "MISSING_EMBEDDINGS:VERSION:4:MODEL:1", + "issueType": "MISSING_EMBEDDINGS", + "severity": "CRITICAL", + "status": "OPEN", + "documentId": 4, + "documentVersionId": 4, + "embeddingModelId": 1, + "expectedJson": "{\"activeEmbeddingCount\":5}", + "actualJson": "{\"activeEmbeddingCount\":0,\"currentModelEmbeddingCount\":5,\"allModelEmbeddingCount\":5}", + "repairable": false, + "detectedAt": "2026-10-16T16:02:43.18896", + "lastDetectedAt": "2026-10-16T16:04:53.820939", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": null, + "resolutionMessage": null + } + ], + "page": 0, + "size": 100, + "totalElements": 3, + "totalPages": 1, + "first": true, + "last": true + }, + "timestamp": "2026-10-16 16:04:54" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/3-repair-batch1.json b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/3-repair-batch1.json new file mode 100644 index 00000000..6b49c55e --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/3-repair-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "52961815-8492-4300-a356-5f22ae9b5667", + "startCursor": 0, + "endCursor": 6, + "scannedCount": 6, + "detectedCount": 3, + "repairRequestedCount": 1, + "hasMore": false, + "action": { + "actionId": "44ed8988-e693-4044-b551-deca3f96939f", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "52961815-8492-4300-a356-5f22ae9b5667", + "adminUserId": 1, + "occurredAt": "2026-10-16T16:05:03.40777" + } + }, + "timestamp": "2026-10-16 16:05:03" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/4-issues-all.json b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/4-issues-all.json new file mode 100644 index 00000000..083dd656 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/4-issues-all.json @@ -0,0 +1,129 @@ +{ + "success": true, + "status": 200, + "data": { + "content": [ + { + "issueId": 5, + "issueKey": "STALLED_VERSION:VERSION:6:MODEL:1", + "issueType": "STALLED_VERSION", + "severity": "WARNING", + "status": "OPEN", + "documentId": 6, + "documentVersionId": 6, + "embeddingModelId": 1, + "expectedJson": "{\"updatedAfter\":\"2026-10-16T15:50:07.710629\"}", + "actualJson": "{\"updatedAt\":\"2026-10-16T15:44:29.366706\",\"liveJob\":true}", + "repairable": false, + "detectedAt": "2026-10-16T16:04:40.777191", + "lastDetectedAt": "2026-10-16T16:05:07.710629", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": null, + "resolutionMessage": null + }, + { + "issueId": 3, + "issueKey": "MISSING_EMBEDDINGS:VERSION:4:MODEL:1", + "issueType": "MISSING_EMBEDDINGS", + "severity": "CRITICAL", + "status": "OPEN", + "documentId": 4, + "documentVersionId": 4, + "embeddingModelId": 1, + "expectedJson": "{\"activeEmbeddingCount\":5}", + "actualJson": "{\"activeEmbeddingCount\":0,\"currentModelEmbeddingCount\":5,\"allModelEmbeddingCount\":5}", + "repairable": false, + "detectedAt": "2026-10-16T16:02:43.18896", + "lastDetectedAt": "2026-10-16T16:05:07.710629", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": null, + "resolutionMessage": null + }, + { + "issueId": 6, + "issueKey": "MISSING_JOB:VERSION:6:MODEL:1", + "issueType": "MISSING_JOB", + "severity": "ERROR", + "status": "RESOLVED", + "documentId": 6, + "documentVersionId": 6, + "embeddingModelId": 1, + "expectedJson": "{\"liveJob\":true}", + "actualJson": "{\"liveJob\":false,\"versionStatus\":\"UPLOADED\"}", + "repairable": true, + "detectedAt": "2026-10-16T16:04:53.820939", + "lastDetectedAt": "2026-10-16T16:05:03.362609", + "repairEventId": "a9bc2b82-52ce-49c0-ae47-4c5e103057c3", + "repairAttemptCount": 1, + "resolvedAt": "2026-10-16T16:05:07.710629", + "resolutionMessage": "Reconciliation 재검사에서 정상 상태를 확인했습니다." + }, + { + "issueId": 4, + "issueKey": "MISSING_JOB:VERSION:5:MODEL:1", + "issueType": "MISSING_JOB", + "severity": "ERROR", + "status": "RESOLVED", + "documentId": 5, + "documentVersionId": 5, + "embeddingModelId": 1, + "expectedJson": "{\"liveJob\":true}", + "actualJson": "{\"liveJob\":false,\"versionStatus\":\"UPLOADED\"}", + "repairable": true, + "detectedAt": "2026-10-16T16:03:54.412214", + "lastDetectedAt": "2026-10-16T16:04:07.020063", + "repairEventId": "e8c1e0bb-805f-4707-bda0-64746f2e12c1", + "repairAttemptCount": 1, + "resolvedAt": "2026-10-16T16:04:11.45721", + "resolutionMessage": "Reconciliation 재검사에서 정상 상태를 확인했습니다." + }, + { + "issueId": 2, + "issueKey": "DELETED_DOCUMENT_RESIDUE:DOCUMENT:4", + "issueType": "DELETED_DOCUMENT_RESIDUE", + "severity": "CRITICAL", + "status": "RESOLVED", + "documentId": 4, + "documentVersionId": 4, + "embeddingModelId": 1, + "expectedJson": "{\"activeEmbeddingCount\":0}", + "actualJson": "{\"activeEmbeddingCount\":\">0\"}", + "repairable": false, + "detectedAt": "2026-10-16T16:02:01.366136", + "lastDetectedAt": "2026-10-16T16:02:10.222043", + "repairEventId": null, + "repairAttemptCount": 0, + "resolvedAt": "2026-10-16T16:02:43.18896", + "resolutionMessage": "Reconciliation 재검사에서 정상 상태를 확인했습니다." + }, + { + "issueId": 1, + "issueKey": "MISSING_EMBEDDINGS:VERSION:3:MODEL:1", + "issueType": "MISSING_EMBEDDINGS", + "severity": "CRITICAL", + "status": "RESOLVED", + "documentId": 3, + "documentVersionId": 3, + "embeddingModelId": 1, + "expectedJson": "{\"activeEmbeddingCount\":5}", + "actualJson": "{\"activeEmbeddingCount\":4,\"currentModelEmbeddingCount\":4,\"allModelEmbeddingCount\":4}", + "repairable": true, + "detectedAt": "2026-10-16T15:58:34.015381", + "lastDetectedAt": "2026-10-16T15:58:56.134837", + "repairEventId": "7cc6bc1b-8834-4830-a6a3-e6ec41d9a410", + "repairAttemptCount": 1, + "resolvedAt": "2026-10-16T15:59:23.771277", + "resolutionMessage": "Reconciliation 재검사에서 정상 상태를 확인했습니다." + } + ], + "page": 0, + "size": 100, + "totalElements": 6, + "totalPages": 1, + "first": true, + "last": true + }, + "timestamp": "2026-10-16 16:05:07" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/4-recheck-dry-run-worker-off-batch1.json b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/4-recheck-dry-run-worker-off-batch1.json new file mode 100644 index 00000000..e62b00d0 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/4-recheck-dry-run-worker-off-batch1.json @@ -0,0 +1,22 @@ +{ + "success": true, + "status": 200, + "data": { + "runId": "b928c717-b6a1-4e2c-8cf4-1067b02e037f", + "startCursor": 0, + "endCursor": 6, + "scannedCount": 6, + "detectedCount": 2, + "repairRequestedCount": 0, + "hasMore": false, + "action": { + "actionId": "55d80fbc-f99b-48a2-939f-12b641ba0251", + "actionType": "RECONCILIATION_REQUESTED", + "targetType": "RECONCILIATION", + "targetId": "b928c717-b6a1-4e2c-8cf4-1067b02e037f", + "adminUserId": 1, + "occurredAt": "2026-10-16T16:05:07.772131" + } + }, + "timestamp": "2026-10-16 16:05:07" +} diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/5-timeline-worker-on.txt b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/5-timeline-worker-on.txt new file mode 100644 index 00000000..f9bd6f23 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/5-timeline-worker-on.txt @@ -0,0 +1,4 @@ +16:05:24 doc=UPLOADED ver=UPLOADED jobs=7:PENDING reindexEvents=PROCESSED activeVec=0 issues=5:STALLED_VERSION:OPEN,6:MISSING_JOB:RESOLVED +16:05:33 doc=INDEXING ver=EMBEDDING jobs=7:PROCESSING reindexEvents=PROCESSED activeVec=0 issues=5:STALLED_VERSION:OPEN,6:MISSING_JOB:RESOLVED +16:05:50 doc=INDEXED ver=INDEXED jobs=7:INDEXED reindexEvents=PROCESSED activeVec=5 issues=5:STALLED_VERSION:OPEN,6:MISSING_JOB:RESOLVED +16:06:07 doc=INDEXED ver=INDEXED jobs=7:INDEXED reindexEvents=PROCESSED activeVec=5 issues=5:STALLED_VERSION:RESOLVED,6:MISSING_JOB:RESOLVED diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/README.md b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/README.md new file mode 100644 index 00000000..99372b23 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/README.md @@ -0,0 +1,41 @@ +# 보고 사례: 정체 버전과 Job 누락 동시 탐지 — run-stalled-version-01 + +| 항목 | 기록 | +| --- | --- | +| 목적 | 오래 진행되지 않은 처리 중 버전을 보고만 하는지, Job까지 없을 때 `MISSING_JOB`과 함께 잡히는지, `REPAIR`가 둘 중 안전한 쪽만 처리하는지 확인 | +| 시각 | 2026-10-16 16:04:29~16:06:06 KST | +| 환경 | 3단계 Backend(Worker 끔, Dispatcher 켬) → 4단계 Backend(Worker·Dispatcher 켬). 시험 문서 D(`documentId=6`, `versionId=6`). 정체 임계값은 기본값 15분, 설정 변경 없음 | +| 주입 1 | [inject-1-backdate.sql](inject-1-backdate.sql): 버전 `updated_at`을 앱이 기록한 값보다 20분 이르게 변경 | +| 주입 2 | [inject-2-delete-job.sql](inject-2-delete-job.sql): attempt·indexing_event 0건인 `PENDING` Job 6번 삭제 | +| 성공 기준 | `STALLED_VERSION`은 `repairable=false`로 보고만 하고, Job이 없으면 `MISSING_JOB`과 동시 탐지되며, `REPAIR`는 `MISSING_JOB`만 예약 | +| 결과 | 통과 | +| 정리 | 시험 DB는 전체 시험 뒤 컨테이너째 삭제 | + +## 흐름 + +| 시각 (KST) | 단계 | 관측 | +| --- | --- | --- | +| 16:04:29 | 업로드 | `UPLOADED`, Job 6번 `PENDING` | +| 16:04:40 | 주입 1 | `updated_at` 16:04:29 → 15:44:29 | +| 16:04:40 | 탐지 `DRY_RUN` | Issue **5번** `STALLED_VERSION`, **`WARNING`**, `repairable=false`. `{"liveJob":true}` | +| 16:04:50 | 주입 2 | Job 6번 삭제 | +| 16:04:53 | 탐지 `DRY_RUN` | Issue **6번** `MISSING_JOB` `ERROR` `repairable=true` 새로 열림. 같은 Issue 5번은 **`ERROR`로 상향**, `{"liveJob":false}` | +| 16:05:03 | `REPAIR` | 탐지 3건(문서 C의 Issue 3번 포함), 복구 요청 **1건**. Issue 6번만 `REPAIRING`, Issue 5번은 `OPEN` 유지 | +| 16:05:03.564 | Dispatcher 처리 | `DOCUMENT_REINDEX_REQUESTED` `a9bc2b82…` `PROCESSED`, 새 Job 7번 `PENDING` | +| 16:05:07 | 재점검 `DRY_RUN` (Worker 끔) | Issue 6번 `RESOLVED`. Issue 5번은 `OPEN`, 살아 있는 Job이 생겨 **`WARNING`으로 하향** | +| 16:05:31 | Worker 켬 | 4단계 Backend 기동 | +| 16:05:50 | Worker 완료 | Job 7번·버전·문서 `INDEXED`, Chunk 5·ACTIVE Vector 5 | +| 16:06:06 | 최종 `DRY_RUN` | Issue 5번 `RESOLVED` | + +## 해석 범위 + +- `STALLED_VERSION`은 같은 Issue 행을 유지한 채 Job 유무에 따라 심각도만 `WARNING ↔ ERROR`로 바뀌었다. 자동 복구는 끝까지 요청하지 않았다. +- 이 Issue는 Worker가 버전을 끝까지 처리한 뒤에야 닫혔다. 복구 Job을 만든 것만으로는 `updated_at`이 바뀌지 않으므로 Issue가 남는다. +- 정체는 실제 15분 대기가 아니라 `updated_at`을 과거로 옮겨 만들었다. 실제 Worker 지연이나 장애 원인을 재현한 것은 아니다. +- DB 컨테이너는 UTC, 앱은 Asia/Seoul `LocalDateTime`을 쓴다. 그래서 주입은 `now()`가 아니라 기존 값에서 20분을 뺐다. + +## 증거 + +- 주입: [주입 1](inject-1-backdate.sql), [주입 1 출력](inject-1-output.txt), [주입 2](inject-2-delete-job.sql), [주입 2 출력](inject-2-output.txt), [실행 조건](conditions.txt), [업로드 응답](upload-response.json) +- 상태: [주입 전](state-0-before-injection.txt), [Job 삭제 뒤](state-2-after-job-delete.txt), [REPAIR 뒤](state-3-after-repair.txt), [Worker 완료 뒤](state-4-after-worker.txt), [Worker 켬 구간 변화](5-timeline-worker-on.txt) +- API: [Job 있을 때 탐지](1-detect-dry-run-live-job-batch1.json), [그때 OPEN Issue](1-issues-open.json), [Job 없을 때 탐지](2-detect-dry-run-no-job-batch1.json), [그때 OPEN Issue](2-issues-open.json), [REPAIR](3-repair-batch1.json), [재점검](4-recheck-dry-run-worker-off-batch1.json), [전체 Issue](4-issues-all.json) diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/conditions.txt b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/conditions.txt new file mode 100644 index 00000000..29c47e69 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/conditions.txt @@ -0,0 +1 @@ +backend phase: INDEXING_WORKER_ENABLED=false, SYNC_DISPATCHER_ENABLED=true, stalled-threshold 기본값 15m(설정 변경 없음) diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/finished_at.txt b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/finished_at.txt new file mode 100644 index 00000000..265416be --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/finished_at.txt @@ -0,0 +1 @@ +2026-10-16T16:06:06+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/inject-1-backdate.sql b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/inject-1-backdate.sql new file mode 100644 index 00000000..0ba504f1 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/inject-1-backdate.sql @@ -0,0 +1,16 @@ +-- run-stalled-version-01 주입 1: 시험 문서 D(version 6, UPLOADED, PENDING Job 있음)의 마지막 갱신 시각을 +-- 앱이 기록한 값 기준 20분 전으로 옮긴다. 기본 정체 임계값 15분을 넘기기 위한 것이며 설정은 바꾸지 않는다. +-- DB 컨테이너는 UTC이고 앱은 Asia/Seoul LocalDateTime을 쓰므로 now()가 아니라 기존 값에서 뺀다. +BEGIN; +DO $$ +DECLARE updated_count integer; +BEGIN + UPDATE document_versions SET updated_at = updated_at - interval '20 minutes' + WHERE id = 6 AND status = 'UPLOADED'; + GET DIAGNOSTICS updated_count = ROW_COUNT; + IF updated_count <> 1 THEN + RAISE EXCEPTION 'expected 1 updated version, got %', updated_count; + END IF; + RAISE NOTICE 'backdated versions: %', updated_count; +END $$; +COMMIT; diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/inject-1-output.txt b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/inject-1-output.txt new file mode 100644 index 00000000..e543a769 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/inject-1-output.txt @@ -0,0 +1,4 @@ +BEGIN +NOTICE: backdated versions: 1 +DO +COMMIT diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/inject-2-delete-job.sql b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/inject-2-delete-job.sql new file mode 100644 index 00000000..6ae32fc2 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/inject-2-delete-job.sql @@ -0,0 +1,18 @@ +-- run-stalled-version-01 주입 2: Worker가 꺼진 상태에서 시험 문서 D(version 6)의 PENDING Job을 삭제한다. +-- attempt·indexing_event가 하나라도 있으면 FK 문제와 처리 이력 손상을 피하려고 전체를 롤백한다. +BEGIN; +DO $$ +DECLARE deleted_count integer; +BEGIN + IF EXISTS (SELECT 1 FROM embedding_job_attempts a JOIN embedding_jobs j ON j.id = a.embedding_job_id WHERE j.document_version_id = 6) + OR EXISTS (SELECT 1 FROM indexing_events e JOIN embedding_jobs j ON j.id = e.embedding_job_id WHERE j.document_version_id = 6) THEN + RAISE EXCEPTION 'job history exists; abort injection'; + END IF; + DELETE FROM embedding_jobs WHERE document_version_id = 6 AND status = 'PENDING'; + GET DIAGNOSTICS deleted_count = ROW_COUNT; + IF deleted_count <> 1 THEN + RAISE EXCEPTION 'expected 1 deleted job, got %', deleted_count; + END IF; + RAISE NOTICE 'deleted jobs: %', deleted_count; +END $$; +COMMIT; diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/inject-2-output.txt b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/inject-2-output.txt new file mode 100644 index 00000000..80093458 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/inject-2-output.txt @@ -0,0 +1,4 @@ +BEGIN +DO +NOTICE: deleted jobs: 1 +COMMIT diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/injected_1_at.txt b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/injected_1_at.txt new file mode 100644 index 00000000..2bf5901b --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/injected_1_at.txt @@ -0,0 +1 @@ +2026-10-16T16:04:40+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/injected_2_at.txt b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/injected_2_at.txt new file mode 100644 index 00000000..4986b7c1 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/injected_2_at.txt @@ -0,0 +1 @@ +2026-10-16T16:04:50+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/started_at.txt b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/started_at.txt new file mode 100644 index 00000000..4dcbc2e6 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/started_at.txt @@ -0,0 +1 @@ +2026-10-16T16:04:29+0900 diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/state-0-before-injection.txt b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/state-0-before-injection.txt new file mode 100644 index 00000000..5218bb70 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/state-0-before-injection.txt @@ -0,0 +1,33 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+------------+---------------------------- + 6 | UPLOADED | 6 | f | 6 | UPLOADED | | 2026-10-16 16:04:29.366706 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+---------+-------------+--------------------------------------+----------------------------+--------------+----------+----------------- + 6 | PENDING | 0 | 54c0201e-9a50-440e-aa65-5a030b15d1ca | 2026-10-16 16:04:29.382105 | | 0 | 0 +(1 row) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- +(0 rows) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+-------------+-----------------+------------ +(0 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+--------------------------+------------------+--------------+-----------+-------------+-----------------------------------------------+----------------------------+----------------------------+----------------- + 54c0201e-9a50-440e-aa65-5a030b15d1ca | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 6 | PROCESSED | 0 | DOCUMENT_VERSION:6:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 16:04:29.374515 | 2026-10-16 16:04:30.125119 | +(1 row) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+------------+----------+--------+------------+-----------------+----------------------+-------------+------------------+-------------+------------- +(0 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/state-2-after-job-delete.txt b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/state-2-after-job-delete.txt new file mode 100644 index 00000000..50ffadfa --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/state-2-after-job-delete.txt @@ -0,0 +1,34 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+------------+---------------------------- + 6 | UPLOADED | 6 | f | 6 | UPLOADED | | 2026-10-16 15:44:29.366706 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+--------+-------------+-----------------+------------+--------------+----------+----------------- +(0 rows) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- +(0 rows) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+-------------+-----------------+------------ +(0 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+--------------------------+------------------+--------------+-----------+-------------+-----------------------------------------------+----------------------------+----------------------------+----------------- + 54c0201e-9a50-440e-aa65-5a030b15d1ca | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 6 | PROCESSED | 0 | DOCUMENT_VERSION:6:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 16:04:29.374515 | 2026-10-16 16:04:30.125119 | +(1 row) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+-----------------+----------+--------+------------+-----------------+----------------------+----------------------------+----------------------------+-------------+------------------------------------------------------------ + 5 | STALLED_VERSION | ERROR | OPEN | f | | 0 | 2026-10-16 16:04:40.777191 | 2026-10-16 16:04:53.820939 | | {"updatedAt":"2026-10-16T15:44:29.366706","liveJob":false} + 6 | MISSING_JOB | ERROR | OPEN | t | | 0 | 2026-10-16 16:04:53.820939 | 2026-10-16 16:04:53.820939 | | {"liveJob":false,"versionStatus":"UPLOADED"} +(2 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/state-3-after-repair.txt b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/state-3-after-repair.txt new file mode 100644 index 00000000..619267b0 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/state-3-after-repair.txt @@ -0,0 +1,36 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+------------+---------------------------- + 6 | UPLOADED | 6 | f | 6 | UPLOADED | | 2026-10-16 15:44:29.366706 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+---------+-------------+--------------------------------------+----------------------------+--------------+----------+----------------- + 7 | PENDING | 0 | a9bc2b82-52ce-49c0-ae47-4c5e103057c3 | 2026-10-16 16:05:03.562434 | | 0 | 0 +(1 row) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- +(0 rows) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+-------------+-----------------+------------ +(0 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+----------------------------+------------------+--------------+-----------+-------------+---------------------------------------------------------------------------------------------------+----------------------------+----------------------------+----------------- + 54c0201e-9a50-440e-aa65-5a030b15d1ca | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 6 | PROCESSED | 0 | DOCUMENT_VERSION:6:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 16:04:29.374515 | 2026-10-16 16:04:30.125119 | + a9bc2b82-52ce-49c0-ae47-4c5e103057c3 | DOCUMENT_REINDEX_REQUESTED | DOCUMENT_VERSION | 6 | PROCESSED | 0 | DOCUMENT_VERSION:6:DOCUMENT_REINDEX_REQUESTED:1:reconcile:MISSING_JOB:VERSION:6:MODEL:1:attempt:1 | 2026-10-16 16:05:03.396179 | 2026-10-16 16:05:03.564134 | +(2 rows) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+-----------------+----------+-----------+------------+--------------------------------------+----------------------+----------------------------+----------------------------+-------------+------------------------------------------------------------ + 5 | STALLED_VERSION | ERROR | OPEN | f | | 0 | 2026-10-16 16:04:40.777191 | 2026-10-16 16:05:03.362609 | | {"updatedAt":"2026-10-16T15:44:29.366706","liveJob":false} + 6 | MISSING_JOB | ERROR | REPAIRING | t | a9bc2b82-52ce-49c0-ae47-4c5e103057c3 | 1 | 2026-10-16 16:04:53.820939 | 2026-10-16 16:05:03.362609 | | {"liveJob":false,"versionStatus":"UPLOADED"} +(2 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/state-4-after-worker.txt b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/state-4-after-worker.txt new file mode 100644 index 00000000..df323e6b --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/state-4-after-worker.txt @@ -0,0 +1,42 @@ +## document / version + document_id | document_status | current_version_id | deleted | version_id | version_status | indexed_at | version_updated_at +-------------+-----------------+--------------------+---------+------------+----------------+----------------------------+---------------------------- + 6 | INDEXED | 6 | f | 6 | INDEXED | 2026-10-16 16:05:49.722566 | 2026-10-16 16:05:49.762779 +(1 row) + +## embedding_jobs + id | status | retry_count | source_event_id | created_at | completed_at | attempts | indexing_events +----+---------+-------------+--------------------------------------+----------------------------+----------------------------+----------+----------------- + 7 | INDEXED | 0 | a9bc2b82-52ce-49c0-ae47-4c5e103057c3 | 2026-10-16 16:05:03.562434 | 2026-10-16 16:05:49.722566 | 1 | 5 +(1 row) + +## chunks / embeddings (count by model, status) + chunk_count | embedding_model_id | status | embedding_count +-------------+--------------------+--------+----------------- + 5 | 1 | ACTIVE | 5 +(1 row) + +## embeddings (id, chunk, hash) + embedding_id | chunk_index | chunk_id | status | vector_hash | vector_text_md5 | created_at +--------------+-------------+----------+--------+------------------------------------------------------------------+----------------------------------+---------------------------- + 16 | 0 | 15 | ACTIVE | 8543c11711969638c0da9389add38c4ddbadcefc95d0143272afa43c3c98731c | 2bceda3aa67b10b53e9a76ec81f969d0 | 2026-10-16 16:05:49.687742 + 17 | 1 | 18 | ACTIVE | 9f0185c0f5fd4d42118857bec03a69a704703e6306e19b53d29111f181ffb4cd | 550a6dd82d6faa16f509e8e4d423f1da | 2026-10-16 16:05:49.704856 + 18 | 2 | 19 | ACTIVE | e83570cb5a8d43450c2f0ff278fa39f5b9bc0a38048e0875c042b38455b63ca2 | 8bf833abb1c757d213fb77cf82be8b5d | 2026-10-16 16:05:49.708087 + 19 | 3 | 22 | ACTIVE | 8219d483455c0f4edb8d53bfd88541f29bddf528b276d8166ea7af19460c9b4d | 18e54ce56e7285585f2f24b750f92729 | 2026-10-16 16:05:49.711871 + 20 | 4 | 23 | ACTIVE | 7b9983bde8243f27e64c90d7853f14c364fd5e7c014b6665672fadb0eac9b8fa | a12d210c7fb6883f2a1554b44a8744f0 | 2026-10-16 16:05:49.714597 +(5 rows) + +## sync_outbox_events (aggregate = version or document) + event_id | event_type | aggregate_type | aggregate_id | status | retry_count | idempotency_key | occurred_at | processed_at | last_error_code +--------------------------------------+----------------------------+------------------+--------------+-----------+-------------+---------------------------------------------------------------------------------------------------+----------------------------+----------------------------+----------------- + 54c0201e-9a50-440e-aa65-5a030b15d1ca | DOCUMENT_VERSION_CREATED | DOCUMENT_VERSION | 6 | PROCESSED | 0 | DOCUMENT_VERSION:6:DOCUMENT_VERSION_CREATED:1 | 2026-10-16 16:04:29.374515 | 2026-10-16 16:04:30.125119 | + a9bc2b82-52ce-49c0-ae47-4c5e103057c3 | DOCUMENT_REINDEX_REQUESTED | DOCUMENT_VERSION | 6 | PROCESSED | 0 | DOCUMENT_VERSION:6:DOCUMENT_REINDEX_REQUESTED:1:reconcile:MISSING_JOB:VERSION:6:MODEL:1:attempt:1 | 2026-10-16 16:05:03.396179 | 2026-10-16 16:05:03.564134 | +(2 rows) + +## sync_consistency_issues (version or document) + id | issue_type | severity | status | repairable | repair_event_id | repair_attempt_count | detected_at | last_detected_at | resolved_at | actual_json +----+-----------------+----------+----------+------------+--------------------------------------+----------------------+----------------------------+----------------------------+----------------------------+----------------------------------------------------------- + 5 | STALLED_VERSION | WARNING | OPEN | f | | 0 | 2026-10-16 16:04:40.777191 | 2026-10-16 16:05:07.710629 | | {"updatedAt":"2026-10-16T15:44:29.366706","liveJob":true} + 6 | MISSING_JOB | ERROR | RESOLVED | t | a9bc2b82-52ce-49c0-ae47-4c5e103057c3 | 1 | 2026-10-16 16:04:53.820939 | 2026-10-16 16:05:03.362609 | 2026-10-16 16:05:07.710629 | {"liveJob":false,"versionStatus":"UPLOADED"} +(2 rows) + diff --git a/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/upload-response.json b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/upload-response.json new file mode 100644 index 00000000..1412292d --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/run-stalled-version-01/upload-response.json @@ -0,0 +1,13 @@ +{ + "success": true, + "status": 201, + "data": { + "documentId": 6, + "documentVersionId": 6, + "fileObjectId": 4, + "embeddingJobId": 6, + "documentStatus": "UPLOADED", + "jobStatus": "PENDING" + }, + "timestamp": "2026-10-16 16:04:29" +} diff --git a/docs/test-results/reconciler-repair-20261016/scripts/containers.sh b/docs/test-results/reconciler-repair-20261016/scripts/containers.sh new file mode 100644 index 00000000..4647fe18 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/scripts/containers.sh @@ -0,0 +1,14 @@ +#!/bin/bash +# 이번 시험에서 띄운 격리 컨테이너. 비밀번호는 실행마다 openssl rand로 만들고 시험 후 삭제했다. +docker run -d --name docgrid-reconcile-pg-20261016 -p 127.0.0.1:55471:5432 \ + -e POSTGRES_DB=app -e POSTGRES_USER=app -e POSTGRES_PASSWORD="$DB_PASSWORD" \ + -v /docker/postgres/init/001-enable-vector.sql:/docker-entrypoint-initdb.d/001-enable-vector.sql:ro \ + --label purpose=docgrid-517-reconciler-test pgvector/pgvector:0.8.1-pg17 +docker run -d --name docgrid-reconcile-valkey-20261016 -p 127.0.0.1:6391:6379 \ + --label purpose=docgrid-517-reconciler-test valkey/valkey:9.1-alpine +# 모델 파일은 기존 Hugging Face cache volume을 읽기 전용으로 붙이고 네트워크 다운로드를 끈다. +docker run -d --name docgrid-reconcile-embedding-20261016 -p 127.0.0.1:18170:8000 \ + -e HF_HUB_OFFLINE=1 -e TRANSFORMERS_OFFLINE=1 -e EMBEDDING_PROVIDER_MAX_CONCURRENCY=1 -e EMBEDDING_PROVIDER_MAX_QUEUE_SIZE=1 \ + --memory 3g --cpus 4 -v docgrid_huggingface-cache:/root/.cache/huggingface:ro \ + --label purpose=docgrid-517-reconciler-test docgrid-embedding-server +# 정리: docker rm -f -v docgrid-reconcile-pg-20261016 docgrid-reconcile-valkey-20261016 docgrid-reconcile-embedding-20261016 diff --git a/docs/test-results/reconciler-repair-20261016/scripts/lib.sh b/docs/test-results/reconciler-repair-20261016/scripts/lib.sh new file mode 100644 index 00000000..7530d67e --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/scripts/lib.sh @@ -0,0 +1,35 @@ +# 시험 도우미. source해서 쓴다. 토큰은 scratchpad에만 두고 증거 파일에 남기지 않는다. +SP= +E=/docs/test-results/reconciler-repair-20261016 +BASE=http://127.0.0.1:18190 +q() { docker exec -i docgrid-reconcile-pg-20261016 psql -U app -d app -v ON_ERROR_STOP=1 -P pager=off "$@"; } +qa() { docker exec -i docgrid-reconcile-pg-20261016 psql -U app -d app -v ON_ERROR_STOP=1 -At "$@"; } +login() { + # V28 시드 ADMIN 계정(시험 DB 전용). 응답 본문은 토큰을 포함하므로 저장하지 않는다. + curl -s -X POST $BASE/auth/login -H 'Content-Type: application/json' \ + -d "{\"email\":\"kcw130502@gmail.com\",\"password\":\"$(sed -n 's/.*비밀번호: \([^)]*\)).*/\1/p' /backend/src/main/resources/db/migration/V28__seed_roles_departments_admin.sql)\"}" \ + | python3 -I -c 'import sys,json; d=json.load(sys.stdin)["data"]; print(d.get("accessToken") or d.get("token"))' > $SP/env/token + chmod 600 $SP/env/token; [ -s $SP/env/token ] && echo login-ok +} +T() { cat $SP/env/token; } +# api METHOD PATH [json-body] -> stdout 응답 JSON +api() { + if [ -n "$3" ]; then curl -s -X $1 "$BASE$2" -H "Authorization: Bearer $(T)" -H 'Content-Type: application/json' -d "$3"; + else curl -s -X $1 "$BASE$2" -H "Authorization: Bearer $(T)"; fi +} +# reconcile_all MODE OUTDIR LABEL -> cursor를 hasMore=false까지 따라가며 각 응답을 저장 +reconcile_all() { + local mode=$1 out=$2 label=$3 cursor=0 n=0 + mkdir -p $out + while :; do + n=$((n+1)) + local f=$out/$label-batch$n.json + api POST /admin/sync/reconcile "{\"cursor\":$cursor,\"mode\":\"$mode\"}" | python3 -I -m json.tool --no-ensure-ascii > $f + local more=$(python3 -I -c 'import sys,json; print(json.load(open(sys.argv[1]))["data"]["hasMore"])' $f) + cursor=$(python3 -I -c 'import sys,json; print(json.load(open(sys.argv[1]))["data"]["endCursor"])' $f) + python3 -I -c 'import sys,json; d=json.load(open(sys.argv[1]))["data"]; print(sys.argv[2], {k:d[k] for k in ("runId","startCursor","endCursor","scannedCount","detectedCount","repairRequestedCount","hasMore")})' $f "$label-batch$n" + [ "$more" = "True" ] || break + done +} +snap_v() { docker exec -i docgrid-reconcile-pg-20261016 psql -U app -d app -v ON_ERROR_STOP=1 -P pager=off -v vid=$1 < $E/sql/snapshot-version.sql; } +snap_g() { docker exec -i docgrid-reconcile-pg-20261016 psql -U app -d app -v ON_ERROR_STOP=1 -P pager=off < $E/sql/snapshot-global.sql; } diff --git a/docs/test-results/reconciler-repair-20261016/scripts/start_backend.sh b/docs/test-results/reconciler-repair-20261016/scripts/start_backend.sh new file mode 100644 index 00000000..37ef8870 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/scripts/start_backend.sh @@ -0,0 +1,17 @@ +#!/bin/bash +# 사용법: start_backend.sh +SP= +set -a; . $SP/env/test.env; set +a +cd $SP/app || exit 1 +exec env -i PATH=/usr/bin:/bin HOME=$HOME TZ=Asia/Seoul \ + SPRING_PROFILES_ACTIVE=local \ + DB_HOST=127.0.0.1 DB_PORT=55471 DB_NAME=app DB_USER=app DB_PASSWORD="$DB_PASSWORD" DB_SSLMODE=disable \ + REDIS_HOST=127.0.0.1 REDIS_PORT=6391 \ + JWT_SECRET="$JWT_SECRET" \ + STORAGE_TYPE=local STORAGE_LOCAL_ROOT=$SP/storage \ + EMBEDDING_SERVER_URL=http://127.0.0.1:18170 \ + OLLAMA_SERVER_URL=http://127.0.0.1:9 \ + INDEXING_WORKER_ENABLED=$2 SYNC_DISPATCHER_ENABLED=$3 SYNC_RECONCILIATION_ENABLED=false \ + INDEXING_WORKER_NAME=rc517-worker SYNC_DISPATCHER_NAME=rc517-dispatcher \ + /usr/bin/java -jar $SP/app/docgrid-f238caf.jar --server.port=18190 --management.server.port=18191 \ + > $SP/logs/backend-$1.log 2>&1 diff --git a/docs/test-results/reconciler-repair-20261016/scripts/track.sh b/docs/test-results/reconciler-repair-20261016/scripts/track.sh new file mode 100644 index 00000000..b2a6af00 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/scripts/track.sh @@ -0,0 +1,14 @@ +#!/bin/bash +# 사용법: track.sh — 0.5초마다 상태가 바뀐 순간만 기록한다. +vid=$1; dur=$2; out=$3; last=""; end=$(( $(date +%s) + dur )) +while [ $(date +%s) -lt $end ]; do + s=$(docker exec docgrid-reconcile-pg-20261016 psql -U app -d app -At -F ' ' -c " + select 'doc='||d.status, 'ver='||v.status, + 'jobs='||coalesce((select string_agg(j.id||':'||j.status, ',' order by j.id) from embedding_jobs j where j.document_version_id=v.id),'-'), + 'reindexEvents='||coalesce((select string_agg(o.status, ',' order by o.id) from sync_outbox_events o where o.aggregate_type='DOCUMENT_VERSION' and o.aggregate_id=v.id and o.event_type='DOCUMENT_REINDEX_REQUESTED'),'-'), + 'activeVec='||(select count(*) from embeddings e where e.document_version_id=v.id and e.status='ACTIVE'), + 'issues='||coalesce((select string_agg(i.id||':'||i.issue_type||':'||i.status, ',' order by i.id) from sync_consistency_issues i where i.document_version_id=v.id),'-') + from document_versions v join documents d on d.id=v.document_id where v.id=$vid" 2>&1) + if [ "$s" != "$last" ]; then echo "$(date '+%H:%M:%S') $s" >> $out; last="$s"; fi + sleep 0.5 +done diff --git a/docs/test-results/reconciler-repair-20261016/sql/integrity-check.sql b/docs/test-results/reconciler-repair-20261016/sql/integrity-check.sql new file mode 100644 index 00000000..37651441 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/sql/integrity-check.sql @@ -0,0 +1,19 @@ +-- 시험 종료 무결성 확인(읽기 전용). +\echo '## version별 Chunk·ACTIVE Vector·Job 수' +SELECT v.id AS version_id, d.id AS document_id, d.status AS document_status, v.status AS version_status, + (SELECT count(*) FROM document_chunks c WHERE c.document_version_id = v.id) AS chunks, + (SELECT count(*) FROM embeddings e WHERE e.document_version_id = v.id AND e.status = 'ACTIVE') AS active_vectors, + (SELECT count(*) FROM embeddings e WHERE e.document_version_id = v.id AND e.status <> 'ACTIVE') AS inactive_vectors, + (SELECT count(*) FROM embedding_jobs j WHERE j.document_version_id = v.id) AS jobs, + (SELECT count(*) FROM embedding_jobs j WHERE j.document_version_id = v.id AND j.status IN ('PENDING','PROCESSING')) AS live_jobs +FROM document_versions v JOIN documents d ON d.id = v.document_id ORDER BY v.id; +\echo '## 같은 Chunk·모델 Vector 중복 (0행이어야 함)' +SELECT chunk_id, embedding_model_id, count(*) FROM embeddings GROUP BY 1, 2 HAVING count(*) > 1; +\echo '## version당 live Job 2개 이상 (0행이어야 함)' +SELECT document_version_id, count(*) FROM embedding_jobs WHERE status IN ('PENDING','PROCESSING') GROUP BY 1 HAVING count(*) > 1; +\echo '## Outbox 미완료·실패 (0행이어야 함)' +SELECT event_id, event_type, status, last_error_code FROM sync_outbox_events WHERE status <> 'PROCESSED'; +\echo '## Reindex Event ↔ Job 연결' +SELECT o.event_id, o.aggregate_id AS version_id, o.status, j.id AS job_id, j.status AS job_status +FROM sync_outbox_events o LEFT JOIN embedding_jobs j ON j.source_event_id = o.event_id +WHERE o.event_type = 'DOCUMENT_REINDEX_REQUESTED' ORDER BY o.id; diff --git a/docs/test-results/reconciler-repair-20261016/sql/snapshot-global.sql b/docs/test-results/reconciler-repair-20261016/sql/snapshot-global.sql new file mode 100644 index 00000000..c24283e8 --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/sql/snapshot-global.sql @@ -0,0 +1,14 @@ +-- 전역 요약: 활성 모델, 문서·버전 상태, Issue·Outbox 집계, 최근 실행 이력. +\echo '## active embedding model' +SELECT id, model_name, is_active, is_searchable FROM embedding_models ORDER BY id; +\echo '## documents by status' +SELECT d.status, count(*) FROM documents d GROUP BY 1 ORDER BY 1; +\echo '## versions by status' +SELECT v.status, count(*) FROM document_versions v GROUP BY 1 ORDER BY 1; +\echo '## issues by type/status' +SELECT issue_type, severity, status, repairable, count(*) FROM sync_consistency_issues GROUP BY 1,2,3,4 ORDER BY 1,3; +\echo '## outbox by type/status' +SELECT event_type, status, count(*) FROM sync_outbox_events GROUP BY 1,2 ORDER BY 1,2; +\echo '## reconciliation runs (latest 10)' +SELECT run_id, mode, status, start_cursor, end_cursor, scanned_count, detected_count, repair_requested_count, started_at, completed_at, error_code +FROM sync_reconciliation_runs ORDER BY id DESC LIMIT 10; diff --git a/docs/test-results/reconciler-repair-20261016/sql/snapshot-version.sql b/docs/test-results/reconciler-repair-20261016/sql/snapshot-version.sql new file mode 100644 index 00000000..cdf3f6bf --- /dev/null +++ b/docs/test-results/reconciler-repair-20261016/sql/snapshot-version.sql @@ -0,0 +1,32 @@ +-- 사용법: psql -v vid= -f snapshot-version.sql +-- 한 문서 버전의 원장·Job·Chunk·Vector·Outbox·Issue 상태를 읽기 전용으로 조회한다. +\echo '## document / version' +SELECT d.id AS document_id, d.status AS document_status, d.current_version_id, d.deleted_at IS NOT NULL AS deleted, + v.id AS version_id, v.status AS version_status, v.indexed_at, v.updated_at AS version_updated_at +FROM document_versions v JOIN documents d ON d.id = v.document_id WHERE v.id = :vid; +\echo '## embedding_jobs' +SELECT j.id, j.status, j.retry_count, j.source_event_id, j.created_at, j.completed_at, + (SELECT count(*) FROM embedding_job_attempts a WHERE a.embedding_job_id = j.id) AS attempts, + (SELECT count(*) FROM indexing_events e WHERE e.embedding_job_id = j.id) AS indexing_events +FROM embedding_jobs j WHERE j.document_version_id = :vid ORDER BY j.id; +\echo '## chunks / embeddings (count by model, status)' +SELECT (SELECT count(*) FROM document_chunks c WHERE c.document_version_id = :vid) AS chunk_count, + e.embedding_model_id, e.status, count(*) AS embedding_count +FROM embeddings e WHERE e.document_version_id = :vid GROUP BY e.embedding_model_id, e.status ORDER BY 2, 3; +\echo '## embeddings (id, chunk, hash)' +SELECT e.id AS embedding_id, c.chunk_index, e.chunk_id, e.status, e.vector_hash, + md5(e.vector::text) AS vector_text_md5, e.created_at +FROM embeddings e JOIN document_chunks c ON c.id = e.chunk_id +WHERE e.document_version_id = :vid ORDER BY c.chunk_index, e.id; +\echo '## sync_outbox_events (aggregate = version or document)' +SELECT o.event_id, o.event_type, o.aggregate_type, o.aggregate_id, o.status, o.retry_count, o.idempotency_key, + o.occurred_at, o.processed_at, o.last_error_code +FROM sync_outbox_events o +WHERE (o.aggregate_type = 'DOCUMENT_VERSION' AND o.aggregate_id = :vid) + OR (o.aggregate_type = 'DOCUMENT' AND o.aggregate_id = (SELECT document_id FROM document_versions WHERE id = :vid)) +ORDER BY o.id; +\echo '## sync_consistency_issues (version or document)' +SELECT i.id, i.issue_type, i.severity, i.status, i.repairable, i.repair_event_id, i.repair_attempt_count, + i.detected_at, i.last_detected_at, i.resolved_at, i.actual_json +FROM sync_consistency_issues i +WHERE i.document_version_id = :vid ORDER BY i.id;