Validation
Architecture backed by executable contracts.
이 페이지는 숫자를 자랑하지 않는다. 어떤 경계가 테스트로 고정되어 있는지만 적는다. 구현되지 않은 항목은 Planned로 표시한다.
현재 검증 축
Gateway / Router / Runtime contract tests — Implemented
- Gateway: credential metadata가
execution_profileSSOT인지, 키 prefix나 클라이언트 헤더로 권한이 바뀌지 않는지. - Router:
/decide가 self-contained 요청을llm/direct로, 외부 write를runtime+approval_required로 보내는지. - Contracts:
route-decision,claim-grounding,audit-event등 JSON Schema와 예제 payload 대조.
Execution Boundary edge-case tests — Implemented
Router semantics 테스트가 다음을 구분한다.
- 설명·초안·인용 안의 실행 동사와 실제 실행 요청
- capability 문의(
할 수 있어?)와 명시적 실행(해줘) - READ와 WRITE의 다른 경계
- 모든 READ에 approval을 요구하지 않을 것
모델이 문장을 어떻게 해석하든, 외부 side effect 진입은 이 경계 테스트를 통과해야 한다.
Evidence adversarial benchmark — Implemented
Runtime의 Evidence-aware reasoning을 고정 정답 문자열로 채점하지 않는다. stale expected answer를 스키마에서 금지한다.
확인하는 실패 유형 예:
- 최신 소속/역할처럼 시간에 민감한 사실
- Named Entity 사실 날조
- 상대적 현재성(
지금,현재) 누락 - 검색 실패를 비존재로 단정하는 오류
Hard gate 개념은 unsupported claim leakage와 evidence-claim consistency다. 대화 품질을 이유로 deterministic gate를 계속 쌓지 않는 원칙과 같이 간다.
External-action E2E validation — Implemented
Runtime governed path는 승인 payload hash가 맞을 때만 외부 write를 수행한다. GitHub 자격 증명이 없으면 Mock Mode로 안전하게 돈다.
E2E가 보는 것:
- credential profile에 따른 CODE / WEB 경로
- evidence dependency가 필요한 질의
- repository review와 승인 기반 issue 생성의 fail-closed 동작
MCP protocol interoperability tests — Implemented
Companion 프로젝트 govail-mcp는 공개 저장소다. wire protocol은 official rmcp에 맡기고, GoVail MCP는 envelope·error·capability 계약을 테스트한다.
이 테스트가 지키는 것: MCP가 앱 DB나 workflow 엔진이 되지 않을 것.
의도적으로 검증하지 않는 것
- 모델 벤치마크 점수. GoVail은 더 똑똑한 모델을 대체하지 않는다.
- Scanner를 Core 경로의 전제로 두는 테스트. Scanner는 현재 Core가 아니다.
- 중앙 Memory를 모든 앱의 상태 저장소로 쓰는 시나리오.
상태 구분
| 항목 | 상태 |
|---|---|
| CODE / WEB Execution Profile | Implemented |
| Router Execution Boundary | Implemented |
| Evidence adversarial suite | Implemented |
| Governed GitHub Issue write | Implemented (자격 증명 없으면 Mock) |
| MCP contract kit | Implemented |
| 중앙 Memory를 Core RAG로 사용 | Experimental / 전역 비활성 |
| Scanner 기반 정책 생성 | Archived from Core |
소스의 상당수는 GitHub Organization 내부 저장소에 있다. 공개로 바로 따라갈 수 있는 검증 코드는 govail-mcp다. 설계 판단의 공개 기록은 이 사이트와 Engineering Log다.