Files
sodalive-android/docs/20261019_스킬_오케스트레이션_우선순위_자동화/scenario-validation.md
T

10 KiB

스킬 라우팅 논리 시나리오 검증

검증 범위

  • 입력은 사용자의 이번 요청 §7에 있는 아홉 문장을 그대로 사용한다.
  • 실제 기능 개발·스킬 워크플로 실행·권한 변경은 하지 않는다.
  • 검증 대상은 프로젝트 Markdown 정책의 분류·주 책임·전달·중복 방지·호출 제한이다.
  • Codex/OpenCode 런타임 로딩·자동 호출은 미검증이다. 아래 문서 판정을 런타임 성공으로 해석하지 않는다.

변경 전 기준선: 2026-10-19

기존 AGENTS.md의 안전·PRD·테스트·이슈·도메인 안내는 존재한다. 다음 누락·충돌은 자동 라우팅 정책의 부족이며 기능 테스트 실패를 뜻하지 않는다.

ID 원문 시나리오 기존 정책의 누락·충돌
S1 사용자 로그인 기능을 만들어줘. 명시 요청만 브레인스토밍을 허용하여 신규 기능의 기본 자동 설계 선택과 충돌
S2 요구사항이 아직 모호한 신규 서비스를 설계해줘. 인터뷰 요구는 있지만 brainstorming·deep-interview의 단일 책임과 전달 조건 없음
S3 결제 도메인의 용어와 상태를 정리해줘. 도메인 문서 안내는 있지만 domain-modeling 주 책임·선택 조건 없음
S4 이 모듈의 의존성 설계를 검토해줘. codebase-design의 좁은 검토와 설계·심층 검토의 분리 없음
S5 새로운 REST API를 설계해줘. 설계 프로세스와 API 전문 계약 검토의 책임 경계 없음
S6 인증 과정에 보안 취약점이 있는지 검토해줘. 비밀값 보호는 있지만 리뷰 프로세스와 보안 기준의 중복 방지 없음
S7 테스트에 실패하는 버그를 수정해줘. 테스트 원칙은 있지만 원인 진단→회귀 테스트→최소 수정의 스킬 연결 없음
S8 기존 코드베이스에서 구조 개선 후보를 찾아줘. 진단 스킬의 실제 명시 호출 제한 확인·일반 자동 라우팅 분리 없음
S9 기존 설계가 확정되었으니 구현을 계속해줘. 기존 작업 문서 재사용 규칙은 있지만 재설계 없이 이어갈 실행 스킬 선택 없음

변경 후 판정

설치·호출 근거 확인과 정책 수정 이후 아홉 시나리오를 다시 대조한다. 아직 변경 후 성공 판정을 내리지 않았다.

판정 기준과 예상 경로

현재 작성된 라우팅 정책의 기본 라우팅·실행 방식·여섯 중복 조합·호출 제약을 대조한다. 아래는 시나리오별 기대 경로이며, 최종 문서 검증 후 판정을 추가한다.

조건부 자동은 현재 하네스의 스킬 목록·권한·실제 선택 기능이 허용하고 설명이 요청과 맞을 때만 모델이 선택할 수 있다는 뜻이다. 명시 전용 플래그가 없는 것, Codex 플러그인의 설치·활성 상태, OpenCode 세션에서 스킬이 광고되는 것은 자동 호출 성공의 증거가 아니다. ask는 별도 접근 승인, deny는 실행 금지이며 사용자 명시 스킬 선택과 다르다. 추가 상위 지침이 적용되면 이 표보다 실제 하네스 제약을 우선한다.

ID 작업 분류 메인 스킬 필요한 보완 실행 순서 제외한 중복 자동 선택·사용자 승인 조건
S1 신규 인증 기능 brainstorming security-and-hardening, 실제 새 API 계약이 있으면 api-and-interface-design 기존 인증 조사 → 남은 설계·수용 기준 확정 → PRD·계획 → 승인된 실행·TDD → 리뷰·완료 검증 기본 deep-interview·grilling·구조 개선 리포트 조건부 자동. 인증 방식·보안 민감 변경의 미결 결정과 실제 구현 승인은 확인한다. 새 기능 요청을 병렬 작업·외부 연동의 포괄 승인으로 보지 않는다.
S2 신규 설계·요구사항 탐색 brainstorming 중요한 목표·범위·제약·완료 기준 공백에만 deep-interview 현황 조사 → 요구 탐색 하위 단계의 한 질문씩 → 결정 요약 → 남은 설계 선택·PRD → 승인 후 계획 두 인터뷰 루프 동시 실행, 이미 답한 질문 재진행, grilling 조건부 자동. 중요한 불확실성이 해소되고 설계 기준이 승인되기 전 임의 구현하지 않는다.
S3 도메인 용어·상태 모델 정리 domain-modeling 모듈 seam까지 실제 다룰 때만 codebase-design 용어집·관련 ADR·현재 코드 확인 → 용어·상태 관계 정리 → 확정 용어 기록, 조건에 맞는 ADR만 제안 불필요한 brainstorming·deep-interview·grilling·setup 조건부 자동. 용어 충돌과 중요한 새 결정만 질문한다. 코드 변경이나 전체 개발 루프를 시작하지 않는다.
S4 기존 모듈 의존성 설계 리뷰 requesting-code-review codebase-design 대상·범위 확인 → 의존성과 interface 조사 → 한 리뷰 절차로 근거·후보 보고 신규 설계 brainstorming, 자동 grilling·리팩터링·improve-codebase-architecture 조건부 자동. 검토 요청은 실제 리팩터링 승인과 다르며 변경이 필요하면 제안 후 확인한다.
S5 공개 REST API 계약 설계 brainstorming api-and-interface-design, 실제 보안·도메인 필요에만 관련 전문 스킬 소비자·기존 계약 조사 → 입출력·오류·호환성 계약 설계 → PRD·설계 승인 → 필요하면 구현 계획 모듈 seam과 관계없는 codebase-design, 중복 요구 인터뷰 조건부 자동. 계약·호환성의 중요한 미결 결정은 확인하며 설계 요청만으로 endpoint 구현·배포하지 않는다.
S6 인증 보안 리뷰 requesting-code-review security-and-hardening 인증 흐름·신뢰 경계 확인 → 읽을 수 있는 보안 본문·패턴으로 검토 → 근거·위험·검증 한계 보고 별도 일반 리뷰·보안 리뷰 루프 중복, brainstorming, 자동 수정·실제 공격 조건부 자동. 누락 체크리스트를 읽은 것으로 처리하지 않는다. 실제 인증 수정·공격 실험·민감 데이터 접근은 별도 범위·승인이 필요하다.
S7 테스트 실패 버그 수정 systematic-debugging 원인 확정 후 test-driven-development, 완료 시 verification-before-completion 실패 재현 → 근거·가설 검증 → 회귀 테스트 RED → 최소 수정 GREEN → 영향 회귀·완료 검증 일반 탐색 스킬의 별도 진단 루프, 새 기능 brainstorming, 재설계 인터뷰 조건부 자동. 기존 레거시 파일 변경이 불가피하면 저장소 규칙대로 먼저 확인한다. 범위 밖 리팩터링은 하지 않는다.
S8 구조 개선 후보의 읽기 전용 탐색 읽기 전용 조사와 codebase-design 용어를 실제 바꿀 때만 domain-modeling 대상·최근 변경 조사 → 깊이·locality·seam 근거로 후보 보고 → 실제 개선 범위 확인 improve-codebase-architecture의 자동 HTML 리포트·grilling, setup 조사·codebase-design은 조건부 자동. improve-codebase-architecture는 자동 금지이며 사용자가 해당 스킬을 명시 선택해야 한다. 단순 권한 승인은 명시 선택을 대신하지 않는다.
S9 확정 설계의 구현 재개 실행 방식에 맞는 executing-plans 또는 subagent-driven-development 하나 test-driven-development, 실제 작업의 전문 스킬, 완료 검증 기존 PRD·계획·진행 기록 확인 → 가용성·격리·ledger/script 전제 확인 → 첫 미완료 Task 재개 → 필요한 리뷰·완료 검증 brainstorming·deep-interview·grilling 재시작, 변경 없는 계획 재작성, 두 실행 스킬 동시 선택 조건부 자동. 실행 방식 선택·격리·main/master·스크립트 전제를 충족해야 한다. 기존 승인 결정을 재승인하지 않으며 병렬·다중 에이전트는 명시 범위·방식 승인 필요.

정책 범위의 예외 확인

  • S3는 도메인 모델 변경 자체가 요청이므로 domain-modeling이 해당 전문 작업을 소유한다. 모든 작업을 brainstorming으로 시작하지 않는다.
  • S4와 S6은 읽기 전용 리뷰가 요청이므로 하나의 리뷰 절차만 사용하고 구현을 시작하지 않는다.
  • S8의 일반 문장은 명시 호출 전용 스킬의 이름을 선택한 요청이 아니다. 자동 호출 제한을 우회하지 않고 허용된 일반 조사를 제공한다.
  • S9는 설계 승인만으로 실행 환경 전제와 호출 권한까지 충족했다고 가정하지 않는다. 단, 이미 확정된 설계의 질문을 다시 열지 않는다.
  • 이 표를 작성하기 위해 실제 로그인·결제·보안·버그·리팩터링 스킬을 실행하지 않았다.

최종 논리 검증 결과: 2026-10-19

위 “아직 변경 후 성공 판정을 내리지 않았다”는 기대 경로 작성 당시의 기록이다. 최종 AGENTS.md와 상세 정책을 다시 읽어 아래와 같이 판정했다.

ID 논리 판정 확인한 최종 정책 근거
S1 PASS 신규 설계의 brainstorming 주 책임, 인증·보안 전문 보완, 설계·실행 승인 구분
S2 PASS 중요한 요구 공백만 deep-interview 하위 단계로 전달, 질문·결정 재사용, 동시 인터뷰 금지
S3 PASS 도메인 모델 정리 자체는 domain-modeling이 담당, 읽기만 할 때 호출하지 않음
S4 PASS 기존 의존성 검토는 requesting-code-review와 codebase-design, 신규 설계·리팩터링 자동 시작 금지
S5 PASS 설계 프로세스와 API 공개 계약·호환성 기준의 분리
S6 PASS 한 리뷰 절차에 보안 기준만 보완, 누락 체크리스트 검증을 완료로 주장하지 않음
S7 PASS systematic-debugging 원인 확인 뒤 TDD, 일반 탐색은 보조, 완료 증거 필요
S8 PASS 읽기 전용 후보 탐색은 허용하되 명시 전용 improve-codebase-architecture를 자동 호출하지 않음
S9 PASS 기존 문서·첫 미완료 Task 재사용, 실행 스킬 하나만 선택, 격리·권한·도구 전제 확인

결과: 정책 논리 대조 9/9 PASS. 파일 검사로 원문·기대 경로 각각 아홉 행과 여섯 중복 조합의 존재도 확인했다. 행 수 검사는 표의 완전성 확인이며 선택 동작을 자동 실행한 테스트가 아니다. Codex/OpenCode에서 새 정책을 로드해 이 아홉 요청의 스킬을 실제 자동 호출하는 런타임 검증은 하지 않았다.