20 KiB
전체 스킬 오케스트레이션 재검증 보고서
1. 리뷰 정보
| 항목 | 내용 |
|---|---|
| 리뷰 대상 | Phase 1 전체, ROUTE-001~009, P1-T1·P1-T2·P1-GATE |
| 기준 | 현재 working tree와 HEAD의 차이. 시작 시 기존 7개 파일이 staged 상태였음 |
| 리뷰 일자 | 2026-10-19 |
| 리뷰어 | Sisyphus 자체 검증, Oracle 독립 검토자 1명 |
| 기준 문서 | ../prd.md, ../plan-task.md, ../research.md, ../scenario-validation.md |
| 리뷰 상태 | 판정 완료: 문서 정책·설치·발견 APPROVE, 실제 자동 호출 미검증 |
| 후속 정정 상태 | P1-R1에서 R-01 수정·검증 완료. §8 참조 |
2. 목적과 범위
체크리스트 네 개만이 아니라 사용자가 요청한 AGENTS 스킬 오케스트레이션 전체가 추가되었는지 확인한다. 전체 정책·작업 문서를 재읽고 현재 설치, 호출 제한, 실제 CLI 발견 결과와 아홉 논리 시나리오를 대조한다.
- 포함:
AGENTS.md,docs/agents/skill-routing.md,docs/agent-guides/work-plan-docs.md, 이 작업의 PRD·계획·조사·시나리오, 기존 이슈·도메인 안내와 현재 설치 스킬·참조. - 제외: 정책·앱 코드·전역 설정의 자동 수정, 실제 로그인·API·보안·버그·리팩터링 기능 실행, 설치·커밋·푸시.
- 검증 층위: 문서 논리, 파일·메타데이터, 실제 CLI 발견, 실제 모델의 자동 선택을 구분한다. 마지막 항목은 미실행이며 다른 층위의 PASS로 대신하지 않는다.
- 현재 트리의 문서·구성 검토이며 PR·브랜치 전환 리뷰가 아니므로 별도 worktree를 만들지 않는다.
3. 요구사항별 대조
| 요구사항 | 판정 | 근거 |
|---|---|---|
| ROUTE-001 기존 지침·우선순위 조사 | 확인 | 현재 루트 외 적용 경로의 AGENTS·override·CLAUDE 부재 재확인, 전역 설정 존재 확인. AGENTS.md:10, research.md §3 |
| ROUTE-002 설치·호출 정책 구분 | 확인 | 양쪽 Superpowers 소스 15개, 공유 Matt 5·Addy 6·deep 1 확인. OpenCode 실제 발견 27/27, Codex 플러그인 설치·활성. 아래 CLI 증거 |
| ROUTE-003 deep-interview 전문·책임 | 확인 | 현재 127행 전문 재읽기. 한 질문, 중요 불확실성, 점수 휴리스틱·종료 예외와 파일 생성 지시 부재 확인. 상세 정책 §기본 라우팅 |
| ROUTE-004 Superpowers 중심 단일 책임 | 확인 | AGENTS.md:145, :147, :149, :152; 상세 정책 §적용 원칙·기본 라우팅 |
| ROUTE-005 여섯 중복 조합 | 확인 | 상세 정책 §여섯 중복 조합 6개 행, 요청 유형별 전문 역할·우선순위·진입 조건 구분 |
| ROUTE-006 명시 호출·권한·도구 제약 | 확인 | 두 Matt 스킬의 SKILL·OpenAI policy 모두 금지 확인. AGENTS.md:151, 상세 정책 §명시 호출·권한·플랫폼 차이 |
| ROUTE-007 기존 지침 보존·최소 수정 | 확인 | git diff HEAD -- AGENTS.md docs/agent-guides/work-plan-docs.md; 보호 대상 diff 없음, 기존 Issue tracker·Domain docs 유지 |
| ROUTE-008 아홉 시나리오 논리 검증 | 확인 | 기존 원문 9개·기대 경로·판정 재대조. 아래 QA Q1~Q9. 실제 워크플로 실행은 하지 않음 |
| ROUTE-009 출처·검증·제약 기록 | 확인 | 기존 조사 출처·이력 보존, 현재 CLI·설치·복구 결과를 이 보고서에 누적. 실제 자동 호출은 미검증으로 유지 |
4. 자체 QA와 실행 증거
환경과 원본 상태
- 작업 위치:
/Users/klaus/Develop/sodalive/Android/SodaLive. - 시작 시
git status --short --branch --untracked-files=all:main, origin 대비 ahead 125, 기존 정책 7개 파일이 staged. 이 검증은 index를 변경하지 않는다. - 최근 관련 기록:
d4a46802저장소 지침에 기존 스킬 설정 문서 연결. 아직 커밋되지 않은 오케스트레이션 문서는 HEAD가 아니라 현재 파일 자체를 검토했다. - 적용 경로 파일 확인: 현재 루트
AGENTS.md, 전역~/.config/opencode/opencode.json만 발견. 소스 범위 재귀 탐색도AGENTS.md만 반환했다. 별도 worktree·생성물·의존성은 현재 적용 범위 밖이다. wc -c AGENTS.md: 13224 bytes, 현재 Codex 기본 문서 한도 32 KiB 미만. 향후 추가 지침 합산까지 보증하지 않는다.
주요 명령과 실제 결과
codex plugin list --json | jq '.installed | map(select(.name == "superpowers") | {pluginId,version,installed,enabled})'
[{"pluginId":"superpowers@openai-curated-remote","version":"6.4.2","installed":true,"enabled":true}]
opencode debug --help,opencode debug skill --help로 실제 명령을 먼저 확인했다. 일반 파이프의opencode debug skill | jq ...는 불완전 JSON 오류, PTY 출력에 바로 jq를 붙인 방식은 로그 혼합으로 파싱 오류가 났다. 전역 설정을 바꾸지 않고 PTY 출력의 ANSI·로그를 분리한 뒤 완결 JSON 배열만 파싱하여 성공했다.
실행은 NO_COLOR=1 script -q /dev/null opencode debug skill의 표준출력을 Node의 stdin 문자열 처리로 넘겼다. decoder는 ANSI escape와 CR을 제거하고 단독 [ 행부터 마지막 배열 종료 ]까지 JSON.parse한 뒤 아래 27개 이름의 존재를 검사했다. 파일을 읽거나 쓰는 스크립트를 설치하지 않았다.
total: 44
sampleKeys: name, description, location, content
target skills found: 27/27
missing: []
발견된 대상은 Superpowers 15개, Matt 5개, Addy 6개, deep-interview 1개다. 위치는 기존 조사 보고서의 두 Superpowers 캐시 및 ~/.agents/skills/<name>/SKILL.md와 일치했다. 이 목록은 등록·발견 증거이며 모델 자동 호출 결과가 아니다. 명시 전용 두 Matt 스킬도 발견 목록에는 존재하므로 발견 여부와 호출 허용을 혼동하지 않는다.
- 셸
test -s로 두 Superpowers 경로의 15개 정의 각각과 공유 스킬 12개를 검사했다. 모두 통과했다. 선택적 실행 전제를 확인하기 위해 다음 부속 파일의 존재도 검사했다.
PASS brainstorming/builder-check-prompt.md
PASS executing-plans/scripts/task-start
PASS executing-plans/scripts/task-done
PASS subagent-driven-development/scripts/sdd-workspace
PASS subagent-driven-development/scripts/review-package
PASS codebase-design/DEEPENING.md, DESIGN-IT-TWICE.md
PASS domain-modeling/GLOSSARY-FORMAT.md, ADR-FORMAT.md
PASS improve-codebase-architecture/HTML-REPORT.md
파일의 존재는 실행 호환성·격리·권한 충족의 증거가 아니므로 스크립트는 실행하지 않았다.
-
rg -n '^name:|^disable-model-invocation:|^metadata:|opencode/autoinvoke|allow_implicit_invocation'으로 해당 Matt 정의·sidecar를 확인했다.improve-codebase-architecture,setup-matt-pocock-skills는disable-model-invocation: true및allow_implicit_invocation: false를 유지한다. 세 모델 호출용 Matt sidecar는 표시 메타데이터만 있고, deep-interview는 본문에 명시 호출 금지 메타데이터가 없다. -
복구한 네 문서는
~/.agents/references/에 모두 존재하고 읽을 수 있으며 비어 있지 않다. 실제../../references/경로와 기존 보안·성능 패턴 문서의../../../references/경로도 통과했다. 직전 전체 본문 확인에서 Markdown 제목과 필요한 OWASP·destructive path·caching 섹션을 확인했다. upstream 특정 revision과의 전체 내용 일치는 검사하지 않았다. -
rg·셸 assertion은 다음 조건을 모두 통과했다: Agent skills 블록 1개, 중복 조합 6개, 기존 시나리오 판정 9개, 일반 조사 예외, 단계별 단일 책임, bootstrap 중복 로드 방지, domain-modeling의 직접 책임, 기존 의존성 검토와 신규 설계 분리, 인터뷰 동시 루프 금지, 중요 명확성 0.50 이하 guard, 명시 호출·권한 승인 구분, deny 우회 금지, 두 실행 스킬의 배타 선택, 첫 미완료 Task 재개, 자동 호출 보장 금지, gstack 금지. -
git diff HEAD --check: 종료 코드 0.git diff HEAD --exit-code -- app build.gradle settings.gradle gradle.properties .gitignore docs/agents/issue-tracker.md docs/agents/domain.md: 종료 코드 0. 정책 본문은 보존하고 이 계획·보고서만 검증 기록으로 갱신한다. -
./gradlew tasks --all: 종료 코드 0,BUILD SUCCESSFUL in 2s,1 actionable task: 1 executed. 기존 Gradle deprecated feature 경고는 그대로이며 이 명령은 앱 빌드·테스트나 스킬 자동 호출 검증이 아니다. 신규 리뷰 보고서의 줄 끝 공백 검사와../../agents/skill-routing.md,../prd.md,../scenario-validation.md의 실제 경로 검사도 통과했다. -
opencode debug config의 현재 병합 결과도 PTY·JSON 추출 방식으로 조회했다. 원본 전체 구성은 노출하지 않고instructions,skills.paths, 전역·에이전트별 skill 권한과 tool 활성 필드만 출력했다. 결과는instructions: [], Superpowers·Ponytail·i-have-adhd 경로 등록, 전역 및 조회된 에이전트의 명시적permission.skill·tools.skill설정 없음이다. 따라서 이 구성에서 별도 skill 거부나 tool 비활성 설정은 발견되지 않았다. 미설정 필드를 모든 상황의 실행 허가·자동 호출 증거로 간주하지 않는다. 기본 AGENTS 검색은instructions배열과 별도이므로 빈 배열이 루트 지침 누락을 뜻하지 않는다. -
현재 도구로 계획·리뷰 Markdown 두 파일에
lsp_diagnostics를 실제 요청했다. 두 결과 모두No LSP server configured for extension: .md였다. 따라서 이 재검증에서의 LSP 제한은 도구 자체 부재가 아니라 Markdown 서버 미설정이며, 진단 완료·오류 없음으로 주장하지 않는다. 서버나 전역 설정은 설치·수정하지 않았다.
아홉 시나리오 재대조
| QA | 원문 요청 | 기대 경로와 관찰된 문서 규칙 | 논리 판정 | 근거 artifact |
|---|---|---|---|---|
| Q1 | 사용자 로그인 기능을 만들어줘. | brainstorming 주 설계, security 보완, 실제 계약이 있을 때 API 보완. 기준선·최종 정책 일치 | PASS | ../../agents/skill-routing.md §기본 라우팅, ../scenario-validation.md S1 |
| Q2 | 요구사항이 아직 모호한 신규 서비스를 설계해줘. | brainstorming 메인, 중요한 요구 공백만 deep-interview 하위 단계, 결정 재사용 | PASS | 같은 정책 §여섯 중복 조합, 시나리오 S2 |
| Q3 | 결제 도메인의 용어와 상태를 정리해줘. | domain-modeling이 전문 작업 담당. 불필요한 신규 기능 설계 루프 제외 | PASS | 같은 정책 기본 라우팅의 도메인 행, 시나리오 S3 |
| Q4 | 이 모듈의 의존성 설계를 검토해줘. | requesting-code-review와 codebase-design으로 읽기 전용 검토. 자동 리팩터링 제외 | PASS | 같은 정책 기존 의존성 행, 시나리오 S4 |
| Q5 | 새로운 REST API를 설계해줘. | brainstorming 설계, api-and-interface-design의 계약·호환성 보완 | PASS | 같은 정책 REST/API 행, 시나리오 S5 |
| Q6 | 인증 과정에 보안 취약점이 있는지 검토해줘. | 하나의 리뷰 절차에 security 기준 보완, 임의 수정·실제 공격 제외 | PASS | 같은 정책 §실행 방식과 인계·여섯 중복 조합, 시나리오 S6 |
| Q7 | 테스트에 실패하는 버그를 수정해줘. | systematic-debugging 원인 확인 후 TDD, 일반 탐색은 사실 수집 보조 | PASS | 같은 정책 버그·테스트 행, 시나리오 S7 |
| Q8 | 기존 코드베이스에서 구조 개선 후보를 찾아줘. | 읽기 전용 조사와 codebase-design. 명시 전용 improve 스킬 자동 호출 안 함 | PASS | AGENTS.md:150~151, 같은 정책 아키텍처·호출 제약, 시나리오 S8 |
| Q9 | 기존 설계가 확정되었으니 구현을 계속해줘. | 기존 계획 첫 미완료 Task, 실행 스킬 하나 선택, 전제 확인, 인터뷰·계획 재시작 안 함 | PASS | AGENTS.md:152~153, 같은 정책 §실행 방식과 인계, 시나리오 S9 |
추가 경계 대조: 이미 명확한 요청, glossary를 읽기만 하는 요청, 일반 아키텍처 문장의 명시 호출 오인, skill deny, 하위 에이전트·격리·스크립트 전제 미충족을 정책 문구와 대조했다. 모두 질문·권한·도구 전제를 우회하지 않도록 정의돼 있다. 이 역시 실제 모델 실행 테스트는 아니다.
기존 PASS 표의 개수 확인과 별도로, check_route 셸 함수에서 rg -q로 현재 상세 정책의 각 해당 행·전달 규칙을 검사했다. Q1~Q9 모두 PASS였다. 검사 대상은 신규 설계 책임자, 조건부 요구 인터뷰, 직접 도메인 책임, 기존 의존성 검토, REST 계약 보완, 단일 보안 리뷰, 디버깅→TDD, 일반 구조 조사와 명시 improve 분리, 기존 문서의 첫 미완료 Task 재개다. 이 검사는 정책 문구 회귀 검사이며 자연어 입력에 대한 실제 모델 라우팅 테스트가 아니다.
5. 발견 사항과 남은 검증
- 승인 차단 수준의 확정 정책 구현 결함은 없다. 독립 검토에서 문서 인용의 경미한 오류 R-01을 확인했고 아래에 기록한다.
- 원래
research.md:208,:241및 과거 계획 로그의 Addy 누락 기록은 최초 조사 시점의 사실이다. 현재는 사용자가 복구했으며 이 보고서가 새 상태를 기록한다. 이전 검증 이력을 삭제하거나 현황이 여전히 누락이라고 재판정하지 않는다. - OpenCode CLI 출력의 파이프 파싱 문제는 PTY·JSON 추출 방식으로 우회해 발견 검증을 완료했다. 설치나 정책 파일을 수정하지 않았다.
- 실제 자동 스킬 선택, Codex의 개별 스킬 선택 기록, 모든 스크립트 실행 호환성·승인 충족, 특정 upstream revision과의 설치본 완전 일치는 미검증이다. 원래 PRD의 비목표·조건부 정책과 일치하며 성공으로 합산하지 않는다.
- 전역 Codex planner의
.omo/plans/·병렬 규칙은 선택 시 프로젝트 절차와 충돌할 수 있다. 실제 상위 지침을 AGENTS로 덮어쓸 수 없다는 제약은 유지하며 전역 수정은 하지 않는다.
6. 독립 검토자 판정
판정: APPROVE. 신뢰도: 높음. 범위: 문서 정책·설치 연결·발견 검증. 검토자 1명이 현재 working tree의 문서와 관련 설치 원문을 읽고, 아홉 논리 경로와 호출 제약을 대조했다. OpenCode의 대상 27/27 발견 및 Codex Superpowers 설치·활성 조회도 독립 재현했다.
- ROUTE-001~008: 충족. ROUTE-009: 충족하되 R-01 Low 인용 오류 존재.
- 실제 무인 모델 선택·호출은 INCONCLUSIVE/미검증이며 원래 비목표에 해당한다. 정책·설치 검증의 승인을 자동 호출 보증으로 확대하지 않는다.
- Codex·OpenCode는 공통된 스킬 이름을 갖지만 본문이 완전히 같지는 않다. 예를 들어 OpenCode brainstorming의 builder-check 참조가 Codex 6.4.2 본문에 없다고 곧 누락으로 판단하지 않았다. 각 하네스의 실제 설치 원문을 읽는 정책이 필요하다.
- 최초 조사 순서와 과거 전역 파일 무변경은 당시 로그에 근거하며 현재 조회만으로 과거 전체를 독립 증명하지 않는다. 검토자는 Gradle을 재실행하지 않았고 최신
BUILD SUCCESSFUL in 2s는 Sisyphus가 직접 확인한 결과다.
R-01: Addy 출처 lockfile의 인용 행 범위
- 심각도: Low.
- 상태: 확정, 수정 미실행.
- 관련 요구사항: ROUTE-009 출처 추적 정확성.
- 대상:
research.md:109,research.md:207. - 관찰: 기록된
~/.agents/.skill-lock.json의 Addy 행 범위134-186은 현재 파일과 다르다. 직접 재읽은 현재 여섯 항목은125-178행이며, 기존 범위는 API 스킬의 항목을 놓치고 Matt grilling 항목을 포함한다. - 영향: Addy 여섯 스킬의 설치·출처·발견은 별도로 확인돼 라우팅 동작에는 영향이 없다. 문서의 행 기반 근거 추적 정확성에 한정된다.
- 권장 조치: 후속 문서 정정 시 현재 행 범위로 갱신하거나, 변동하는 행 번호 대신 여섯 스킬의 lockfile 키 이름과 source 값을 기준으로 인용한다.
- 판정 기록: 2026-10-19 Oracle 발견, Sisyphus가 lockfile
118-195행을 직접 재읽어 확인. - plan 전환: 현재 요청은 검증이므로 원문·정책을 자동 수정하지 않는다. 수정 작업이 승인되면 기존 완료 Task를 다시 열지 않고 R-01·대상 파일·수정 범위·인용 검증을 포함한 별도 회귀 문서 Task를 먼저 추가한다.
7. 종료 판정
| 판정 항목 | 결과 | 근거 |
|---|---|---|
| 원래 요구사항 전체 문서 대조 | 충족 | ROUTE-001~009 매핑, 독립 검토 APPROVE |
| 아홉 논리 시나리오 | 충족 | Q1~Q9 재대조·별도 정책 문구 검사 PASS |
| 설치·호출 메타데이터·실제 발견 | 충족 | 양쪽 SP 소스·Matt/Addy/deep, OpenCode 27/27, Codex 설치·활성 |
| 발견 사항 판정 | 충족 | 승인 차단 결함 없음, R-01 Low 확정·수정 미실행 |
| 현재 복구 체크리스트 | 충족 | 네 개 본문·읽기·직접 및 패턴 문서 상대 참조 확인 |
| 실제 모델 자동 선택·호출 | 미검증 | 모델 기반 아홉 요청 실행을 하지 않음, 원래 비목표 |
| 정책·코드·전역 설정 보호 | 충족 | 검증 기록만 갱신, 보호 경로 diff 없음, 커밋·설치 없음 |
최종 결론: 문서 정책·설치 연결·발견 검증은 통과했으며, 승인 차단 수준의 확정 구현 결함은 없다. Low 문서 인용 오류 1건은 발견 사항으로 남긴다. 실제 모델 자동 호출 전체 검증 완료라는 표현은 사용하지 않는다.
8. 수정 후 검증 기록
R-01 1차 수정 검증: 2026-10-19
- 상태: 수정 완료.
- 사용자 승인·계획: 사용자의 수정 요청 후
plan-task.md에 P1-R1을 먼저 추가했다. 이전 완료 Task나 위 최초 발견·판정 기록을 다시 열거나 삭제하지 않았다. - 무엇을:
research.md의 Addy 표와 출처 설명 두 곳에서lines 134-186을 제거하고, lockfile의 여섯 스킬 키와source: addyosmani/agent-skills값으로 인용했다. - 왜: 현재 행 번호로 바꾸는 데 그치지 않고 lockfile 행 이동의 영향을 받지 않는 출처 기준을 사용한다.
- 실제 source 검증 명령:
jq -e --argjson names '["api-and-interface-design","ci-cd-and-automation","frontend-ui-engineering","observability-and-instrumentation","performance-optimization","security-and-hardening"]' '. as $lock | ($names | length == 6) and all($names[]; . as $name | $lock.skills[$name].source == "addyosmani/agent-skills")' /Users/klaus/.agents/.skill-lock.json
- 결과:
true, 종료 코드 0.rg부정 검색으로 조사 문서의 잘못된 행 범위 잔존이 없고 두 인용이 모두 키·source 기준임을 확인했다.git diff HEAD --check통과, 조사 문서 diff는 인용 두 줄만 변경했다. - 기타 검증:
./gradlew tasks --all은BUILD SUCCESSFUL in 1s, 종료 코드 0. Markdown 진단은.md서버 미설정으로 완료할 수 없으며 진단 통과로 간주하지 않았다. - 범위: 조사·계획·리뷰 문서만 수정했다. 스킬·AGENTS·전역 설정·앱 코드·Git index를 수정하는 명령은 실행하지 않았고 커밋하지 않았다.
- 최신 판정: R-01은 수정·검증 완료다. 위 §6~7의 수정 미실행 표기는 최초 리뷰 당시의 기록이며, 현재 미해결 항목이라는 뜻은 아니다. 별도 새 독립 검토·실제 모델 자동 호출 검증은 이번 문서 정정에 포함하지 않았다.