Files

20 KiB

전체 스킬 오케스트레이션 재검증 보고서

1. 리뷰 정보

항목 내용
리뷰 대상 Phase 1 전체, ROUTE-001~009, P1-T1·P1-T2·P1-GATE
기준 현재 working tree와 HEAD의 차이. 시작 시 기존 7개 파일이 staged 상태였음
리뷰 일자 2026-10-19
리뷰어 Sisyphus 자체 검증, Oracle 독립 검토자 1명
기준 문서 ../prd.md, ../plan-task.md, ../research.md, ../scenario-validation.md
리뷰 상태 판정 완료: 문서 정책·설치·발견 APPROVE, 실제 자동 호출 미검증
후속 정정 상태 P1-R1에서 R-01 수정·검증 완료. §8 참조

2. 목적과 범위

체크리스트 네 개만이 아니라 사용자가 요청한 AGENTS 스킬 오케스트레이션 전체가 추가되었는지 확인한다. 전체 정책·작업 문서를 재읽고 현재 설치, 호출 제한, 실제 CLI 발견 결과와 아홉 논리 시나리오를 대조한다.

  • 포함: AGENTS.md, docs/agents/skill-routing.md, docs/agent-guides/work-plan-docs.md, 이 작업의 PRD·계획·조사·시나리오, 기존 이슈·도메인 안내와 현재 설치 스킬·참조.
  • 제외: 정책·앱 코드·전역 설정의 자동 수정, 실제 로그인·API·보안·버그·리팩터링 기능 실행, 설치·커밋·푸시.
  • 검증 층위: 문서 논리, 파일·메타데이터, 실제 CLI 발견, 실제 모델의 자동 선택을 구분한다. 마지막 항목은 미실행이며 다른 층위의 PASS로 대신하지 않는다.
  • 현재 트리의 문서·구성 검토이며 PR·브랜치 전환 리뷰가 아니므로 별도 worktree를 만들지 않는다.

3. 요구사항별 대조

요구사항 판정 근거
ROUTE-001 기존 지침·우선순위 조사 확인 현재 루트 외 적용 경로의 AGENTS·override·CLAUDE 부재 재확인, 전역 설정 존재 확인. AGENTS.md:10, research.md §3
ROUTE-002 설치·호출 정책 구분 확인 양쪽 Superpowers 소스 15개, 공유 Matt 5·Addy 6·deep 1 확인. OpenCode 실제 발견 27/27, Codex 플러그인 설치·활성. 아래 CLI 증거
ROUTE-003 deep-interview 전문·책임 확인 현재 127행 전문 재읽기. 한 질문, 중요 불확실성, 점수 휴리스틱·종료 예외와 파일 생성 지시 부재 확인. 상세 정책 §기본 라우팅
ROUTE-004 Superpowers 중심 단일 책임 확인 AGENTS.md:145, :147, :149, :152; 상세 정책 §적용 원칙·기본 라우팅
ROUTE-005 여섯 중복 조합 확인 상세 정책 §여섯 중복 조합 6개 행, 요청 유형별 전문 역할·우선순위·진입 조건 구분
ROUTE-006 명시 호출·권한·도구 제약 확인 두 Matt 스킬의 SKILL·OpenAI policy 모두 금지 확인. AGENTS.md:151, 상세 정책 §명시 호출·권한·플랫폼 차이
ROUTE-007 기존 지침 보존·최소 수정 확인 git diff HEAD -- AGENTS.md docs/agent-guides/work-plan-docs.md; 보호 대상 diff 없음, 기존 Issue tracker·Domain docs 유지
ROUTE-008 아홉 시나리오 논리 검증 확인 기존 원문 9개·기대 경로·판정 재대조. 아래 QA Q1~Q9. 실제 워크플로 실행은 하지 않음
ROUTE-009 출처·검증·제약 기록 확인 기존 조사 출처·이력 보존, 현재 CLI·설치·복구 결과를 이 보고서에 누적. 실제 자동 호출은 미검증으로 유지

4. 자체 QA와 실행 증거

환경과 원본 상태

  • 작업 위치: /Users/klaus/Develop/sodalive/Android/SodaLive.
  • 시작 시 git status --short --branch --untracked-files=all: main, origin 대비 ahead 125, 기존 정책 7개 파일이 staged. 이 검증은 index를 변경하지 않는다.
  • 최근 관련 기록: d4a46802 저장소 지침에 기존 스킬 설정 문서 연결. 아직 커밋되지 않은 오케스트레이션 문서는 HEAD가 아니라 현재 파일 자체를 검토했다.
  • 적용 경로 파일 확인: 현재 루트 AGENTS.md, 전역 ~/.config/opencode/opencode.json만 발견. 소스 범위 재귀 탐색도 AGENTS.md만 반환했다. 별도 worktree·생성물·의존성은 현재 적용 범위 밖이다.
  • wc -c AGENTS.md: 13224 bytes, 현재 Codex 기본 문서 한도 32 KiB 미만. 향후 추가 지침 합산까지 보증하지 않는다.

주요 명령과 실제 결과

  1. codex plugin list --json | jq '.installed | map(select(.name == "superpowers") | {pluginId,version,installed,enabled})'
[{"pluginId":"superpowers@openai-curated-remote","version":"6.4.2","installed":true,"enabled":true}]
  1. opencode debug --help, opencode debug skill --help로 실제 명령을 먼저 확인했다. 일반 파이프의 opencode debug skill | jq ...는 불완전 JSON 오류, PTY 출력에 바로 jq를 붙인 방식은 로그 혼합으로 파싱 오류가 났다. 전역 설정을 바꾸지 않고 PTY 출력의 ANSI·로그를 분리한 뒤 완결 JSON 배열만 파싱하여 성공했다.

실행은 NO_COLOR=1 script -q /dev/null opencode debug skill의 표준출력을 Node의 stdin 문자열 처리로 넘겼다. decoder는 ANSI escape와 CR을 제거하고 단독 [ 행부터 마지막 배열 종료 ]까지 JSON.parse한 뒤 아래 27개 이름의 존재를 검사했다. 파일을 읽거나 쓰는 스크립트를 설치하지 않았다.

total: 44
sampleKeys: name, description, location, content
target skills found: 27/27
missing: []

발견된 대상은 Superpowers 15개, Matt 5개, Addy 6개, deep-interview 1개다. 위치는 기존 조사 보고서의 두 Superpowers 캐시 및 ~/.agents/skills/<name>/SKILL.md와 일치했다. 이 목록은 등록·발견 증거이며 모델 자동 호출 결과가 아니다. 명시 전용 두 Matt 스킬도 발견 목록에는 존재하므로 발견 여부와 호출 허용을 혼동하지 않는다.

  1. 셸 test -s로 두 Superpowers 경로의 15개 정의 각각과 공유 스킬 12개를 검사했다. 모두 통과했다. 선택적 실행 전제를 확인하기 위해 다음 부속 파일의 존재도 검사했다.
PASS brainstorming/builder-check-prompt.md
PASS executing-plans/scripts/task-start
PASS executing-plans/scripts/task-done
PASS subagent-driven-development/scripts/sdd-workspace
PASS subagent-driven-development/scripts/review-package
PASS codebase-design/DEEPENING.md, DESIGN-IT-TWICE.md
PASS domain-modeling/GLOSSARY-FORMAT.md, ADR-FORMAT.md
PASS improve-codebase-architecture/HTML-REPORT.md

파일의 존재는 실행 호환성·격리·권한 충족의 증거가 아니므로 스크립트는 실행하지 않았다.

  1. rg -n '^name:|^disable-model-invocation:|^metadata:|opencode/autoinvoke|allow_implicit_invocation'으로 해당 Matt 정의·sidecar를 확인했다. improve-codebase-architecture, setup-matt-pocock-skills는 disable-model-invocation: true 및 allow_implicit_invocation: false를 유지한다. 세 모델 호출용 Matt sidecar는 표시 메타데이터만 있고, deep-interview는 본문에 명시 호출 금지 메타데이터가 없다.

  2. 복구한 네 문서는 ~/.agents/references/에 모두 존재하고 읽을 수 있으며 비어 있지 않다. 실제 ../../references/ 경로와 기존 보안·성능 패턴 문서의 ../../../references/ 경로도 통과했다. 직전 전체 본문 확인에서 Markdown 제목과 필요한 OWASP·destructive path·caching 섹션을 확인했다. upstream 특정 revision과의 전체 내용 일치는 검사하지 않았다.

  3. rg·셸 assertion은 다음 조건을 모두 통과했다: Agent skills 블록 1개, 중복 조합 6개, 기존 시나리오 판정 9개, 일반 조사 예외, 단계별 단일 책임, bootstrap 중복 로드 방지, domain-modeling의 직접 책임, 기존 의존성 검토와 신규 설계 분리, 인터뷰 동시 루프 금지, 중요 명확성 0.50 이하 guard, 명시 호출·권한 승인 구분, deny 우회 금지, 두 실행 스킬의 배타 선택, 첫 미완료 Task 재개, 자동 호출 보장 금지, gstack 금지.

  4. git diff HEAD --check: 종료 코드 0. git diff HEAD --exit-code -- app build.gradle settings.gradle gradle.properties .gitignore docs/agents/issue-tracker.md docs/agents/domain.md: 종료 코드 0. 정책 본문은 보존하고 이 계획·보고서만 검증 기록으로 갱신한다.

  5. ./gradlew tasks --all: 종료 코드 0, BUILD SUCCESSFUL in 2s, 1 actionable task: 1 executed. 기존 Gradle deprecated feature 경고는 그대로이며 이 명령은 앱 빌드·테스트나 스킬 자동 호출 검증이 아니다. 신규 리뷰 보고서의 줄 끝 공백 검사와 ../../agents/skill-routing.md, ../prd.md, ../scenario-validation.md의 실제 경로 검사도 통과했다.

  6. opencode debug config의 현재 병합 결과도 PTY·JSON 추출 방식으로 조회했다. 원본 전체 구성은 노출하지 않고 instructions, skills.paths, 전역·에이전트별 skill 권한과 tool 활성 필드만 출력했다. 결과는 instructions: [], Superpowers·Ponytail·i-have-adhd 경로 등록, 전역 및 조회된 에이전트의 명시적 permission.skill·tools.skill 설정 없음이다. 따라서 이 구성에서 별도 skill 거부나 tool 비활성 설정은 발견되지 않았다. 미설정 필드를 모든 상황의 실행 허가·자동 호출 증거로 간주하지 않는다. 기본 AGENTS 검색은 instructions 배열과 별도이므로 빈 배열이 루트 지침 누락을 뜻하지 않는다.

  7. 현재 도구로 계획·리뷰 Markdown 두 파일에 lsp_diagnostics를 실제 요청했다. 두 결과 모두 No LSP server configured for extension: .md였다. 따라서 이 재검증에서의 LSP 제한은 도구 자체 부재가 아니라 Markdown 서버 미설정이며, 진단 완료·오류 없음으로 주장하지 않는다. 서버나 전역 설정은 설치·수정하지 않았다.

아홉 시나리오 재대조

QA 원문 요청 기대 경로와 관찰된 문서 규칙 논리 판정 근거 artifact
Q1 사용자 로그인 기능을 만들어줘. brainstorming 주 설계, security 보완, 실제 계약이 있을 때 API 보완. 기준선·최종 정책 일치 PASS ../../agents/skill-routing.md §기본 라우팅, ../scenario-validation.md S1
Q2 요구사항이 아직 모호한 신규 서비스를 설계해줘. brainstorming 메인, 중요한 요구 공백만 deep-interview 하위 단계, 결정 재사용 PASS 같은 정책 §여섯 중복 조합, 시나리오 S2
Q3 결제 도메인의 용어와 상태를 정리해줘. domain-modeling이 전문 작업 담당. 불필요한 신규 기능 설계 루프 제외 PASS 같은 정책 기본 라우팅의 도메인 행, 시나리오 S3
Q4 이 모듈의 의존성 설계를 검토해줘. requesting-code-review와 codebase-design으로 읽기 전용 검토. 자동 리팩터링 제외 PASS 같은 정책 기존 의존성 행, 시나리오 S4
Q5 새로운 REST API를 설계해줘. brainstorming 설계, api-and-interface-design의 계약·호환성 보완 PASS 같은 정책 REST/API 행, 시나리오 S5
Q6 인증 과정에 보안 취약점이 있는지 검토해줘. 하나의 리뷰 절차에 security 기준 보완, 임의 수정·실제 공격 제외 PASS 같은 정책 §실행 방식과 인계·여섯 중복 조합, 시나리오 S6
Q7 테스트에 실패하는 버그를 수정해줘. systematic-debugging 원인 확인 후 TDD, 일반 탐색은 사실 수집 보조 PASS 같은 정책 버그·테스트 행, 시나리오 S7
Q8 기존 코드베이스에서 구조 개선 후보를 찾아줘. 읽기 전용 조사와 codebase-design. 명시 전용 improve 스킬 자동 호출 안 함 PASS AGENTS.md:150~151, 같은 정책 아키텍처·호출 제약, 시나리오 S8
Q9 기존 설계가 확정되었으니 구현을 계속해줘. 기존 계획 첫 미완료 Task, 실행 스킬 하나 선택, 전제 확인, 인터뷰·계획 재시작 안 함 PASS AGENTS.md:152~153, 같은 정책 §실행 방식과 인계, 시나리오 S9

추가 경계 대조: 이미 명확한 요청, glossary를 읽기만 하는 요청, 일반 아키텍처 문장의 명시 호출 오인, skill deny, 하위 에이전트·격리·스크립트 전제 미충족을 정책 문구와 대조했다. 모두 질문·권한·도구 전제를 우회하지 않도록 정의돼 있다. 이 역시 실제 모델 실행 테스트는 아니다.

기존 PASS 표의 개수 확인과 별도로, check_route 셸 함수에서 rg -q로 현재 상세 정책의 각 해당 행·전달 규칙을 검사했다. Q1~Q9 모두 PASS였다. 검사 대상은 신규 설계 책임자, 조건부 요구 인터뷰, 직접 도메인 책임, 기존 의존성 검토, REST 계약 보완, 단일 보안 리뷰, 디버깅→TDD, 일반 구조 조사와 명시 improve 분리, 기존 문서의 첫 미완료 Task 재개다. 이 검사는 정책 문구 회귀 검사이며 자연어 입력에 대한 실제 모델 라우팅 테스트가 아니다.

5. 발견 사항과 남은 검증

  • 승인 차단 수준의 확정 정책 구현 결함은 없다. 독립 검토에서 문서 인용의 경미한 오류 R-01을 확인했고 아래에 기록한다.
  • 원래 research.md:208, :241 및 과거 계획 로그의 Addy 누락 기록은 최초 조사 시점의 사실이다. 현재는 사용자가 복구했으며 이 보고서가 새 상태를 기록한다. 이전 검증 이력을 삭제하거나 현황이 여전히 누락이라고 재판정하지 않는다.
  • OpenCode CLI 출력의 파이프 파싱 문제는 PTY·JSON 추출 방식으로 우회해 발견 검증을 완료했다. 설치나 정책 파일을 수정하지 않았다.
  • 실제 자동 스킬 선택, Codex의 개별 스킬 선택 기록, 모든 스크립트 실행 호환성·승인 충족, 특정 upstream revision과의 설치본 완전 일치는 미검증이다. 원래 PRD의 비목표·조건부 정책과 일치하며 성공으로 합산하지 않는다.
  • 전역 Codex planner의 .omo/plans/·병렬 규칙은 선택 시 프로젝트 절차와 충돌할 수 있다. 실제 상위 지침을 AGENTS로 덮어쓸 수 없다는 제약은 유지하며 전역 수정은 하지 않는다.

6. 독립 검토자 판정

판정: APPROVE. 신뢰도: 높음. 범위: 문서 정책·설치 연결·발견 검증. 검토자 1명이 현재 working tree의 문서와 관련 설치 원문을 읽고, 아홉 논리 경로와 호출 제약을 대조했다. OpenCode의 대상 27/27 발견 및 Codex Superpowers 설치·활성 조회도 독립 재현했다.

  • ROUTE-001~008: 충족. ROUTE-009: 충족하되 R-01 Low 인용 오류 존재.
  • 실제 무인 모델 선택·호출은 INCONCLUSIVE/미검증이며 원래 비목표에 해당한다. 정책·설치 검증의 승인을 자동 호출 보증으로 확대하지 않는다.
  • Codex·OpenCode는 공통된 스킬 이름을 갖지만 본문이 완전히 같지는 않다. 예를 들어 OpenCode brainstorming의 builder-check 참조가 Codex 6.4.2 본문에 없다고 곧 누락으로 판단하지 않았다. 각 하네스의 실제 설치 원문을 읽는 정책이 필요하다.
  • 최초 조사 순서와 과거 전역 파일 무변경은 당시 로그에 근거하며 현재 조회만으로 과거 전체를 독립 증명하지 않는다. 검토자는 Gradle을 재실행하지 않았고 최신 BUILD SUCCESSFUL in 2s는 Sisyphus가 직접 확인한 결과다.

R-01: Addy 출처 lockfile의 인용 행 범위

  • 심각도: Low.
  • 상태: 확정, 수정 미실행.
  • 관련 요구사항: ROUTE-009 출처 추적 정확성.
  • 대상: research.md:109, research.md:207.
  • 관찰: 기록된 ~/.agents/.skill-lock.json의 Addy 행 범위 134-186은 현재 파일과 다르다. 직접 재읽은 현재 여섯 항목은 125-178행이며, 기존 범위는 API 스킬의 항목을 놓치고 Matt grilling 항목을 포함한다.
  • 영향: Addy 여섯 스킬의 설치·출처·발견은 별도로 확인돼 라우팅 동작에는 영향이 없다. 문서의 행 기반 근거 추적 정확성에 한정된다.
  • 권장 조치: 후속 문서 정정 시 현재 행 범위로 갱신하거나, 변동하는 행 번호 대신 여섯 스킬의 lockfile 키 이름과 source 값을 기준으로 인용한다.
  • 판정 기록: 2026-10-19 Oracle 발견, Sisyphus가 lockfile 118-195행을 직접 재읽어 확인.
  • plan 전환: 현재 요청은 검증이므로 원문·정책을 자동 수정하지 않는다. 수정 작업이 승인되면 기존 완료 Task를 다시 열지 않고 R-01·대상 파일·수정 범위·인용 검증을 포함한 별도 회귀 문서 Task를 먼저 추가한다.

7. 종료 판정

판정 항목 결과 근거
원래 요구사항 전체 문서 대조 충족 ROUTE-001~009 매핑, 독립 검토 APPROVE
아홉 논리 시나리오 충족 Q1~Q9 재대조·별도 정책 문구 검사 PASS
설치·호출 메타데이터·실제 발견 충족 양쪽 SP 소스·Matt/Addy/deep, OpenCode 27/27, Codex 설치·활성
발견 사항 판정 충족 승인 차단 결함 없음, R-01 Low 확정·수정 미실행
현재 복구 체크리스트 충족 네 개 본문·읽기·직접 및 패턴 문서 상대 참조 확인
실제 모델 자동 선택·호출 미검증 모델 기반 아홉 요청 실행을 하지 않음, 원래 비목표
정책·코드·전역 설정 보호 충족 검증 기록만 갱신, 보호 경로 diff 없음, 커밋·설치 없음

최종 결론: 문서 정책·설치 연결·발견 검증은 통과했으며, 승인 차단 수준의 확정 구현 결함은 없다. Low 문서 인용 오류 1건은 발견 사항으로 남긴다. 실제 모델 자동 호출 전체 검증 완료라는 표현은 사용하지 않는다.

8. 수정 후 검증 기록

R-01 1차 수정 검증: 2026-10-19

  • 상태: 수정 완료.
  • 사용자 승인·계획: 사용자의 수정 요청 후 plan-task.md에 P1-R1을 먼저 추가했다. 이전 완료 Task나 위 최초 발견·판정 기록을 다시 열거나 삭제하지 않았다.
  • 무엇을: research.md의 Addy 표와 출처 설명 두 곳에서 lines 134-186을 제거하고, lockfile의 여섯 스킬 키와 source: addyosmani/agent-skills 값으로 인용했다.
  • 왜: 현재 행 번호로 바꾸는 데 그치지 않고 lockfile 행 이동의 영향을 받지 않는 출처 기준을 사용한다.
  • 실제 source 검증 명령:
jq -e --argjson names '["api-and-interface-design","ci-cd-and-automation","frontend-ui-engineering","observability-and-instrumentation","performance-optimization","security-and-hardening"]' '. as $lock | ($names | length == 6) and all($names[]; . as $name | $lock.skills[$name].source == "addyosmani/agent-skills")' /Users/klaus/.agents/.skill-lock.json
  • 결과: true, 종료 코드 0. rg 부정 검색으로 조사 문서의 잘못된 행 범위 잔존이 없고 두 인용이 모두 키·source 기준임을 확인했다. git diff HEAD --check 통과, 조사 문서 diff는 인용 두 줄만 변경했다.
  • 기타 검증: ./gradlew tasks --all은 BUILD SUCCESSFUL in 1s, 종료 코드 0. Markdown 진단은 .md 서버 미설정으로 완료할 수 없으며 진단 통과로 간주하지 않았다.
  • 범위: 조사·계획·리뷰 문서만 수정했다. 스킬·AGENTS·전역 설정·앱 코드·Git index를 수정하는 명령은 실행하지 않았고 커밋하지 않았다.
  • 최신 판정: R-01은 수정·검증 완료다. 위 §6~7의 수정 미실행 표기는 최초 리뷰 당시의 기록이며, 현재 미해결 항목이라는 뜻은 아니다. 별도 새 독립 검토·실제 모델 자동 호출 검증은 이번 문서 정정에 포함하지 않았다.