Compare commits

...
2 Commits
4 changed files with 55 additions and 4 deletions
+1 -1
View File
@@ -110,7 +110,7 @@ tasks.withType<KotlinCompile> {
tasks.withType<Test>().configureEach {
useJUnitPlatform()
maxParallelForks = 1
forkEvery = 50
forkEvery = 300
systemProperty("spring.test.context.cache.maxSize", 4)
jvmArgs("-Dfile.encoding=UTF-8")
@@ -2,7 +2,7 @@
- 작성일: 2026-11-18
- 기준: [prd.md](prd.md)
- 상태: P7 Linux 메모리 관측 수정·86개 테스트·lint·root 구성 검증·리뷰 승인·정리 완료. 실제 Jenkins와 전체 suite 재실행은 미수행.
- 상태: P8 fork300 동일 힙 focused 비교·lint·리뷰 승인·정리 완료. 실제 Jenkins와 전체 suite 재실행은 미수행.
- 활성 Goal: 없음
## P1-T1: 실패 원인 재현과 최소 테스트 수정
@@ -253,6 +253,44 @@
- XML로 기존 정책 58개와 Linux 회귀 28개 모두 failures/errors/skipped 0을 확인했다. `git diff --check` 통과, 소유 테스트 worker 없음 확인. 임시 노트·owned root는 제거하며 기존 Gradle/IDE 프로세스는 건드리지 않는다.
- 독립 P7 리뷰 APPROVE: Linux kB 파싱, recognized quota/host pressure 제한, zero 보존, 기존 비율 정책 유지와 원격 미검증 한계를 확인했다. 노트·owned root 삭제와 부재 확인 완료. commit/push는 수행하지 않았다.
## P8: worker 재시작 비용 조정
- 사용자 관측: Jenkins `available estimate=5152 MiB, workers=1, maxHeap=1932 MiB`, OOM 없음, 약 두 배 느림. 로컬에서도 비슷한 지연을 보고했다.
- Oracle 권고에 따라 먼저 `forkEvery=50→100`만 비교한다. cache4/parallel1/힙 비율은 그대로다. 무제한 재사용은 이전 4GiB 포화 증거 때문에 사용하지 않는다.
- Gradle8.1.1은 JUnit Platform의 실제 실행 테스트 수와 별도로 전달된 class candidate를 fork 카운터에 반영하므로 필터 실행에도 빈 worker가 생길 수 있다. 테스트 파일명 include로 후보를 임의 제외하지 않는다.
- [x] 현재 설정의 동일 focused 기준 실행/메모리/worker 비용 확보.
- [x] 교체 간격100만 적용하고 같은 1932MiB 조건으로 비교. 테스트 누락·실패·OOM 없어야 한다.
- [x] 이번 실험 채택 기준: worker 구간 10% 이상 단축, 최대 GC 후 힙 Xmx80% 이하, GC pause 비율5% 이하. 이 수치는 실험 판정 기준이지 보편적 보장은 아니다.
- [x] 필요 시에만 힙 비율을 별도 단계로 검토. 압박 근거가 없으면 확대하지 않는다.
- [x] 단일 리뷰, 측정 한계/실행 명령 기록, owned 자원 정리.
- 비교 범위: MainContentAllEndToEndTest, ContentOverviewEndToEndTest, ContentSeriesBannerServiceIntegrationTest, AdminTranslationSelectionContentsHttpIntegrationTest, AdminMemberServiceTest. 기존 25개에 문제 보고된 관리자 회원 테스트7개를 포함한다.
- 임시 init script는 root의 기존 doFirst 예산 산정 뒤 QA용 힙1932m을 지정한다. 실제 worker 실행 인자/GC MaxCapacity로 적용을 확인한다. 배포할 기본 힙 설정은 바꾸지 않으며 script는 종료 시 제거한다.
- 컴파일 비용은 전체 shell 시간과 별도로 기록하고, 성능 비교는 worker 첫 시작~마지막 종료 구간을 사용한다. 전체 suite 자동 실행 대신 직접 영향 범위 focused 검증을 수행한다. Jenkins 실제 전체 비교는 사용자 실행으로 남긴다.
### P8 측정 기록
- baseline 명령: `./gradlew --no-daemon --offline --max-workers=1 -I /var/folders/yh/8xsbvpsj5wg2qnxzxdp11_gm0000gn/T/opencode/fork-speed.Uj34CC/jenkins-heap.gradle test --tests '*MainContentAllEndToEndTest' --tests '*ContentOverviewEndToEndTest' --tests '*ContentSeriesBannerServiceIntegrationTest' --tests '*AdminTranslationSelectionContentsHttpIntegrationTest' --tests '*AdminMemberServiceTest' --console=plain`.
- `*AdminMemberServiceTest`는 CreatorAdminMemberServiceTest도 포함하여 실제 비교 범위는 6클래스/33개다. 동일 패턴을 그대로 유지해 전후 테스트 집합을 바꾸지 않는다.
- fork50 baseline: exit 0, shell 652초(기존 Kotlin/KAPT 재컴파일 포함). QA override가 실제 GC MaxCapacity 1932MiB로 적용됨을 확인했다. 33 tests/0 failures, Spring 시작6회.
- baseline worker PID 91319,91435,91443,91587,91596,91605,91613,91750,91759,91866,91874,91882,91891. worker 구간232.828초, GC pause2.695초(1.157%), Full GC0, 최대 GC 후 힙339MiB(17.547% Xmx). 모든 worker heap exit 기록이 있다.
- root `forkEvery`만 100으로 변경하여 다음 측정을 수행한다. 기본 힙 산정·캐시4·parallel1은 변경하지 않는다. 기존 H2 `SKIP LOCKED` 스케줄러 오류와 종료 중 Redis 재연결 경고가 baseline에서도 관측됐으며, 이번 설정 비교를 위해 숨기거나 별도 운영 로직을 수정하지 않는다.
- fork100 결과: 같은 1932MiB/동일6클래스33개 모두 통과. shell296초(컴파일 UP-TO-DATE)와 별도로 worker구간255.806초. worker7개지만 실제 Spring context를 띄운 worker는 여전히4개, 시작6회였다. GC pause2.859초(1.118%), FullGC0, 최대 GC 후 힙329MiB(17.029%). baseline보다 빠르지 않아 100은 채택하지 않는다. shell652→296초 차이는 재컴파일 포함 여부가 달라 최적화 효과로 사용하지 않는다.
- 다음 실험은 fork200이다. 100은 빈 worker만 줄이고 실제 Spring 기동 그룹을 합치지 못했으므로, bounded 간격을 한 단계 늘려 실제 기동 재사용 효과를 확인한다. baseline50과 동일 테스트·힙·cache·parallel 및 기존 채택 기준을 유지한다. GC 압박이 없어 힙 비율이나 cache 크기는 올리지 않는다. 이것을 전체 Jenkins의 안전성 보장으로 확대하지 않는다.
- fork200 결과: 33/33 통과, shell242초, worker4개(실제 Spring기동3개), worker구간213.198초. GC pause2.475초(1.161%), FullGC0, 최대 GC 후434MiB(22.464%). baseline 대비 약8.43% 단축으로10% 채택 기준에는 못 미친다. 테스트 집합과1932MiB cap은 동일하다.
- 마지막 교체 간격 후보로 fork300을 비교한다. 앞선 그룹 재사용 효과가 실제 기동 worker수에서 확인됐고 메모리 압박은 없어, 힙/cache 확대 없이 기동 그룹을 추가로 합치는 실험이다. 여전히 bounded이며 같은 기준을 적용한다. 300도 기준에 못 미치면 이번 간격 변경은 되돌리고 측정된 한계를 보고한다.
- fork300 결과: exit 0, shell204초, 동일33개 통과. worker3개(실제 Spring기동2개), worker구간181.903초. GC pause2.095초(1.152%), FullGC0, 최대 GC 후472MiB(24.431%). 모든 worker MaxCapacity1932MiB와 heap exit를 확인했다. baseline 대비 worker구간21.87% 단축으로 이번 focused 채택 기준을 충족했다.
- fork300을 채택하고 힙 산정·cache4·parallel1은 그대로 유지한다. 메모리 압박이 관측되지 않았으므로 힙60% 확대 실험은 하지 않는다. 기존 모든33개 case와 Spring 시작6회를 유지했고 파일 include/exclude나 테스트 삭제를 추가하지 않았다.
- 비교는 동일 Mac/JDK/CLI/heap에 대한 순차 단일 실행이다. 전체 shell652→204초에는 최초 컴파일 여부 차이가 있으므로 이 차이를 성능 향상으로 제시하지 않는다. worker구간의 관측 개선도 실제 Jenkins 전체 suite 또는 통계적 반복 성능을 보장하지 않는다.
| forkEvery | 테스트 | worker 수 | worker 구간 | GC pause 비중 | 최대 GC 후 힙 | Full GC |
|---:|---:|---:|---:|---:|---:|---:|
| 50 | 33 PASS | 13 | 232.828초 | 1.157% | 339MiB | 0 |
| 100 | 33 PASS | 7 | 255.806초 | 1.118% | 329MiB | 0 |
| 200 | 33 PASS | 4 | 213.198초 | 1.161% | 434MiB | 0 |
| 300 | 33 PASS | 3 | 181.903초 | 1.152% | 472MiB | 0 |
- 최종 설정의 `./gradlew --no-daemon --offline ktlintKotlinScriptCheck --console=plain` exit 0/11초. 전후 측정에 사용한 임시1932m override는 배포 코드에 포함하지 않는다.
- 독립 P8 gate APPROVE. 기능 diff 한 줄, 네 실행 GC 로그의 heap/worker/시간/정상 종료와 최종 XML 6클래스33개 통과를 대조했다. 21.87%는 이 로컬 focused 단일 비교의 관측값이며, 실제 Jenkins 전체 suite의 속도/OOM 또는 보편적 향상률로 주장하지 않는다.
- `git diff --check` 통과, 소유 테스트 worker 없음 확인. 임시1932m init script와 노트·owned root를 삭제한다. 기본 힙 산정은 기존 정책 그대로이며 commit/push는 수행하지 않았다.
## 커밋 전 검증 (2026-11-19)
- 사용자 `/commit-with-validation` 요청으로 P5/P6 변경을 커밋한다.
- `./gradlew --no-daemon --offline -p buildSrc test --tests 'buildlogic.TestHeapPolicyTest' --rerun ktlintCheck --console=plain` exit 0/9초. 정책 테스트를 재실행해 XML의 58 tests/0 failures/0 errors/0 skipped를 확인했다. buildSrc lint는 UP-TO-DATE였다.
@@ -262,3 +300,9 @@
- 사용자 `/commit-with-validation` 요청으로 Linux 메모리 관측 변경과 관련 문서를 커밋한다.
- `./gradlew --no-daemon --offline -p buildSrc test --tests 'buildlogic.*' --rerun ktlintCheck --console=plain` exit 0/8초. XML에서 기존 정책 58개와 Linux 회귀 28개, 총 86개 tests/0 failures/0 errors/0 skipped를 확인했다. buildSrc lint는 UP-TO-DATE였다.
- `git diff --check` 통과. 실제 Jenkins/Linux 환경 실행과 전체 앱 테스트는 미실행이며 사용자 전체 테스트 명령은 `./gradlew test`다.
## P8 커밋 전 검증 (2026-11-19)
- 사용자 `/commit-with-validation` 요청으로 worker 교체 간격 변경과 관련 문서를 커밋한다.
- `./gradlew --no-daemon --offline ktlintKotlinScriptCheck --console=plain` exit 0/9초, 모든 task는 UP-TO-DATE였다. `git diff --check` 통과.
- 기존 root 테스트 XML 6개에서 총 33 tests/0 failures/0 errors/0 skipped를 확인했다. 이번 커밋 검증에서는 focused 성능 비교를 반복하지 않았다.
- 실제 Jenkins 실행과 전체 앱 테스트는 미실행이며 사용자 전체 테스트 명령은 `./gradlew test`다.
@@ -1,7 +1,7 @@
# 번역 및 관리자 오디오 테스트 수정
- 작성일: 2026-11-18
- 상태: P7 Linux 메모리 관측 수정·86개 테스트·lint·root 구성 검증·리뷰 승인·정리 완료. 실제 Jenkins와 전체 suite는 P7 후 미실행.
- 상태: P8 worker 간격 조정·동일 힙 focused 비교·lint·리뷰 승인·정리 완료. 실제 Jenkins와 전체 suite는 P8 후 미실행.
- 구현 계획: [plan-task.md](plan-task.md)
## 목표와 범위
@@ -55,3 +55,8 @@
- Linux는 `/proc/meminfo`의 MemAvailable를 사용한다. JDK가 보고한 total memory가 proc MemTotal보다 작으면 JDK가 인식한 제한으로 판단하고, 그 free memory와 total memory를 넘지 않도록 가용량을 제한한다.
- cgroup v1/v2 파싱을 새로 만들지 않고 Java 17의 컨테이너 인식 API를 재사용한다. `UseContainerSupport` 비활성화·미지원/발견 실패·일부 상위 계층 제한은 JDK 인식 범위를 벗어날 수 있음을 명시한다.
- 고정 4GiB 하한을 복원하거나 힙 비율·캐시·worker 정책을 변경하지 않는다. 작은 실제 예산에서도 모든 테스트가 성공한다는 보장은 하지 않는다. 실제 Jenkins 성공 여부는 원격 재실행 전까지 미검증이다.
## 추가 승인: 안정성을 유지한 실행 속도 설정 조정
- 사용자가 Jenkins와 로컬에서 약 두 배 느려졌다고 보고하고 속도 설정 수정을 승인했다. Jenkins는 가용 5152MiB/worker1/힙1932MiB를 보고하며 OOM은 없다고 확인했다.
- 첫 실험은 worker 교체 간격 50→100만 변경한다. 캐시4·동시worker1·힙 산정은 유지해 효과를 분리한다. 단일 focused 비교로 실제 Jenkins 전체 속도를 보장하지 않는다.
- 기존 테스트 누락 없이 동일 범위와 실제 Jenkins 힙 1932MiB를 맞춘 로컬 비교를 수행한다. 메모리 압박이 확인될 때만 별도 힙 비율 실험을 검토한다. 무제한 JVM 재사용이나 근거 없는 병렬 확대는 제외한다.
+3 -1
View File
@@ -53,7 +53,7 @@
- 콘솔의 `Test heap:`에서 관측값·유효 worker 수·선택한 상한을 확인한다. task 시작 때 한 번 계산하며 교체된 worker도 동일한 상한을 사용한다. 메모리 부족 오류가 나면 다른 프로그램/중복 테스트를 정리한 뒤 다시 실행한다. 기존 `maxHeapSize`만 지워 Gradle 기본 512MB로 돌아가거나, 비율 옵션만 추가하는 방식은 사용하지 않는다.
- Linux는 `Test memory (Linux):`에 JVM total/free와 최종 가용량도 기록한다. Jenkins 메모리 문제를 조사할 때 이 줄과 `Test heap:`, 최초 OOM 전체 메시지를 함께 확인한다. 전체 빌드 명령의 `org.gradle.jvmargs`는 Gradle JVM 설정이며 테스트 worker heap과 별개다.
- 예를 들어 관측값 2,460,004,352 bytes와 worker 1개는 879MiB 힙을 선택한다. 4GiB 미만이라는 이유만으로 중단하지 않지만, 선택된 예산이 앱 테스트의 실제 메모리 요구량보다 작으면 JVM에서 OOM이 발생할 수 있다. 계산 성공을 전체 테스트 통과 보장으로 해석하지 않는다.
- 동시 worker 1개, Spring context 캐시 최대 4개, 50개 테스트 클래스마다 worker 교체는 유지한다. 클래스 수 기준이므로 단일 클래스의 과도한 사용까지 방지하지는 않는다. Gradle daemon heap과 테스트 worker heap은 별개다. 같은 저장소의 전체 테스트를 IDE와 CLI/에이전트에서 동시에 시작하지 않는다.
- 동시 worker 1개, Spring context 캐시 최대 4개, `forkEvery=300`을 사용한다. Gradle이 처리하는 class candidate 수 기준이므로 실제 테스트 개수와 같지 않으며, JUnit Platform 필터 실행에서도 빈 worker가 생길 수 있다. 단일 클래스의 과도한 메모리 사용까지 방지하지는 않는다. Gradle daemon heap과 테스트 worker heap은 별개다. 같은 저장소의 전체 테스트를 IDE와 CLI/에이전트에서 동시에 시작하지 않는다.
- 실행 콘솔의 `Test class:`는 클래스 시작 위치이며 완료 또는 성공 표시가 아니다. 최종 종료 코드와 `build/test-results/test/`의 해당 실행 XML을 함께 확인한다.
- GC 로그는 `build/test-gc/<task 이름>/gc-<PID>.log`에 기록한다. PID별 10MB 파일과 회전 로그 최대 3개를 사용한다. 오래된 실행 로그는 조사 후 정리한다.
- 후반에 진행이 멈추면 해당 worker PID의 `jstat -gcutil <PID>`와 GC 로그를 확인한다. Old 사용률이 높고 Full GC 시간만 증가하는 상태에서는 실행 제한만 늘리지 않는다. 타인이 시작한 worker는 승인 없이 종료하지 않는다.
@@ -75,6 +75,8 @@
별도의 테스트 heap 옵션은 필요하지 않다. Linux에서는 `Test memory (Linux):`와 `Test heap:` 두 로그를 함께 확인한다. 이 명령은 Jenkins/사용자의 전체 검증용이며 에이전트가 자동 실행하는 명령이 아니다.
빌드 시간이 길면 같은 명령에 `--profile`을 추가해 `build/reports/profile/`에서 컴파일과 테스트 시간을 구분한다. `forkEvery=300`은 1932MiB 힙에서 관련 33개 테스트의 로컬 비교를 거쳐 적용했으며, 실제 Jenkins 전체 suite의 시간·OOM 여부까지 보장한 값은 아니다. 재시작 간격을 추가로 늘리거나 힙/캐시/병렬 수를 함께 바꾸기 전에 해당 환경의 GC와 실행시간을 비교한다.
## AWS 의존성 확인
기존 SDK v1은 유지하고 Comprehend/Translate만 SDK v2 BOM `2.57.11`을 사용한다. 기본 동기 HTTP runtime은 전이 의존성이다.