1. 실험 개요
1차 실험에서 구현한 Spring Boot 인증 시스템을 기반으로, Refresh Token 관련 기능을 추가하면서 기본 Codex와 Harness를 적용한 Codex의 개발 효율성 및 기능 정확성을 비교한다.
1차 실험에서는 Harness가 더 많은 토큰과 시간을 사용했지만, 외부 기능 평가에서 더 높은 정확성을 보였다.
이번에는 토큰 회전, 재사용 탐지, 인증 세션 관리 등 상대적으로 복잡한 상태 관리 로직을 구현하도록 하여 동일한 경향이 나타나는지 확인한다.
2. 구현 요구사항
이번 실험에서는 기존 회원가입, 로그인 및 JWT 인증 기능을 유지하면서 다음 기능을 구현하도록 요청했다.
2.1 Refresh Token 발급
- 로그인 성공 시 Access Token과 Refresh Token을 함께 반환한다.
- Refresh Token은 JWT가 아닌 불투명한 랜덤 문자열을 사용한다.
- 최소 256비트의 안전한 난수를 사용한다.
- Refresh Token의 만료 시간은 14일이다.
- DB에는 Refresh Token 원문 대신 SHA-256 해시를 저장한다.
- 로그인할 때마다 독립적인 인증 세션을 생성한다.
2.2 Refresh Token 재발급
POST /api/auth/refresh를 구현한다.- 유효한 Refresh Token으로 새로운 Access Token을 발급한다.
- 새로운 Refresh Token도 함께 발급한다.
- 기존 Refresh Token은 즉시 무효화한다.
- 토큰 회전 이력을 관리한다.
2.3 Refresh Token 재사용 탐지
- 이미 사용된 Refresh Token의 재사용을 거부한다.
- 재사용이 감지되면 해당 인증 세션을 폐기한다.
- 폐기된 세션의 최신 Refresh Token도 사용할 수 없어야 한다.
- 다른 로그인에서 생성된 독립적인 세션은 유지한다.
2.4 로그아웃
POST /api/auth/logout을 구현한다.- 유효한 Refresh Token으로 로그아웃할 수 있다.
- 로그아웃 시 해당 인증 세션을 폐기한다.
- 다른 인증 세션에는 영향을 주지 않는다.
2.5 실험 범위
이번 단계에서는 순차적인 요청에 대한 토큰 회전 및 재사용 탐지만 구현한다.
동시 요청으로 발생하는 Race Condition, 원자성 및 Grace Period 정책은 3차 실험에서 다룬다.
3. 개발 효율성 비교
3.1 전체 측정 결과
| 측정 항목 | No Harness | Harness |
|---|---|---|
| 총 소요 시간 | 218초 | 246초 |
| Input Tokens | 597,633 | 1,847,838 |
| Cached Input Tokens | 563,840 | 1,731,456 |
| Output Tokens | 10,667 | 18,299 |
| Reasoning Output Tokens | 2,159 | 4,079 |
| 총 토큰 사용량 | 608,300 | 1,866,137 |
| 실행 종료 코드 | 0 | 0 |
| Codex 내부 전체 빌드 검증 | 미완료 | 미완료 |
| 로컬 Gradle 빌드 | 실패 | 성공 |
- Harness 토큰 사용량은 메인 오케스트레이터와 Planner, Generator, Evaluator의 사용량을 모두 합산한 값이다.
- Cached Input Tokens는 Input Tokens에 포함되며, Reasoning Output Tokens는 Output Tokens에 포함된다.
따라서 총 토큰 사용량은 Input Tokens + Output Tokens로 계산했다.
종료 코드 0은 Codex 실행이 정상 종료되었다는 의미이며, 기능 구현이나 빌드 성공을 의미하지 않는다.
3.2 시간 비교
- No Harness: 218초 (3분 38초)
- Harness: 246초 (4분 6초)
- 차이: 28초
Harness의 실행 시간은 약 12.8% 증가했다.
Harness에서는 계획 수립, 구현, 검증 및 독립 평가 단계가 추가되었다.
또한 Evaluator가 발견한 문제를 해결하기 위해 Generator에 한 차례 수정 작업을 재위임했다.
이러한 추가 작업이 실행 시간에 영향을 주었을 가능성이 있지만, 각 단계별 소요 시간을 측정하지 않았기 때문에 정확한 원인은 확정할 수 없다.
3.3 토큰 사용량 비교
- No Harness: 608,300 tokens
- Harness: 1,866,137 tokens
- 차이: 1,257,837 tokens
Harness는 약 206.8% 더 많은 토큰을 사용했다.
이는 No Harness 대비 약 3.07배에 해당한다.
1차 실험에서는 Harness의 토큰 사용량이 약 20.8% 증가했는데, 이번에는 두 환경의 차이가 훨씬 크게 나타났다.
다만 전체 입력 토큰 중 캐시된 토큰이 차지하는 비중이 높기 때문에, 토큰 사용량 증가율이 실제 API 비용 증가율과 일치하는 것은 아니다.
실제 비용을 비교하려면 각 모델의 입력·출력·캐시 토큰 단가를 별도로 반영해야 한다.
3.4 Harness 에이전트별 토큰 사용량
이번에는 Codex의 로컬 세션 로그를 이용해 각 에이전트의 사용량을 별도로 확인했다.
| 에이전트 | Input Tokens | Output Tokens | 총 토큰 | 비중 |
|---|---|---|---|---|
| Main Orchestrator | 769,694 | 5,562 | 775,256 | 41.5% |
| Planner | 122,552 | 1,612 | 124,164 | 6.7% |
| Generator | 615,362 | 7,923 | 623,285 | 33.4% |
| Evaluator | 340,230 | 3,202 | 343,432 | 18.4% |
| 합계 | 1,847,838 | 18,299 | 1,866,137 | 100% |
관찰 결과
이번 실험에서 가장 많은 토큰을 사용한 에이전트는 Main Orchestrator였다.
- Main Orchestrator: 41.5%
- Generator: 33.4%
- Evaluator: 18.4%
- Planner: 6.7%
1차 실험에서는 Generator가 전체 토큰의 약 61.1%를 사용했지만, 이번에는 Main Orchestrator의 사용 비중이 가장 높았다.
이번 실험에서는 메인 오케스트레이터가 검증을 여러 차례 시도했고, Evaluator의 피드백을 기반으로 Generator에게 수정 작업을 재위임했다.
이러한 오케스트레이션 과정이 토큰 사용량에 영향을 주었을 가능성이 있다.
다만 각 세부 작업별 토큰 사용량까지 분석한 것은 아니므로, 특정 작업이 사용량 증가의 직접적인 원인이라고 단정할 수는 없다.
4. 기능 정확성 비교
두 결과물에 동일한 외부 Python 평가 스크립트를 실행했다.
총 16개 평가 항목 중 13개는 HTTP API로 자동 평가했고, 나머지 3개는 별도 검증이 필요한 항목으로 분류했다.
4.1 외부 기능 평가 결과
| ID | 평가 항목 | No Harness | Harness |
|---|---|---|---|
| R01 | 로그인 시 Refresh Token 발급 | PASS | PASS |
| R02 | 로그인별 독립 세션 생성 | PASS | PASS |
| R03 | 정상 Refresh Token 재발급 | PASS | PASS |
| R04 | Refresh Token 회전 | PASS | PASS |
| R05 | 기존 Refresh Token 사용 거부 | PASS | PASS |
| R06 | 새 Access Token으로 내 정보 조회 | PASS | PASS |
| R07 | 유효하지 않은 Refresh Token 거부 | PASS | PASS |
| R08 | Refresh Token 누락 및 빈 값 거부 | FAIL | PASS |
| R09 | 만료된 Refresh Token 거부 | 미평가 | 미평가 |
| R10 | 재사용 탐지 시 해당 세션 폐기 | PASS | PASS |
| R11 | 재사용 탐지 후 다른 세션 유지 | PASS | PASS |
| R12 | 정상 로그아웃 | PASS | PASS |
| R13 | 로그아웃 후 재발급 거부 | PASS | PASS |
| R14 | 로그아웃 후 다른 세션 유지 | PASS | PASS |
| R15 | Refresh Token 해시 저장 | 미평가 | 미평가 |
| R16 | Refresh Token 보안 관리 | 미평가 | 미평가 |
4.2 자동 평가 결과
| 항목 | No Harness | Harness |
|---|---|---|
| PASS | 12 | 13 |
| FAIL | 1 | 0 |
| SKIP | 0 | 0 |
| MANUAL | 3 | 3 |
| 자동 평가 통과율 | 92.3% | 100% |
Harness의 자동 평가 통과율이 7.7%p 더 높았다.
다만 만료된 Refresh Token 처리, DB 해시 저장 및 난수·로그 보안 항목은 아직 별도로 검증하지 않았다.
따라서 이번 결과는 16개 전체 요구사항에 대한 최종 통과율이 아니라, 자동으로 검사한 13개 항목에 대한 통과율이다.
4.3 No Harness에서 발견한 문제
이번 실험에서 두 환경의 결과가 달랐던 항목은 R08이다.
R08: Refresh Token 누락 및 빈 값 거부
| 요청 | 기대 상태 코드 | No Harness | Harness |
|---|---|---|---|
| Refresh Token 누락 | HTTP 400 | HTTP 401 | HTTP 400 |
| Refresh Token 빈 문자열 | HTTP 400 | HTTP 401 | HTTP 400 |
공통 프롬프트에서는 Refresh Token이 누락되거나 빈 값이면 HTTP 400을 반환하도록 명시했다.
그러나 No Harness에서는 두 경우 모두 HTTP 401을 반환했다.
반면 Harness는 두 경우 모두 HTTP 400을 반환했다.
이는 1차 실험에서 No Harness가 회원가입 입력값 검증에 대해 HTTP 400 대신 401을 반환했던 문제와 유사하다.
다만 두 문제의 내부적인 원인이 동일한지는 코드 분석을 통해 추가로 확인해야 한다.
5. 기존 기능 회귀 테스트
2차 실험에서는 새로운 기능을 구현하면서 기존 인증 기능을 유지해야 한다는 요구사항이 있었다.
따라서 1차 실험에서 사용했던 외부 평가 스크립트를 다시 실행했다.
5.1 회귀 테스트 결과
| 항목 | No Harness | Harness |
|---|---|---|
| PASS | 11 | 14 |
| FAIL | 3 | 0 |
| MANUAL | 2 | 2 |
| 자동 평가 통과율 | 78.6% | 100% |
No Harness는 1차 실험에서 발견한 세 가지 입력값 검증 오류가 그대로 남아 있었다.
- 잘못된 이메일 형식
- 8자 미만 비밀번호
- 공백만 있는 이름
Harness는 기존 자동 평가 항목 14개를 모두 통과했다.
5.2 해석
두 환경 모두 2차 기능 구현 이후 기존 자동 평가 결과가 1차와 동일하게 유지되었다.
따라서 이번 테스트 범위에서는 새로운 기능으로 인한 추가적인 기존 기능 실패가 발견되지 않았다.
다만 No Harness에 존재했던 기존 입력값 검증 오류도 수정되지 않았다.
이는 2차 개발이 기존 기능의 오류를 자동으로 해결한 것은 아니라는 점을 보여준다.
6. 빌드 및 테스트 결과
6.1 No Harness
Codex 실행 중 Gradle 캐시와 로컬 소켓 접근 문제로 전체 Gradle 빌드 및 HTTP 통합 테스트를 완료하지 못했다.
대신 직접 Java 컴파일과 일부 비웹 통합 테스트를 수행했다고 보고했다.
이후 개발자 로컬 환경에서 ./gradlew clean build를 실행한 결과는 다음과 같다.
| 항목 | 결과 |
|---|---|
| 전체 테스트 | 10개 |
| 성공 | 8개 |
| 실패 | 2개 |
| 최종 빌드 | FAILED |
실패한 테스트는 다음과 같다.
1. AuthApiTests.signupRejectsInvalidInputs()
1차 실험에서도 실패했던 회원가입 입력값 검증 테스트다.
2. RefreshTokenApiTests.rejectsExpiredInvalidAndMissingTokens()
2차에서 새롭게 추가한 Refresh Token 검증 테스트다.
이 테스트 메서드에는 만료·유효하지 않은 토큰·누락 토큰 검사가 함께 포함되어 있으므로, 제공된 빌드 로그만으로 어떤 검증에서 실패했는지는 확정할 수 없다.
다만 외부 API 평가에서 Refresh Token 누락 및 빈 값 처리의 상태 코드 오류가 별도로 확인되었다.
최종 결과: BUILD FAILED
6.2 Harness
Harness 역시 Codex 실행 중에는 Gradle 권한과 로컬 소켓 접근 문제로 필수 검증 스크립트를 정상 완료하지 못했다.
따라서 Codex의 최종 상태는 BLOCKED로 보고되었다.
이후 개발자 로컬 환경에서 ./gradlew clean build를 실행했다.
결과:
compileJava성공compileTestJava성공test성공check성공build성공
최종 결과: BUILD SUCCESSFUL
6.3 결과 비교
| 항목 | No Harness | Harness |
|---|---|---|
| Codex 내부 전체 빌드 | 환경 문제로 미완료 | 환경 문제로 미완료 |
| 로컬 Gradle 빌드 | 실패 | 성공 |
| 로컬 테스트 | 10개 중 2개 실패 | 전체 통과 |
| 최종 결과 | BUILD FAILED | BUILD SUCCESSFUL |
두 조건 모두 Codex 내부에서는 Gradle 검증이 환경 제약으로 중단되었다.
그러나 동일한 개발자 로컬 환경에서 실행한 결과, Harness는 빌드에 성공했고 No Harness는 테스트 실패로 빌드에 성공하지 못했다.
따라서 AI가 보고한 완료 상태와 실제 결과물의 검증 결과를 구분할 필요가 있다.
7. Harness 오케스트레이션 분석
이번 실험에서는 Planner, Generator, Evaluator가 실제로 실행되었으며, Evaluator의 피드백으로 코드가 수정되는 과정도 확인할 수 있었다.
7.1 작업 진행 과정
- Planner가 기존 인증 코드와 테스트 구조를 분석했다.
- 토큰 저장, 세션 관리 및 재사용 탐지에 대한 구현 계획을 수립했다.
- Generator가 Refresh Token 기능과 통합 테스트를 구현했다.
- Main Orchestrator가
./scripts/verify.sh를 실행했다. - Gradle 실행 환경 문제로 필수 검증에 실패했다.
- Evaluator가 구현 코드를 독립적으로 검토했다.
- Evaluator가 Access Token 발급 과정의 문제를 발견했다.
- Generator가 해당 문제를 수정하고 테스트를 보강했다.
- Evaluator가 수정 결과를 다시 검토했다.
- 최종적으로 Critical/Major 문제가 남아 있지 않다고 보고했다.
수정 재위임: 1회
7.2 Evaluator가 발견한 문제
Evaluator는 Access Token 발급 과정에서 다음 문제를 발견했다.
동일한 초에 발급된 JWT가 동일한 문자열이 될 가능성
JWT는 Header, Payload, Signature로 구성된다.
두 JWT의 Header와 Payload가 동일하고 같은 서명 키를 사용한다면 최종 토큰 문자열도 같아질 수 있다.
기존 JWT에 발급 시각(iat)과 만료 시각(exp) 등이 초 단위로 기록되고, 다른 값이 동일하다면 같은 초에 발급된 JWT가 동일해질 가능성이 있다.
Evaluator는 이러한 가능성을 발견하고 Generator에게 수정을 요청했다.
Generator는 Access Token마다 고유한 jti를 추가하고 관련 테스트를 보강했다.
7.3 관찰 결과
이번 사례에서는 Evaluator가 단순히 구현 완료 여부를 확인하는 데 그치지 않고, 실제 개선할 부분을 찾아 수정 작업으로 연결했다.
이는 역할을 분리한 독립 평가 과정이 코드 품질 개선에 기여할 가능성을 보여준다.
다만 공통 프롬프트에는 재발급된 Access Token이 기존 토큰과 반드시 다른 문자열이어야 한다는 조건이 명시되어 있지 않았다.
따라서 이번 수정은 추가적인 품질 개선 사례로 기록하되, 사전에 정의한 외부 기능 평가 점수에는 포함하지 않았다.
8. 1차 및 2차 실험 비교
8.1 전체 결과
| 측정 항목 | 1차 No Harness | 1차 Harness | 2차 No Harness | 2차 Harness |
|---|---|---|---|---|
| 실행 시간 | 267초 | 338초 | 218초 | 246초 |
| 총 토큰 | 1,661,808 | 2,007,332 | 608,300 | 1,866,137 |
| Harness 토큰 증가율 | - | +20.8% | - | +206.8% |
| Harness 시간 증가율 | - | +26.6% | - | +12.8% |
| 자동 기능 평가 | 11/14 | 14/14 | 12/13 | 13/13 |
| 자동 평가 통과율 | 78.6% | 100% | 92.3% | 100% |
| 로컬 Gradle 빌드 | 실패 | 성공 | 실패 | 성공 |
2차 기능 평가 점수는 2차 신규 요구사항에 대한 평가이며, 1차 회귀 테스트 점수는 포함하지 않았다.
8.2 개발 효율성
두 실험 모두 Harness가 더 많은 토큰과 시간을 사용했다.
하지만 증가 폭에서는 차이가 있었다.
1차 실험
- 토큰 사용량: +20.8%
- 실행 시간: +26.6%
2차 실험
- 토큰 사용량: +206.8%
- 실행 시간: +12.8%
2차에서는 토큰 사용량이 크게 증가했지만, 실행 시간의 증가 폭은 오히려 줄었다.
이는 토큰 사용량과 실제 작업 시간이 항상 비례하지는 않는다는 점을 보여준다.
멀티 에이전트의 병렬 실행 여부, 캐시 활용, 모델 응답 속도 및 도구 실행 시간 등이 영향을 미쳤을 가능성이 있다.
다만 현재 측정 데이터만으로 구체적인 원인을 확정할 수는 없다.
8.3 기능 정확성
두 실험 모두 Harness가 더 높은 자동 기능 평가 통과율을 기록했다.
1차 실험
- No Harness: 78.6%
- Harness: 100%
2차 실험
- No Harness: 92.3%
- Harness: 100%
특히 두 실험 모두 No Harness에서 입력값 검증과 관련된 HTTP 상태 코드 문제가 발견되었다.
반면 Harness는 두 실험의 자동 평가 항목을 모두 통과했다.
또한 2차에서는 Evaluator가 독립적인 코드 검토를 통해 문제를 발견하고 수정까지 연결한 사례가 확인되었다.
8.4 종합 관찰
현재까지 두 차례의 실험에서는 다음과 같은 경향이 관찰되었다.
- Harness는 더 많은 토큰을 사용했다.
- Harness는 더 긴 실행 시간을 필요로 했다.
- Harness는 외부 기능 평가에서 더 높은 통과율을 기록했다.
- Harness는 로컬 Gradle 빌드에서 모두 성공했다.
- 2차에서는 Evaluator의 피드백이 실제 코드 수정으로 이어졌다.
다만 두 번의 실험만으로 이러한 경향이 항상 유지된다고 결론 내릴 수는 없다.
9. 실험의 한계
이번 실험에서 고려해야 할 한계는 다음과 같다.
9.1 제한된 반복 횟수
각 조건을 한 번씩만 실행했으므로 결과의 재현성을 확인하지 못했다.
동일한 조건으로 여러 번 반복할 경우 결과가 달라질 수 있다.
9.2 서로 다른 초기 코드
2차 실험은 각 환경의 1차 구현 결과물을 기반으로 진행했다.
따라서 두 조건의 시작 코드가 동일하지 않으며, 이번 결과에는 이전 구현의 품질 차이도 영향을 미칠 수 있다.
이번 비교는 동일한 코드에서 하네스만 변경한 실험이라기보다, 서로 다른 1차 결과물을 연속적으로 개발했을 때의 차이를 측정한 것이다.
9.3 일부 보안 항목 미평가
16개 항목 중 다음 세 항목은 별도로 확인하지 않았다.
- R09: 만료된 Refresh Token 거부
- R15: Refresh Token SHA-256 해시 저장
- R16: 안전한 난수 생성 및 민감정보 보호
따라서 모든 보안 요구사항이 충족되었다고 확정할 수는 없다.
9.4 Codex 실행 환경 제약
두 환경 모두 Codex 내부에서 Gradle 실행에 제약이 발생했다.
이는 코드 자체의 문제와 별개로 검증 과정에 영향을 주었다.
9.5 실제 비용 미측정
토큰 사용량은 확인했지만 실제 API 비용까지 계산하지는 않았다.
특히 캐시된 입력 토큰의 비중이 높으므로, 총 토큰 수만으로 비용 차이를 판단하기는 어렵다.
9.6 하네스 구성 요소별 효과 분리 불가
이번 Harness 환경에는 프로젝트 지침, 아키텍처 문서, 검증 스크립트 및 멀티 에이전트 오케스트레이션이 함께 적용되어 있다.
따라서 어떤 구성 요소가 결과 개선에 가장 크게 기여했는지 개별적으로 판단할 수 없다.
10. 결론
이번 2차 실험에서는 기존 Spring Boot 인증 시스템에 Refresh Token 발급, 회전, 재사용 탐지 및 로그아웃 기능을 추가하도록 동일한 요구사항을 전달했다.
개발 효율성 측면에서 Harness는 No Harness보다 약 12.8% 더 긴 실행 시간과 약 206.8% 많은 토큰을 사용했다.
반면 기능 정확성에서는 Harness가 외부 자동 평가 13개 항목을 모두 통과한 반면, No Harness는 12개 항목을 통과했다.
로컬 Gradle 빌드에서도 Harness는 성공했지만, No Harness는 10개의 테스트 중 2개가 실패해 빌드에 성공하지 못했다.
특히 이번 실험에서는 Harness의 Evaluator가 JWT 발급 과정의 문제를 발견하고 Generator에게 수정을 요청하는 과정을 확인할 수 있었다.
이를 통해 독립적인 평가와 수정 과정이 실제로 수행되었으며, 결과물의 품질 개선으로 이어질 가능성이 있다는 점을 관찰했다.
다만 이러한 결과를 얻기 위해 Harness는 훨씬 많은 토큰을 사용했다.
따라서 이번 결과는 하네스가 개발을 무조건 더 빠르거나 저렴하게 만드는 도구라기보다는, 추가적인 리소스를 사용하여 구현의 정확성과 검증 과정을 강화하는 방식일 수 있음을 보여준다.
물론 두 차례의 실험만으로 일반적인 효과를 확정할 수는 없다.
3차 실험에서는 동시성 제어와 Race Condition 해결을 요구하여, 더 복잡한 문제에서도 이러한 경향이 유지되는지 확인할 예정이다.
11. 느낀 점
확실히 메인 오케스트레이터와 각각의 Planner, Generator, Evaluator 서브 에이전트를 호출하니
그냥 단일 에이전트를 사용하는 것보다 토큰이 훨씬 더 많이 들고 있다.
대신 Evaluator가 있어서 프롬프트에 작성된 요구사항이 만족되지 않는 상황이 발생하거나
미처 생각하지 못했던 문제를 발견해주니까 확실히 편하긴 하다.
개발자 입장에서는 여러 번 대화할 필요 없이 한 번의 프롬프트와 더블 체크 정도면 되니까.
뭐랄까 1인 스타트업 기업에서 혼자 개발을 하다가, 잘 꾸려진 개발팀에 들어갔더니
꼼꼼하게 피드백해주는 사람이 있어서 시간과 노력이 더 들지만 그만큼 꼼꼼한 코드가 나오는 느낌 ?
요즘 이 유행 다 지난 하네스 엔지니어링 테스트를 해보겠다고 정신 없이 이것저것 찾아보고 있는데
조금 더 빨리 공부해볼 걸 그랬다.
하네스 엔지니어링을 통해서 PM과 개발자, 그리고 코드 리뷰 해주는 시니어 개발자가
내 프로젝트를 함께 개발하고 있는 느낌이라 코덱스 돌아가는 것만 봐도 재밌다.