이번 주 백테스트 회고. 평균이 무너졌고, 최고 콤보는 정지했다

이번 주 백테스트 회고. 평균이 무너졌고, 최고 콤보는 정지했다

2026-05-23 · 백테스트 회고

이번 주 결과 한 줄

이번 주 백테스트에서 가장 먼저 눈에 들어온 건 그리드 평균 승률이 31.9%까지 내려왔다는 점이다. 지난 주 같은 그리드에서 66.7%를 찍었던 것과 비교하면 25.3%포인트 빠졌다. 매주 하던 9개 조합 그리드, 같은 임계값·청산 윈도우 조합에서 표본만 새로 받았는데 결과는 전혀 다른 그림이 되었다.

핵심 수치

이번 주 9개 조합, 7회 실행, 누적 시그널 1,145건을 다시 돌렸다. 그리드 평균 승률 31.9% (지난 주 66.7%, △-25.3%포인트), 평균 수익팩터 1.99 (지난 주 2.83, △-0.84), 평균 샤프 0.92 (지난 주 0.00 → 이번 주 0.92, 오히려 △+0.92). 샤프가 올라간 건 손익 변동성이 그만큼 잠잠해졌다는 뜻인데, 승률·수익팩터가 같이 떨어진 와중에 샤프만 오른다는 건 작은 수익이 일정하게 나오면서 큰 손실이 한두 번 끼었다는 신호로 읽힌다. 가중치 자동 적용은 이번 주에도 안 걸렸다. 안정성 기준을 못 넘었다는 시스템 판정이고, 이건 솔직히 합당하다.

최고 콤보 vs 그리드 평균

여기가 이번 주의 가장 중요한 포인트다. 최고 콤보는 thr=80_ew=10으로 승률 66.7%, 수익팩터 2.83을 찍었다. 시그널은 13건. 그리드 평균과 비교하면 승률 격차 +34.8%포인트, 수익팩터 격차 +1.15. 격차가 이렇게 벌어지는 건 정상이 아니다. 평소 같으면 +10~15%포인트 차이가 합리적이라고 봐왔는데, 이번엔 두 배 이상이다.

해석은 두 가지가 가능하다. 하나는 thr=80이라는 높은 임계값이 시장 변동이 줄어든 구간에서 더 정밀하게 골라낸 경우. 다른 하나는 시그널 13건이라는 작은 표본에 운이 잘 붙은 경우. 둘 중 어느 쪽인지 단정할 수 없다. 다만 그리드 평균이 31.9%까지 떨어진 상황에서 한 조합만 66.7%를 찍었다는 건, 그 한 조합을 실전에 쓰기엔 표본이 너무 얇다는 결론으로 자연스럽게 이어진다. 자동 가중치 적용이 보류된 것도 이 격차 때문일 것이다.

이번 주 새로 측정된 종목 글

7일 forward 측정이 1건만 잡혔다. AVPT에 대해 'cautious' 톤으로 작성한 'AVPT, 차트는 멈췄지만 재무는 단단하다'가 7일 뒤 +6.3%를 기록했다. 방향은 맞았지만 시스템은 'cautious' 톤이 양의 수익률을 예측한 것으로 보지 않기 때문에 적중 0건으로 집계됐다. 60일 누적으로 봐도 1건 중 0건, 평균 +6.3%. 표본이 1이면 어떤 결론도 못 낸다. 다음 주에 측정 대상 글이 더 쌓이길 기다리는 수밖에 없다.

90일 추세

90일 누적으로는 19회 실행, 평균 승률 57.4%, 평균 수익팩터 2.52, 평균 샤프 0.34, 자동 적용은 여전히 0회. 이번 주 숫자가 90일 평균 대비 한참 아래라는 게 분명하다. 이걸 회귀로 볼지, 추세 전환의 시작으로 볼지가 다음 주 관전 포인트다.

좋았던 것

샤프가 0.00에서 0.92로 올라간 건 의외였다. 수익 자체는 줄었어도 손익 분포가 평탄해졌다는 뜻이다. thr=80 같은 보수적 조합이 안정성을 어느 정도 확보한 흔적으로 본다. 그리고 자동 가중치 적용이 안 걸린 점. 시스템이 자기 한계를 인식하고 멈춰서는 능력은 이런 한 주에 가장 빛난다.

안 좋았던 것

그리드 평균 승률 31.9%는 그 자체로 쓸 수 있는 숫자가 아니다. 9개 조합 중 대부분이 평균을 깎아내렸다는 뜻이고, 정적 기록 (docs/STOCK_BACKTEST_RESULTS.md) 의 thr=60_ew=5 결과를 보면 승률 26.1%, AMZN·AAPL·NVDA·GOOGL 모두 승률 0%로 expire 처리된 거래가 압도적이다. 청산 윈도우 안에 목표가도 손절가도 못 닿고 끝나버린 시그널이 누적되고 있다는 신호.

의미

시장 환경은 변동성이 낮아진 구간으로 진입한 듯하다. 손절 8%, 목표 15%라는 비대칭 청산 기준이 변동성이 작을수록 expire 비중을 키운다. 이게 누적되면 승률이 구조적으로 깎인다. 모델 한계도 있다. composite_score ≥ 60이라는 임계값이 변동성 낮은 구간에서는 거짓 양성을 더 많이 끌어들이는 것으로 보인다. thr=80에서 격차가 벌어진 것도 같은 맥락이다.

다음 주 검증할 가설

첫째, thr=80 한 조합의 66.7%가 다음 주에도 유지되는지. 표본이 13건에서 25건 이상으로 늘었을 때 승률이 50% 위에 머문다면 outlier가 아니라는 근거가 된다. 둘째, expire 비중이 줄어드는지. 청산 윈도우를 5일에서 7일·10일로 늘렸을 때 expire가 target/stop으로 얼마나 옮겨가는지 확인해볼 가치가 있다. 셋째, AVPT 외 새 측정 글이 몇 건 쌓이는지. 저널 sentiment 정확도는 표본 한 자릿수에서는 의미 없는 숫자다.