백테스트 1주 회고. 표본은 늘었지만 자동 적용은 아직 멀었다

백테스트 1주 회고. 표본은 늘었지만 자동 적용은 아직 멀었다

2026-05-12 · 백테스트 회고

이번 주 결과 한 줄

이번 주 백테스트에서 평균 승률은 66.7%, 평균 손익비는 2.83으로 숫자만 보면 나쁘지 않게 찍혔다. 다만 샤프가 0.00에 머물러 가중치 자동 적용 조건은 또 통과하지 못했고, 90일 추세도 8회 실행 중 자동 적용 0회로 동일한 그림이 이어지고 있다.

핵심 수치

30일 윈도우 기준 총 9회 실행에 시그널은 1,152건이 쌓였다. 표본은 지난주 대비 확실히 두꺼워졌는데, 미국장 베스트 콤보로 뽑힌 thr=80_ew=10 조합의 시그널 수가 13건에 불과하다는 점이 마음에 걸린다. 임계값을 80까지 올리면 시그널이 거의 안 나오기 때문에, 승률 66.7%와 손익비 2.83은 표본 13건 위에 얹힌 숫자다. 통계적으로 안정됐다고 말하기 어려운 구간이다.

별도로 돌린 thr=60_ew=5 백테스트는 트레이드 222건이 쌓였는데 승률 23.5%, 손익비 1.27, 최대 낙폭 45.74%, 샤프 1.41이 나왔다. thr=60_ew=7은 200건에 승률 26.6%, 손익비 1.15, 낙폭 53.02%, 샤프 0.82. 임계값을 낮춰 표본을 늘리면 승률은 20%대로 주저앉고 낙폭이 절반 가까이 벌어지는 패턴이 그대로다.

저널 sentiment 60일 정확도는 이번 주 데이터가 비어 있어서 따로 판단을 미뤘다.

좋았던 것 / 안 좋았던 것

좋았던 쪽은 표본 누적이다. 30일 1,152 시그널, thr=60_ew=5에서 222 트레이드까지 확보되면서 ticker별 편차를 처음으로 의미 있게 들여다볼 수 있게 됐다. AMD는 19건에 승률 37.5%로 총 +43.68%, TSLA는 26건 50% 승률에 +19.65%, AMZN은 거의 만기 청산임에도 +31.16%로 의외의 기여를 했다.

안 좋았던 쪽이 훨씬 많다. 첫째, 샤프가 30일·90일 모두 0.00이라 자동 적용 게이트가 또 막혔다. 둘째, thr=60 구간에서 AMZN·GOOGL·MSFT·AAPL·NVDA의 winning trade가 0건이라는 점이 이상하다. 만기 청산으로 양수 PnL이 나오는데 target hit이 안 잡힌다는 건 +15% 목표가 5~7거래일 윈도우에서 거의 도달하지 않는다는 뜻이고, 사실상 수익이 시간을 끌어서 모인 결과다. 셋째, ORCL은 23건 중 10건이 stop loss에 걸려 -17.40%로 단독 손실 종목이 됐다. AVGO도 비슷한 구조다.

의미

시장 환경 쪽에서 보면 5월 들어 미국 빅테크가 큰 추세 없이 좁은 박스에서 진동하는 구간이 길었다. 그래서 +15% target은 거의 안 맞고, -8% stop만 간헐적으로 터지는 비대칭 결과가 나왔다고 본다. 그나마 만기 청산이 양수로 흘러준 덕에 평균 PnL이 살아남았는데, 이건 모델의 신호 품질이라기보다 시장이 좁게 우상향한 결과에 가깝다.

모델 한계도 또렷하다. 임계값 80에서는 시그널이 13건뿐이라 평가가 불가능하고, 60으로 내리면 승률이 20%대로 떨어진다. 손익비 1.15~1.27은 수수료·슬리피지 0.05%씩 양쪽으로 빠지는 구조에서 안전 마진이라 보기 어렵다. 낙폭 45~53%는 실거래에 그대로 가져가기 부담스러운 수치다. composite_score가 단기 5~7일 가격 움직임을 충분히 선행하지 못하고 있다는 게 가장 단순한 해석이다.

다음 주 검증할 가설

네 가지를 보려고 한다. 첫째, thr=70 구간을 추가해 60과 80 사이 빈 구간을 채운다. 시그널 수와 승률이 어디서 꺾이는지 곡선을 보고 싶다. 둘째, eval_window를 10일로 늘리면 target hit 비율이 의미 있게 올라오는지 본다. 현재 만기 청산이 70~85%인데 이게 윈도우 부족 때문인지 모델 한계인지 분리하고 싶다. 셋째, ticker별로 분리해 ORCL·AVGO처럼 손실에 치우친 종목은 제외한 서브셋 성과를 따로 잰다. 넷째, 샤프가 30일·90일 연속 0.00에 머무는 원인을 표준편차 산식부터 다시 확인한다. 시그널이 분산돼 있다면 0이 나올 수 없는데 계산 입력이 잘못됐을 가능성도 배제하지 않으려 한다.

자동 적용은 이번 주도 보류다. 표본은 늘렸지만 안정성 게이트를 통과할 근거는 아직 부족하다.