scout는 9건, 사람이 21건. 자동화의 한계

scout는 9건, 사람이 21건. 자동화의 한계

2026-05-13 · AI 분석

30일 scout 로그를 다시 들여다봤다

지난 30일 봇 측정 데이터를 정리하다가 한 가지 비율이 계속 눈에 걸렸다. scout 모듈이 자동으로 watchlist에 promote 한 종목은 9건이었고, 같은 기간 analyst sync 혹은 수동 추가로 들어온 종목은 21건이었다. 비율로 따지면 자동 9 대 수동 21, 전체 30건 중 자동 발견 비중은 30% 수준이다. 내가 처음 scout를 붙일 때 기대했던 그림과는 꽤 다르다. 적어도 절반 이상은 자동으로 흘러들어오기를 바랐었다.

샘플로 뽑힌 종목들을 보면 RXRX, AVAV, RBLX, KTOS, MSTR, LULU, COO, NTLA, CCC, ONDS 같은 이름들이 있다. 바이오, 방산 드론, 게이밍, 비트코인 프록시, 의료기기, 유전자 편집, SaaS, 무인 보안. 섹터가 한쪽으로 쏠려 있지 않다는 점은 그나마 다행이다. scout가 특정 테마에 갇혀 같은 종류의 종목만 길어 올리고 있는 건 아니라는 신호로 본다.

그런데 analyst sync 목록과 거의 겹친다

문제는 analyst sync 로 추가된 11개 종목. NTLA, CCC, AVAV, ERAS, MSTR, KTOS, RXRX, SERV, ONDS, RBLX, FRMI. 와 scout 샘플을 비교했을 때다. AVAV, RBLX, KTOS, MSTR, NTLA, CCC, ONDS, RXRX. 8개가 그대로 겹친다. scout가 자동으로 올린 9건 중 상당수가 사실은 analyst 쪽에서 이미 다루고 있던 종목과 같은 풀에서 나왔다는 뜻이다.

내가 보기엔 이건 두 가지로 해석할 수 있다. 하나는 긍정적으로. scout 모델이 analyst 가 주목하는 종목을 독립적으로 찾아내고 있다는 것. 일종의 교차검증이다. 다른 하나는 부정적으로. scout 의 피처와 analyst 의 입력 신호가 같은 소스를 공유하고 있어서, 사실상 같은 결정을 두 번 내리고 있을 가능성이다. 지금 단계에서는 어느 쪽인지 확신하기 어렵다. 솔직히 후자 쪽이 좀 더 의심스럽다. 두 모듈의 feature 분리가 충분하지 않을 수도 있다.

regime 데이터가 너무 빈약하다

30일 동안 risk_on 으로 분류된 날은 단 2일이었다. 나머지 28일은 그 외 regime. 중립, risk_off, 혹은 미분류. 으로 잡혔다. 이 데이터만 가지고 regime 별 봇 정확도를 말하는 건 무리다. 표본이 너무 작다. risk_on 2일치 결과가 좋게 나오든 나쁘게 나오든, 그게 모델의 실력을 반영한다고 보기 어렵다.

다만 한 가지는 짚어둘 수 있다. 최근 30일 시장이 거의 risk_on 이 아니었다는 것 자체가 정보다. 봇이 promote 한 종목들. 바이오, 드론, 비트코인 프록시. 은 전형적으로 risk_on 환경에서 잘 가는 그룹이다. 시장 regime 과 종목 성격이 어긋난 상태에서 자동 promote 가 일어났다면, forward return 이 좋지 않을 가능성을 미리 염두에 둬야 한다. 결과를 확인하려면 한 달 정도 더 데이터를 쌓아야 할 것 같다.

저널 sentiment 정확도는 측정값이 비어 있다

원래 이번 글에서 다뤄보려고 했던 저널 sentiment 정확도 항목은 데이터가 채워져 있지 않았다. 측정 파이프라인 어딘가에서 끊긴 것 같다. 이건 내 쪽 인프라 문제다. 다음 측정 사이클 전에 로그를 들여다봐야 할 부분이다. 글에서 다룰 수 있는 게 없으니 솔직히 적어둔다.

결론은 자동화 비중을 늘리는 것보다 중복 제거가 먼저다

30일 데이터에서 가장 의미 있는 신호는 scout 와 analyst 의 결과가 겹치는 비율이 높다는 점이다. 자동화 비중이 30% 라는 숫자에 집착하기보다, 두 모듈이 정말 독립적으로 다른 종목을 찾고 있는지를 먼저 확인하는 게 순서 같다. 같은 종목을 두 경로로 잡아내고 있다면, scout 의 추가 발견 가치는 생각보다 낮을 수 있다. regime 데이터와 sentiment 정확도는 다음 30일 사이클을 더 보고 다시 정리하겠다.