Research Quality Sector IC Memo

핵심 요약 및 Action Plan

한줄 결론

1개월 목표가는 만기 방향보다 경로상 도달에서 더 잘 맞았다. 목표가 도달은 8/11(72.7%)이었지만 방향 적중은 6/11(54.5%), 만기 종가의 제시 밴드 포함은 4/11(36.4%)였다. 표본이 11개뿐이고 방향 적중률의 95% Wilson 구간이 28.0~78.7%이므로, 현재 단계에서 예측력이 우수하다고 단정할 수 없다.

핵심 요약 (3줄)

점 예측: 목표가 절대백분율오차(APE)는 평균 8.73%, 중앙값 8.43%였다. FIS·ADSK·PODD가 가장 근접했고 LVS·SPCX·META의 오차가 컸다.
확률·밴드: Base 평균 확률은 49.3%였지만 만기 결과의 Base 최근접 앵커 빈도는 18.2%였다. 3분류 Brier 0.759는 균등확률 참조값 0.667보다 나빴다.
범위: 본 감사 메모를 제외한 기존 루트 IC 메모 411개 전체가 아니라, 구조화되고 만기가 지난 개별종목 1M 전망 11개만 엄격 점수에 포함했다. 3M·6M·12M 84개 행은 진행 중이다.

Action Plan

지금 필요한 것은 모델 교체가 아니라 다음 만기 코호트를 같은 규칙으로 누적하고, 가격 시각과 밴드 의미를 구조화 계약에 추가하는 일이다. 아래 작업은 점수의 재현성과 향후 포트폴리오 성과 연결을 우선순위로 정리한다.

우선순위	조치	완료 기준	예정 시점
P0	첫 3M 만기 코호트 재평가	2026-09-11~15 만기 행을 동일 코드·동일 기준으로 추가하고 기존 1M 결과를 재현	2026-09-16
P0	진입가 timestamp 계약 추가	신규 sidecar에 거래소 시간대, quote timestamp, raw/adjusted 구분을 필수화	다음 schema revision
P1	밴드 명목 coverage 선언	50%·80% 등 명목 구간과 가격 앵커를 분리해 coverage·Winkler score 계산 가능	다음 forecast generator revision
P1	예측 점수와 투자성과 분리	방향·Brier·coverage와 체결 기반 NAV·MDD·turnover를 별도 scorecard로 유지	paper run 1개 코호트 이후

1. 평가 범위와 분모

이번 감사는 서술형 문장을 임의로 숫자화하지 않고, 저장소에 이미 존재하는 구조화 전망만 사용했다. 아래 흐름은 왜 411개 메모 중 11개 만기 행만 headline score에 들어갔는지를 보여준다.

Loading diagram

분모를 넓혀 보이는 오류를 막기 위해 horizon_date <= 2026-08-28인 행만 만기 판정했다. 만기가 오지 않은 행은 현재 수익률과 목표가 거리를 추적할 수 있지만, hit/miss에는 포함하지 않았다.

2. 첫 만기 코호트 Scorecard

한 가지 적중률로 전망 품질을 요약하면 경로와 만기 결과가 섞인다. 따라서 방향, 경로상 목표가 도달, 만기 밴드 포함, 점 목표 오차를 분리해 해석했다.

지표	결과	해석
방향 적중률	54.5% (6/11)	95% Wilson CI 28.0~78.7%; 50% 대비 우위 단정 불가
목표가 도달률	72.7% (8/11)	일별 종가 경로가 목표가를 한 번이라도 통과
만기 밴드 포함률	36.4% (4/11)	명목 신뢰수준이 없어 과소 coverage 여부는 확정 불가
목표가 APE	평균 8.73% / 중앙값 8.43%	낮을수록 만기 종가에 근접
동일 기간 SPY 초과수익	평균 -0.54%p / 중앙값 +3.09%p	꼬리 영향이 크며 포트폴리오 수익률이 아님
최근접 앵커 3분류 Brier	0.759	낮을수록 우수; 균등확률 참조값 0.667

방향 적중 수와 실패 수는 거의 균형이다. 반면 목표가 도달은 더 높아, 단기 가격 경로의 레벨 포착과 만기 시점의 방향·밴드 캘리브레이션을 별도 문제로 다뤄야 한다.

Loading diagram

3. 종목별 결과

아래 표는 엄격 만기 표본 11개 전부를 숨김 없이 제시한다. 목표 도달은 경로 중 한 번이라도 목표가를 지난 경우이고, 밴드는 만기 종가가 하단·상단 밴드 안에 있는지를 뜻한다.

티커	예측 수익률	실현 수익률	방향	목표 도달	밴드	목표 APE	SPY 대비
ADSK	+3.00%	+5.32%	Hit	Yes	Inside	2.20%	+3.56%p
BKNG	+3.00%	+10.83%	Hit	Yes	Outside	7.06%	+9.07%p
BSX	+3.01%	-8.25%	Miss	No	Outside	12.27%	-10.01%p
EQT	+3.00%	-5.18%	Miss	No	Outside	8.63%	-6.94%p
FIS	+3.01%	+4.85%	Hit	Yes	Inside	1.75%	+3.09%p
LVS	+3.00%	-11.60%	Miss	No	Outside	16.52%	-13.37%p
META	+3.00%	+20.16%	Hit	Yes	Outside	14.28%	+18.40%p
NEM	+3.00%	-5.01%	Miss	Yes	Outside	8.43%	-6.77%p
PODD	+3.00%	+6.40%	Hit	Yes	Inside	3.20%	+4.64%p
PTC	+3.00%	+8.74%	Hit	Yes	Outside	5.27%	+6.97%p
SPCX	+0.65%	-13.55%	Miss	Yes	Inside	16.43%	-14.55%p

핵심은 방향과 오차를 함께 보는 것이다. META는 방향을 맞혔지만 상승 폭을 크게 과소추정했고, SPCX와 NEM은 목표가를 경로상 통과했으나 만기에는 반대 방향으로 닫혔다.

4. 시나리오 확률 캘리브레이션

시나리오 결과는 만기 종가를 bear/base/bull 가격 앵커 중 가장 가까운 곳에 귀속했다. 이는 명시적이고 재현 가능한 규칙이지만 사후 분류이며, 표본 11개로 안정적인 캘리브레이션 결론을 내리기에는 부족하다.

시나리오	평균 예측 확률	실제 최근접 빈도	차이
Bear	26.4%	45.5% (5/11)	+19.1%p
Base	49.3%	18.2% (2/11)	-31.1%p
Bull	24.4%	36.4% (4/11)	+12.0%p

초기 표본에서는 중앙 시나리오보다 꼬리 결과가 훨씬 자주 나타났다. 따라서 Base 확률을 자동으로 약 50%에 고정하는 관행보다 종목별 변동성과 이벤트 리스크를 반영한 확률 배분이 필요하다.

5. 가격·입력 데이터 품질

만기 표본 11개의 원문 진입가는 계산에 사용한 기준 종가와 모두 일치했고, 미국 종가의 Yahoo–Nasdaq 교차검증도 11/11 통과했다. 전체 적격 개별종목 보고서 28개로 넓히면 26개가 인접 일별 종가와 1% 이내였고, CBRS 2026-08-21과 SPCX 2026-06-18은 각각 1.05%, 1.70% 차이가 남았다.

검증 항목	결과	판정
만기 표본 원문 진입가 vs 기준 종가	11/11, 1% 이내	Pass
만기 표본 Yahoo vs Nasdaq 종가	11/11, 0.25% 이내	Pass
전체 적격 보고서 인접 종가 정합	26/28, 1% 이내	2건 timestamp 확인 필요
가격 캐시 수집 오류	0건	Pass

계산 가격은 Yahoo Finance의 raw Close를 동결했고 auto_adjust=False로 실행했다. Yahoo Finance ADSK 페이지는 2026-08-28 ADSK 종가 $260.66을 표시하며, Nasdaq historical data는 독립 종가 대조 경로로 사용했다. Nasdaq은 자사 historical-data 안내에서 일별 가격·거래량 이력을 제공한다고 설명한다.

6. 재현 방법과 한계

감사 코드는 원문 sidecar를 다시 읽고, 동결 가격 캐시를 사용해 같은 CSV·JSON을 재생성한다. 아래 명령은 외부 가격을 새로 호출하지 않으므로 이번 보고서와 동일한 기준일 결과를 재현한다.

uv run --project backend python backend/scripts/audit_report_predictions.py \
  --as-of 2026-08-28 \

이 분석은 예측 정확도 감사이지 실제 투자전략 백테스트가 아니다. 포지션 크기, 체결가, 거래비용, 손절, 현금 비중, 배당 재투자, 동시 보유 상관을 반영하지 않았으며, 대부분의 표본이 같은 보고일과 시장 레짐을 공유한다.

7. 결론

첫 코호트가 주는 실무적 신호는 명확하다. 단기 목표 레벨은 종종 경로상 도달했지만, 만기 방향과 불확실성 밴드는 아직 신뢰할 만한 우위를 입증하지 못했다. 다음 3M 만기에서 표본을 늘리고 timestamp·명목 coverage 계약을 강화하기 전까지, 54.5% 방향 적중률을 모델 성과로 홍보하거나 라이브 운용 승격 근거로 사용해서는 안 된다.

출처 및 산출물

감사 결과와 가격 원장은 보고서 숫자의 단일 근거다. 외부 링크는 계산값의 독립적인 시장데이터 맥락을 제공하며, 상세 판정은 아래 동결 파일에서 확인할 수 있다.

교차검증 및 판정 세부사항

구조화 prediction sidecar: 44개
구조화 horizon 발견: 110개; 기준일 적격: 107개
적격 개별종목 horizon: 95개; aggregate 제외: 12개
만기: 11개(전부 1M); 진행 중: 84개(3M·6M·12M 각 28개)
단위 테스트: backend/tests/test_audit_report_predictions.py 8개 통과
시나리오 Brier: sum((p_k - 1{k=outcome})²), outcome은 최근접 가격 앵커
Wilson CI: 이항 비율의 95% score interval; 동일일·동일 레짐 상관을 제거하지 못하므로 보수적으로 해석

투자 리서치 품질 섹터 (Research Quality Sector)