실험실
모델은 저절로 좋아지지 않습니다. 매번 가설을 세우고, 바꿔보고, 성적으로 확인합니다. 지금까지 세운 가설 4건 가운데 2건은 폐기했고 1건은 아직 검증 중입니다. 실패한 실험도 지우지 않습니다.
실험 기록
무엇을 바꿔봤고, 그래서 어떻게 됐는지. 채택된 것만 남기면 실험 노트가 아니라 자랑이 됩니다.
- 진행 중2026.07.06 — 진행 중적중률 +1.8%p오차 -0.06%p
신뢰도 산출에 시장 변동성을 반영하면 Calibration 이 좋아지는가
변동성이 큰 구간에서 모델이 과신하는 경향이 있다. 신뢰도를 산출할 때 시장 변동성을 낮춤 계수로 넣으면 신뢰도 80+ 구간의 실제 적중률이 올라갈 것이다.
중간 집계 기준으로는 개선이 보이지만 아직 표본이 적어 판단을 미룹니다.
- 채택2025.11.10 — 2026.01.16v0.2 반영적중률 +7.3%p오차 -0.47%p
뉴스 이벤트 가중치를 높이면 방향 적중률이 오르는가
기술적 지표에 비해 뉴스·공시 이벤트의 가중치가 낮게 잡혀 있었다. 이벤트 영향도 점수의 반영 비중을 올리면 방향 예측이 개선될 것이다.
채택. v0.2 로 반영했습니다. 특히 실적 발표 전후 구간에서 개선폭이 컸습니다.
- 폐기2025.08.25 — 2025.10.17적중률 -3.4%p오차 +0.62%p
주간 예측을 일간 예측 5개의 합성으로 대체할 수 있는가
주간 예측을 따로 만들지 않고 일간 예측을 5회 누적하면 같은 결과를 더 싸게 얻을 수 있을 것이다.
폐기. 일간 오차가 누적되면서 주 후반으로 갈수록 크게 벌어졌습니다. 주간 예측은 별도 모델을 유지합니다.
- 폐기2025.05.12 — 2025.07.04적중률 -2.1%p오차 +0.18%p
거래량 급증을 단독 신호로 쓸 수 있는가
거래량이 평균 대비 급증한 종목은 방향성이 뚜렷할 것이므로, 이 신호만으로도 예측 정확도를 올릴 수 있을 것이다.
폐기. 급증 자체는 방향을 알려주지 않았습니다. 다른 지표와 결합할 때만 의미가 있었습니다.
예측 스냅샷
예측 한 건마다 그 시점의 시장 상태·지표·수급·뉴스를 통째로 얼려 둡니다. 한 줄을 누르면 AI가 그때 무엇을 보고 있었는지 그대로 펼쳐집니다.
과거로 되돌려 다시 돌리기
예측할 때 본 시장 상태를 통째로 보존해 두기 때문에, 나중에 만든 모델을 똑같은 조건에 다시 넣어볼 수 있습니다. 새 모델이 정말 나아진 건지, 시장이 쉬웠던 건지를 가르는 유일한 방법입니다.
- 2025.02.17 — 2026.01.16스냅샷 2,140건+5.9%pv0.1 (당시 운영)60.2%v0.2 (재실행)66.1%
v0.1 이 운영되던 기간의 스냅샷 전체에 v0.2 를 다시 돌렸습니다. 같은 조건에서 5.9%p 나은 성적이 나왔습니다.
- 2026.03.02 — 2026.06.30스냅샷 410건+2.8%pv0.1 (당시 운영)58.4%v0.2 (재실행)61.2%
급락이 있었던 구간만 따로 재실행했습니다. 개선폭이 평시보다 작아, 하락장 대응은 여전히 약점입니다.
발견
쌓인 기록에서 나온 관찰입니다. 아직 결론을 내리기 이른 것은 그렇다고 적어 둡니다.
- 표본 부족458건 기준
신뢰도 90 이상 구간은 아직 결론을 내리기 이릅니다
적중률 80.2% 로 가장 높지만 전체 예측의 12% 에 불과합니다. 이 구간만 놓고 모델이 잘 보정됐다고 말하려면 표본이 더 필요합니다.
- 결론763건 기준
월요일 예측이 다른 요일보다 정확합니다
주말 동안 정보가 쌓인 뒤 첫 거래일에 만든 예측의 적중률이 평균보다 4.1%p 높습니다. 반대로 금요일 예측이 가장 낮습니다.
- 결론291건 기준
급락장에서 성적이 떨어집니다
지수가 하루 2% 이상 빠진 날의 방향 적중률은 52.7% 로, 동전 던지기에 가깝습니다. 급락 국면 대응은 아직 풀지 못한 문제입니다.
- 표본 부족336건 기준
뉴스 이벤트 반영은 반도체 종목에서 가장 잘 듣습니다
이벤트 영향도가 높게 매겨진 예측 중 반도체 종목의 적중률이 가장 높았습니다. 다만 종목 수가 둘뿐이라 업종 특성인지 개별 종목 특성인지 아직 구분되지 않습니다.