pub fn evaluate_dataset_dual_with_match(
tokenizer: &mut Tokenizer,
dataset: &TestDataset,
pos_eq: PosMatchFn,
surface_eq: SurfaceMatchFn,
) -> DualMetricResultExpand description
이중 메트릭 평가 (POS + surface 비교 함수 주입, Sprint 128 P2).
형태소 레벨(morpheme) + 어절 레벨(eojeol) 두 메트릭을 함께 측정합니다.
pos_eq와 surface_eq 함수로 strict/lenient/canonical 모드를 선택.
양쪽 메트릭 모두에 동일한 pos_eq/surface_eq 적용.
어절 레벨 평가:
- 정답 데이터셋에
eojeol_counts가 있어야 측정 가능 - 예측 토큰을 정답 어절 경계 기준 슬라이스로 분할 (정답과 같은 형태소 수)
- 어절 내 모든 형태소가
surface_eq+pos_eq일치 시 어절 정답
어절 정보가 없는 데이터셋에서는 eojeol_total = 0으로 보고.