Skip to main content

evaluate_dataset_dual_with_match

Function evaluate_dataset_dual_with_match 

Source
pub fn evaluate_dataset_dual_with_match(
    tokenizer: &mut Tokenizer,
    dataset: &TestDataset,
    pos_eq: PosMatchFn,
    surface_eq: SurfaceMatchFn,
) -> DualMetricResult
Expand description

이중 메트릭 평가 (POS + surface 비교 함수 주입, Sprint 128 P2).

형태소 레벨(morpheme) + 어절 레벨(eojeol) 두 메트릭을 함께 측정합니다. pos_eqsurface_eq 함수로 strict/lenient/canonical 모드를 선택. 양쪽 메트릭 모두에 동일한 pos_eq/surface_eq 적용.

어절 레벨 평가:

  • 정답 데이터셋에 eojeol_counts가 있어야 측정 가능
  • 예측 토큰을 정답 어절 경계 기준 슬라이스로 분할 (정답과 같은 형태소 수)
  • 어절 내 모든 형태소가 surface_eq + pos_eq 일치 시 어절 정답

어절 정보가 없는 데이터셋에서는 eojeol_total = 0으로 보고.