pub fn evaluate_dataset_sejong(
tokenizer: &mut Tokenizer,
dataset: &TestDataset,
) -> EvaluationResultExpand description
세종 코퍼스 호환 모드로 데이터셋 평가 (strict 기본).
MeCab-Ko의 복합 태그(VV+EF 등)를 세종 코퍼스 형식으로 변환하여 평가합니다.
이를 통해 토큰화 기준 차이를 보정하고 더 공정한 정확도를 측정합니다.