Skip to main content

evaluate_dataset_sejong

Function evaluate_dataset_sejong 

Source
pub fn evaluate_dataset_sejong(
    tokenizer: &mut Tokenizer,
    dataset: &TestDataset,
) -> EvaluationResult
Expand description

세종 코퍼스 호환 모드로 데이터셋 평가 (strict 기본).

MeCab-Ko의 복합 태그(VV+EF 등)를 세종 코퍼스 형식으로 변환하여 평가합니다. 이를 통해 토큰화 기준 차이를 보정하고 더 공정한 정확도를 측정합니다.