Module batch 

Batch Processing Module

Rayon 기반 병렬 배치 처리

주요 기능

• 병렬 배치 토큰화
• Work-stealing 스케줄링
• CPU 코어 활용 최적화

Example

use mecab_ko_core::batch::BatchTokenizer;

let mut batch = BatchTokenizer::new().unwrap();
let texts = vec!["안녕하세요", "감사합니다", "좋은 하루 되세요"];
let results = batch.tokenize_batch(&texts);

for (text, tokens) in texts.iter().zip(results.iter()) {
    println!("{}: {} tokens", text, tokens.len());
}

Structs

BatchTokenizer

배치 토크나이저

LargeFileProcessor

대용량 파일 스트리밍 프로세서

LargeFileProgress

대용량 파일 처리 진행 상황

ParallelStreamProcessor

병렬 스트리밍 프로세서