Module cache 

토큰화 캐싱

반복되는 입력에 대해 토큰화 결과를 캐싱하여 성능을 향상시킵니다.

특징

• LRU 캐시: Least Recently Used 방식으로 오래된 항목 자동 제거
• 스레드 안전: RwLock 기반 동시 접근 지원
• 통계 추적: 히트/미스 비율 모니터링

예제

use mecab_ko_core::cache::{TokenCache, CacheConfig};

let config = CacheConfig::default();
let cache = TokenCache::new(config);

// 캐시 키 생성 (문자열 해시)
let key = cache.make_key("안녕하세요");

// 캐시 조회 또는 계산
let tokens = cache.get_or_insert(key, || {
    vec![] // 실제로는 토큰화 수행
});

// 통계 확인
let stats = cache.stats();
println!("Hit rate: {:.1}%", stats.hit_rate() * 100.0);

Structs

CacheConfig

캐시 설정

CacheStats

캐시 통계

CachedToken

캐시된 토큰 정보

CachingTokenizer

캐싱 가능한 토크나이저 래퍼

TokenCache

토큰화 캐시

Type Aliases

CacheKey

캐시 키 타입