chonkie-inc/chonkiejs
🔧 工具chonkie-inc
专为 RAG 和 LLM 应用优化的轻量级、类型友好且高性能的文本分块库。
ChonkieJS 解决了现代 AI 开发中的一个关键瓶颈：为上下文窗口有效地分割非结构化文本。与通用分割器不同，ChonkieJS 构建时专注于语义完整性，提供了一系列算法，确保分块能够保持上下文，这对于 RAG 架构中的高质量检索至关重要。
主要功能包括高度模块化的架构，支持多种分块策略，包括基于字符、基于 Token 以及语义感知分割。该库使用 TypeScript 编写，提供一流的类型安全性和开发体验 (DX)。其轻量级的特性确保了极低的开销，使其既适用于边缘计算环境，也适用于大规模后端数据处理流水线。通过抽象化文本分割的复杂性，ChonkieJS 让开发者能够专注于构建更智能的检索系统，而不是处理底层的字符串操作逻辑。