RAGflow/rag
zstar d847d1ddad refactor(tokenizer): 实现解析分词,和原版分词同步
- 新增 RagTokenizer 类,实现中英文混合文本的分词功能
- 优化文档解析过程中的分词操作,提高处理效率和准确性
- 移除知识图谱相关无用代码,简化文档结构
- 添加 tokenizer 依赖到 requirements.txt
2025-06-01 20:46:29 +08:00
..
app refactor(tokenizer): 实现解析分词,和原版分词同步 2025-06-01 20:46:29 +08:00
llm up to v0.17.2_supple (#7) 2025-03-31 10:53:42 +08:00
nlp refactor(tokenizer): 实现解析分词,和原版分词同步 2025-06-01 20:46:29 +08:00
res refactor(tokenizer): 实现解析分词,和原版分词同步 2025-06-01 20:46:29 +08:00
svr refactor: 移除未使用的导入和冗余代码,修复自动化测试报错 (#9) 2025-04-01 00:37:22 +08:00
utils up to v0.17.2_supple (#7) 2025-03-31 10:53:42 +08:00
__init__.py 首次提交 2025-03-24 11:19:28 +08:00
benchmark.py 首次提交 2025-03-24 11:19:28 +08:00
prompts.py refactor(tokenizer): 实现解析分词,和原版分词同步 2025-06-01 20:46:29 +08:00
raptor.py up to v0.17.2_supple (#7) 2025-03-31 10:53:42 +08:00
settings.py 首次提交 2025-03-24 11:19:28 +08:00