YueHuihui
/
RAGflow
1
0
Fork 0
Code Issues Pull Requests Packages Projects Releases Wiki Activity
196 Commits 1 Branch 0 Tags 77 MiB
Commit Graph

64 Commits

Author SHA1 Message Date
zstar 16f3e227d5 refactor(env): 重构环境变量加载方式，修复前端无法动态获取环境变量的问题 
- 移除 Dockerfile 中的额外依赖安装
- 更新环境变量加载路径，使用统一的 get_root_folder() 函数
- 调整数据库连接、MinIO 访问等配置方式
- 移除 pyproject.toml 和 requirements.txt 中的冗余依赖
- 优化前端 MinIO 访问方式，通过后端 API 获取 MinIO URL
 2025-06-10 00:20:44 +08:00
zstar d5fbd8d620
移除了print特定列 2025-06-09 19:06:09 +08:00
Huang ShaoHui ab4d2da1cf
更新解析excel的函数 
原版解析excel函数只能读取sheet1，而且对于合并的单元格只有第一个单元格有数据，其他的为non
 2025-06-09 17:14:39 +08:00
zstar 8f4c1187f0 refactor: 重新调整数据库连接和环境变量配置 
- 修改数据库连接配置，统一使用 Docker 内部网络地址
- 更新环境变量配置，简化 Redis 和 MinIO 的配置
- 删除 Helm 相关文件，清理 Kubernetes 部署配置
- 移除 ChatGPT-on-WeChat 插件相关代码和配置
 2025-06-07 23:17:33 +08:00
zstar 70647d36d5 refactor: 上调TopNItem 组件最大值为100 2025-06-07 16:14:33 +08:00
zstar 66fbd297aa refactor(api): 重构聊天模块中图片插入逻辑，使其能够插入到引用块中间，并优化es图片读取逻辑路径 
- 移除了多轮对话优化和推理相关代码
- 新增图片 Markdown 插入逻辑，支持从 MinIO 中获取图片
- 优化了引用文献的处理流程
- 简化了错误提示信息
- 添加了时间信息统计
 2025-06-07 13:00:07 +08:00
zstar 59b79cc903 fix(knowledgebases): 修复解析表格类型内容块时，内容为空造成的异常问题 2025-06-06 18:27:12 +08:00
zstar eff1713929 fix: 添加 Excel 相关库依赖，解决issue#149 
- 新增 openpyxl 和 xlrd 库，用于处理 Excel 文件
 2025-06-06 16:03:07 +08:00
zstar 8e2dfdd116 build(deploy): 更新 Docker 镜像版本为v0.4.0 
- 将 Docker 镜像版本从 v0.3.0 升级到 v0.4.0
- 更新 management 服务依赖版本
- 优化 requirements.txt 中的依赖版本
 2025-06-06 00:01:18 +08:00
zstar 9aefac9045 refactor(server): 适配 Ollama 接口 /api/embeddings url 
- 修改文档解析服务中的嵌入式请求，以适配 Ollama 接口
- 根据 is_ollama 标志动态调整请求参数，使用 "prompt" 替代 "input"
- 保持其他功能和接口不变
 2025-06-05 15:00:52 +08:00
zstar 3496fff83c fix: 修复Ollama嵌入模型接口和前台不一致的问题 issue#65 2025-06-05 14:35:23 +08:00
zstar 8cfc4bba4c fix:适配新版本task的表结构，解决Unknown column 'priority'in 'field list' 报错信息 2025-06-05 11:34:45 +08:00
zstar 45b7233432 refactor(knowledgebases): 重构excel文件的解析逻辑 2025-06-02 18:10:22 +08:00
zstar dd2b661703 feat(document_parser): 支持解析数学公式类型的数据块 
- 在文本和表格类型之外，增加了对数学公式（equation）类型数据块的处理
 2025-06-02 13:47:15 +08:00
zstar 04439e6640 fix(knowledgebase): 修复私人知识库访问权限问题 
- 修改文档解析逻辑，使用知识库创建者作为 tenant_id
 2025-06-02 01:48:11 +08:00
zstar d847d1ddad refactor(tokenizer): 实现解析分词，和原版分词同步 
- 新增 RagTokenizer 类，实现中英文混合文本的分词功能
- 优化文档解析过程中的分词操作，提高处理效率和准确性
- 移除知识图谱相关无用代码，简化文档结构
- 添加 tokenizer 依赖到 requirements.txt
 2025-06-01 20:46:29 +08:00
zstar aae4ca821c feat(server): 实现文件分块上传功能 
- 新增分块上传相关路由和处理逻辑
- 实现文件分块接收、合并和上传
- 添加 Redis 作为上传状态存储
- 重构部分现有服务以支持分块上传
 2025-05-29 23:45:39 +08:00
zstar 00d48b8df8 refactor: 将非Docker环境下的服务主机地址从host.docker.internal改为localhost，移除前台文件管理菜单” 2025-05-27 11:57:49 +08:00
zstar 1a13efd190 docs: 更新FAQ文档，并同步mineru的版本更新 2025-05-24 21:11:39 +08:00
zstar 20182c60dc refactor: 更新版本至v0.3.0 2025-05-17 20:32:21 +08:00
zstar 84603765cb refactor(database): 重新调整docker容器的连接配置 2025-05-17 15:55:37 +08:00
zstar a344817676 refactor(会话管理): 移除未使用的对话详情接口导入 2025-05-17 12:16:19 +08:00
zstar f910ec0bb7 refactor(会话管理): 移除对话详情冗余接口，优化前端滚动事件处理 2025-05-17 12:15:00 +08:00
zstar 85bbc1f471 feat(会话管理): 新增用户会话管理功能模块 2025-05-17 11:57:02 +08:00
zstar 42cf80c082 fix: 修复知识库检索问题 2025-05-16 21:42:19 +08:00
zstar 8ce493003b
feat(文档解析): 适配硅基流动平台并优化Embedding配置处理 (#97) (#97) 2025-05-16 13:48:16 +08:00
zstar d0d7a24297
feat：知识库精细化管理 (#96) 
* feat(知识库管理): 新增知识库创建人选择功能 (#96)

* "feat(知识库管理): 新增知识库权限修改功能并扩展操作列宽度 (#97)"

* feat(文档解析): 添加embedding向量维度校验，确保维度为1024并提示使用bge-m3模型
 2025-05-15 16:01:39 +08:00
zstar 3ec47d8955
feat(文件管理): 新增支持HTML文件类型解析并完善许可证说明 (#95) 2025-05-15 00:31:41 +08:00
zstar b79293b9ae
feat(文档解析): 拓展支持文件解析类型：excel、jpg、png、txt、md (#94) 2025-05-14 23:01:09 +08:00
zstar c787ae7eac
feat(知识库管理): 添加文档和文件列表排序功能并优化表格交互 (#90) 2025-05-14 15:36:22 +08:00
zstar e9efc51179
feat(知识库管理): 添加知识库列表排序功能并优化表格交互 (#88) 
* feat(知识库管理): 添加知识库列表排序功能并优化表格交互
 2025-05-14 14:17:15 +08:00
zstar c17f8b844d
添加团队列表排序功能并移除冗余API端点 
* feat(用户管理): 添加用户列表排序功能并优化文档解析计数逻辑

* feat(团队管理): 添加团队列表排序功能并移除冗余API端点
 2025-05-14 11:47:22 +08:00
zstar 42ce701834
feat(用户管理): 添加用户列表排序功能并优化文档解析计数逻辑 (#85) 2025-05-14 10:57:12 +08:00
zstar 79360c48bd
feat(文件管理): 添加文件列表排序功能 (#79) 
在文件管理模块中，新增了文件列表的排序功能。用户可以根据文件名、大小、类型和创建时间等字段进行升序或降序排序。同时，前端页面也增加了排序相关的UI交互，后端接口支持传递排序字段和排序方式参数。
 2025-05-12 00:17:28 +08:00
zstar e6c18119da
fix:修复图像文本块关联异常问题 (#78) 
添加processed_text_chunks += 1
 2025-05-11 21:28:39 +08:00
zstar 6952f021fa ci: 添加 GitHub Actions 部署配置并删除无用文件 
添加了用于触发部署的 GitHub Actions 配置文件，仅当 `main` 分支的 `docs` 目录发生变更时触发。同时删除了不再使用的 ISSUE_TEMPLATE 文件，并清理了 docker-compose.yml 中的注释代码，以保持代码库的整洁。
 2025-05-02 13:29:48 +08:00
zstar 8a9d6a30f6
fix(用户管理): 修改用户创建的时间逻辑为UTC+8 (#63) 
将用户创建和密码重置的时间获取和格式化逻辑修改为使用UTC+8时区（Asia/Shanghai），以确保时间存储的一致性。此修改避免了不同时区用户时间显示不一致的问题。
 2025-04-29 21:56:27 +08:00
helojo e94697ec68
fix:解决创建账号失败，但前台返回创建成功的问题，创建账号时返回真实的状态 (#57) 
Co-authored-by: zqgame <zqgame@zqgame.local>
 2025-04-28 10:32:13 +08:00
zstar 63c6838701
feat(用户管理): 添加重置用户密码功能 (#53) 
在用户管理页面中新增重置用户密码的功能，包括前端对话框、表单验证、API调用以及后端服务层的密码重置逻辑。同时，更新了用户管理页面的操作列，增加了重置密码按钮，并调整了相关UI样式。
 2025-04-25 17:20:49 +08:00
zstar e832029258
fix(document_parser): 修复解析块回溯错位问题 (#51) 2025-04-25 15:08:18 +08:00
zstar 51f4381a65
refactor: 优化 Embedding URL 拼接逻辑，以兼容vllm和ollama等不同框架 (#50) 
- 在 document_parser.py 和 service.py 中优化 Embedding URL 拼接逻辑，支持不同形式的 base_url
- 在 axios.ts 中将 400 错误消息从 "账号密码不正确" 更新为 "请求错误"
 2025-04-24 23:29:47 +08:00
zstar 2191d1bcd3 refactor(docker): 将GPU配置分离到独立的docker-compose_gpu.yml文件 
为了更清晰地管理GPU和非GPU环境，将GPU相关的资源配置从docker-compose.yml中分离出来，并创建了独立的docker-compose_gpu.yml文件。
 2025-04-23 23:49:15 +08:00
zstar 340cdde69a
fix: 修复回答生成图片时，无法正确显示的问题 (#45) 
* docs: 更新 README.md 以简化项目介绍和运行说明

更新项目介绍部分，使其更加简洁明了。同时优化了运行说明，移除冗余步骤，使操作流程更加清晰。

* fix: 修复回答生成图片时，无法正确显示的问题

将S3资源的ARN路径从特定图片键改为支持所有图片资源，以确保所有图片都能被正确访问
 2025-04-23 14:55:16 +08:00
zstar 3faa18126e
refactor(docker): 重构Docker配置以优化镜像构建和管理 (#37) 
- 更新.dockerignore和.gitignore文件以排除不必要的文件
- 调整docker-compose.yml中的服务命名和配置
- 优化Dockerfile，简化构建流程并提高缓存利用率
 2025-04-19 20:43:46 +08:00
zstar 2a7e4f2df1
feat(知识库): 添加批量文档解析功能 (#36) 
新增顺序批量文档解析功能，支持在知识库详情页启动批量解析任务，并通过轮询实时监控任务进度。该功能包括：
1. 后端新增顺序批量解析路由和服务逻辑
2. 前端添加批量解析按钮和进度展示组件
3. 支持后台异步执行批量解析任务
 2025-04-19 01:27:37 +08:00
zstar 803cc7e656
feat: 添加系统Embedding配置功能并优化文档解析 (#35) 
在知识库模块中新增了获取和设置系统Embedding配置的API接口，支持动态配置Embedding模型的基础URL、模型名称和API Key。同时，优化了文档解析逻辑，使用系统配置的Embedding模型生成文本块的向量，并将图片与文本块关联存储。
 2025-04-18 22:34:25 +08:00
zstar 61d924a4fa
refactor: 优化代码结构和UI组件，移除前台和后台功能冲突的组件 (#34) 
本次提交主要对代码进行了重构，移除了未使用的代码和注释，优化了部分UI组件的布局和样式。具体包括：
1. 移除了多个文件中的未使用代码和注释。
2. 调整了部分UI组件的布局，使其更加简洁和一致。
3. 更新了logo.svg文件，优化了图标的设计。
4. 修复了部分组件中的样式问题，提升了用户体验。
 2025-04-18 10:18:07 +08:00
zstar fa17fd40bd
feat(pdf解析块坐标溯源): 对mineru的解析结果，增加pdf解析块坐标溯源功能 (#33) 
- 新增 `get_text_from_block` 函数，用于从 `preproc_blocks` 中提取文本内容
- 在 `perform_parse` 中增加对 `middle_json_content` 的解析，提取块信息并匹配到文本块
- 更新 ES 文档结构，增加 `page_num_int` 和 `position_int` 字段，记录块在文档中的位置
 2025-04-17 20:32:48 +08:00
zstar 6057163f28
feat(解析文件类型增加): 解析文件增加对word和ppt的支持。 (#32) 
增加对word和ppt的支持，需要安装LibreOffice。同时，将文档解析逻辑从 `KnowledgebaseService` 中提取到独立的 `document_parser.py` 模块，以提高代码的可维护性和复用性。同时优化了文件上传和临时文件处理的逻辑，确保资源正确释放。
 2025-04-17 16:31:20 +08:00
zstar 5a7eba5a29
fix(界面切换显示空白bug): 修复知识库管理时，切换到其它菜单，界面变空白的情况 (#31) 2025-04-16 22:22:28 +08:00