自己在做RAG项目时,遇到的问题
自己在做RAG项目时,遇到的问题
文档的读取和处理 (PDF PPT EXCEL等各种格式的文档)
如何把文档合理的分割成不同的 chunks 段落
如何合理的 embedding 向量化 ,使用什么样的向量数据库
对问题做一个扩充或重新改写(用户问题比较简段或与上下文无关)
检索的效率、命中率(用传统的搜索引擎技术)极大的影响后续 LLM 判断 粗排
Ranking 精排
prompt=问题+检索 Ranking 的整合 好的 prompt 能激发大模型更多的潜能
使用通用大模型还是开源大模型进行微调
response 加入检查机制 是直接返回用户还是返回到某个阶段进行二次处理(违背了一些规范和要求)