自己在做RAG项目时,遇到的问题

22
0
0
2024-02-17

自己在做RAG项目时,遇到的问题

  • 文档的读取和处理 (PDF PPT EXCEL等各种格式的文档)

  • 如何把文档合理的分割成不同的 chunks 段落

  • 如何合理的 embedding 向量化 ,使用什么样的向量数据库

  • 对问题做一个扩充或重新改写(用户问题比较简段或与上下文无关)

  • 检索的效率、命中率(用传统的搜索引擎技术)极大的影响后续 LLM 判断 粗排

  • Ranking 精排

  • prompt=问题+检索 Ranking 的整合 好的 prompt 能激发大模型更多的潜能

  • 使用通用大模型还是开源大模型进行微调

  • response 加入检查机制 是直接返回用户还是返回到某个阶段进行二次处理(违背了一些规范和要求)