RAG的一个坑之相似度不准

16
0
0
2024-03-07

RAG的一个坑之相似度不准

Embedding相似度不准

问题:

希望命中的,往往不是相似度最高的那个匹配出来的结果,有时候预期中最LLM 生成的时候,都有 token上限

为了不超过上限,需要对匹配结果安照相似度选前 K个匹配结果

最终希望命中的那一个,没有成功进入入到LLM Prompt 里

解决办法:

  1. 换模型,换一个上下文更长的模型或者调整Context长度占比

  2. 在用户提问时,进行一个分类检索,识别用户问题所属哪个类型的知识库,进入相应知识库进行检索