RAG的一个坑之相似度不准
RAG的一个坑之相似度不准
Embedding相似度不准
问题:
希望命中的,往往不是相似度最高的那个匹配出来的结果,有时候预期中最LLM 生成的时候,都有 token上限
为了不超过上限,需要对匹配结果安照相似度选前 K个匹配结果
最终希望命中的那一个,没有成功进入入到LLM Prompt 里
解决办法:
换模型,换一个上下文更长的模型或者调整Context长度占比
在用户提问时,进行一个分类检索,识别用户问题所属哪个类型的知识库,进入相应知识库进行检索
问题:
希望命中的,往往不是相似度最高的那个匹配出来的结果,有时候预期中最LLM 生成的时候,都有 token上限
为了不超过上限,需要对匹配结果安照相似度选前 K个匹配结果
最终希望命中的那一个,没有成功进入入到LLM Prompt 里
解决办法:
换模型,换一个上下文更长的模型或者调整Context长度占比
在用户提问时,进行一个分类检索,识别用户问题所属哪个类型的知识库,进入相应知识库进行检索