RAG优化技巧
RAG优化技巧 RAG的挑战 RAG通过检索现有的大量知识，结合强大的生成模型，为复杂的问答、文本摘要和生成任务带来了全新的解决方案。然而，尽管RAG有其独特的优势，但在实践过程中也遭遇了多个挑战。 1数据质量差导致检索效果差 在RAG模型中，检索阶段的输出直接影响到生成阶段的输入和最终的输出质量。
2024-05-10
MaXiaoTiao
大模型
#Vanna
4
#Ollama
1
#分布式存储
2
#k8s
8
#nginx
2
#docker
4
#LInux
1
#FastApi
1
#日报
0
#爬虫
12
#pandas
3
#数据处理
3
#大模型
18
#AIGC
17
#金融
33
#量化交易
8
#Swagger2
1
#Spring Boot
7
#LeetCode
9
#课程作业
1
#软件测试
2
#bert
1
#计算机网络
0
#操作系统
4
#数据结构
0
#go
0
#redis
0
#python
10
#java
30
#证据理论
1
#多标签
3
#机器学习
14
#深度学习
39
#单纯记录
0
自己在做RAG项目时，遇到的问题
自己在做RAG项目时，遇到的问题 文档的读取和处理 （PDF PPT EXCEL等各种格式的文档） 如何把文档合理的分割成不同的 chunks 段落 如何合理的 embedding 向量化 ，使用什么样的向量数据库 对问题做一个扩充或重新改写（用户问题比较简段或与上下文
2024-02-17
SPN4RE（Set Prediction Networks for Joint Entity and Relation Extraction
SPN4RE（Set Prediction Networks for Joint Entity and Relation Extraction SPN4RE（Set Prediction Networks for Relation Extraction）模型是一种用于联合实体和关系抽取的深度学习模型
2024-01-10
微调（LoRA微调）
微调（LoRA微调） 什么是参数高效微调？固定大部分预训练模型（LLM）参数，微调少量或额外的模型参数。以往说的微调，一般指的是全量微调，就是所有的参数都来训练。为什么在大语言模型领域，很少人提全量微调，反而参数高效微调被提得更多呢？因为全量微调占用的显存太大了。以llama2-7B为例，不考虑中间
2023-12-15