Poetry
Poetry Poetry 是什么 Poetry 是一个用于 Python 编程语言的依赖管理和打包工具。它旨在帮助开发者在开发 Python 应用时更好地管理项目依赖、打包和发布。Poetry 主要具有以下特点： 依赖管理：Poetry 通过 pyproject.toml 文件统一管理项目依赖，这
2024-09-14
MaXiaoTiao
学习
开发 LLM 应用的整体流程
开发 LLM 应用的整体流程 一、何为大模型开发 我们将开发以大语言模型为功能核心、通过大语言模型的强大理解能力和生成能力、结合特殊的数据或业务逻辑来提供独特功能的应用称为大模型开发。开发大模型相关应用，其技术核心点虽然在大语言模型上，但一般通过调用 API 或开源模型来实现核心的理解与生成，通过
2024-09-13
检索增强生成（RAG, Retrieval-Augmented Generation）
检索增强生成（RAG, Retrieval-Augmented Generation） RAG（Retrieval Augmented Generation）是一种人工智能技术框架，用于从外部知识库检索事实，以最准确、最新的信息为基础，来提高大型语言模型（LLMs）的生成质量。这种技术结合了预训练的
2024-09-13
怎么解决大模型中的多轮对话问题？
怎么解决大模型中的多轮对话问题？ 难点： 在多轮对话中，模型需要记住并正确理解之前对话的上下文。 大型模型虽然能处理较长的上下文，但仍然存在记忆限制，无法记住非常早期的对话信息。 在对话过程中，模型需要抽取关键信息并更新对话状态。 解决办法： 拼接历史query策略
2024-05-29
基于知识图谱和知识库的大模型对话系统（三）
基于知识图谱和知识库的大模型对话系统（三） 补全知识图谱 数据准备: 使用现有的知识图谱作为基础数据源。 将数据集分为50%的训练/验证数据和50%的测试数据。
2024-05-20
基于知识图谱和知识库的大模型对话系统（一）
基于知识图谱和知识库的大模型对话系统（一） 数据预处理 文本提取：首先从原始扫描版PDF文件开始，通过OCR（光学字符识别）技术将其转换为可编辑的粗粒度文本格式。这一步是必要的，因为直接处理扫描版的PDF文件会面临许多问题，如无法进行有效的搜索、复制或进一步的数据分析等。 数据分析
2024-05-08