Chromadb on 有趣的AI

[合集]本地大模型编程实战

Thu, 23 Jan 2025 00:00:00 +0000

此系列文章讲述了：如何在普通电脑上自己写代码完成常见的基于大语言模型能力的任务。

[合集]Langchain本地RAG系统从零搭建

Thu, 10 Oct 2024 00:00:00 +0000

此系列文章详细的阐述了如何从第一行代码开始搭建一个可以运行完全在本地服务器的RAG(Retrieval Augmented Generation)系统，包含了详细的步骤说明和代码，它是保姆级教程。
它主要包含以下功能：

使用本地大语言模型做语言翻译
使用本地大语言模型做专业领域的知识问答

从系统架构来看，本系统包含了前端、API网关、后台服务三大部分：

本地大模型编程实战(15)可以调用两个工具的智能体Agent(2)

Wed, 12 Feb 2025 00:00:00 +0000

在上一篇文章中，我们实践了如何使用 langchain 创建一个简单的 ReAct Agent(智能体)，这次我们升级一下玩法：实现一个可以调用两个工具的智能体。
其中一个工具用户查询天气预报，另外一个工具用来查询知识库，实际上该工具实现了 RAG(Retrieval Augmented Generation,检索增强生成)。

此次我们使用 qwen2.5, llama3.1 和 deepseek 。感觉在处理中文方面，感觉 qwen2.5 比 llama3.1 要好一些。

本地大模型编程实战(14)初探智能体Agent(1)

Tue, 11 Feb 2025 00:00:00 +0000

在前面的文章中，我们了解了 LLM(大语言模型) 如何使用 tool(工具) ，现在我们开始进一步，初探 Agent(智能体) 的玩法。
其中的 tool(工具) 用于从矢量数据库中查询信息，这种方式在 RAG(Retrieval Augmented Generation,检索增强生成) 也很常用。在这种场景中，能否准确的查询出有用信息很关键，为此我们本次将使用多种大模型进行对比演练。包括：

多语言通用 LLM: llma3.1 , deepseek-r1 , qwen2.5
专用于嵌入检索的大模型： shaw/dmeta-embedding-zh , milkey/m3e , mxbai-embed-large , nomic-embed-text , all-minilm:33m

了解 `Agent(智能体)`

`tool(工具)` 与 `Agent(智能体)` 的区别

工具往往用于大语言模型调用其它功能，比如：搜索、数据库查询、计算等；Agent(智能体) 是一个可以使用 LLM 处理复杂任务的智能体；它通常会决定：

何时调用 tool(工具)
选择哪个工具
处理工具返回的结果

`ReAct（Reasoning + Acting）`

ReAct（Reasoning + Acting）是一种用于 Agent(智能体) 的决策方式，它结合了推理（Reasoning）和行动（Acting），让智能体能更灵活地思考和执行任务。
简单来说，ReAct 让智能体在做事情之前，先思考一下，然后再决定下一步行动，而不是盲目执行。

`ReAct` 的核心思路

观察环境（Observations）：获取当前任务或问题的信息。
推理（Reasoning）：分析当前信息，思考如何解决问题。
执行行动（Acting）：基于推理结果，采取具体的行动（比如调用工具、查询数据库、与用户交互等）。
循环执行：智能体会不断重复观察 → 推理 → 行动的过程，直到任务完成。

关于 ReAct 的更多内容，请参阅：ReACT Agent Model

本地大模型编程实战(03)用本地矢量数据库实现语义检索(2)

Sun, 26 Jan 2025 00:00:00 +0000

上一篇文章：本地大模型编程实战(02)语义检索(1) 详细介绍了如何使用 langchain 实现语义检索，为了演示方便，使用的是 langchain 提供的内存数据库。
在实际工作中，更多的使用场景是将矢量化的数据物理存储下来，在查询的时候在从存储介质中读取矢量数据进行查询，不会每次使用矢量数据时都必须想做嵌入。

本文描述了如何使用 Chroma 对csv数据进行矢量化，并且将矢量存储在硬盘中，未来查询矢量数据时，直接从硬盘中读取矢量数据进行查询。
另外，如果数据量大一些，矢量化数据是很花时间的，我们将使用进度条显示嵌入csv的进度。

基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

Thu, 10 Oct 2024 00:00:00 +0000

本文概述了基于langchian框架和对话式增强生成（Conversational RAG(Retrieval Augmented Generation)）技术实现知识问答。
具体来说，系统自动记录聊天历史，并把它作为上下文提供给大模型，这样它让大模型产生了“记忆”，可以“理解”和关联上下文，体验更好。
此样例程序使用本地部署的nomic-embed-text模型做嵌入检索，使用本地部署的llama3.1做回答内容生成。

基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

Wed, 09 Oct 2024 00:00:00 +0000

本文讲述了基于langchian框架，使用本地部署的nomic-embed-text模型做嵌入检索、llama3.1做回答内容生成的知识问答系统实例。

会话式检索增强生成，即：Conversational RAG。
nomic-embed-text：一个高性能开放嵌入模型，具有较大的标记上下文窗口。这个模型只有274M，但实际做嵌入和检索时，感觉比llama3好。

通过对比测试使用历史聊天记录和不使用历史聊天记录两种情况，我们可以明显看出来使用历史聊天记录的优点：它让大模型产生了“记忆”，可以“理解”和关联上下文，体验更好。

使用langchain+本地lamma3.1+本地chroma做RAG系统

Tue, 01 Oct 2024 00:00:00 +0000

本文详细讲述了如何使用langchain+本地lamma3.1+本地chroma做RAG系统。

Chromadb on 有趣的AI

[合集]本地大模型编程实战

[合集]Langchain本地RAG系统从零搭建

本地大模型编程实战(15)可以调用两个工具的智能体Agent(2)

本地大模型编程实战(14)初探智能体Agent(1)

了解 Agent(智能体)

tool(工具) 与 Agent(智能体) 的区别

ReAct（Reasoning + Acting）

ReAct 的核心思路

本地大模型编程实战(03)用本地矢量数据库实现语义检索(2)

基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

使用langchain+本地lamma3.1+本地chroma做RAG系统

了解 `Agent(智能体)`

`tool(工具)` 与 `Agent(智能体)` 的区别

`ReAct（Reasoning + Acting）`

`ReAct` 的核心思路