LLM(大语言模型) on 有趣的AI

[合集]本地大模型编程实战

Thu, 23 Jan 2025 00:00:00 +0000

此系列文章讲述了：如何在普通电脑上自己写代码完成常见的基于大语言模型能力的任务。

[合集]从零搭建langchain+本地大模型+本地矢量数据库的RAG系统

Thu, 10 Oct 2024 00:00:00 +0000

此系列文章详细的阐述了如何从第一行代码开始搭建一个可以运行完全在本地服务器的RAG(Retrieval Augmented Generation)系统，包含了详细的步骤说明和代码，它是保姆级教程。
它主要包含以下功能：

使用本地大语言模型做语言翻译
使用本地大语言模型做专业领域的知识问答

从系统架构来看，本系统包含了前端、API网关、后台服务三大部分：

【保姆级教程】自己搭建AI大模型实验室

Wed, 08 Oct 2025 00:00:00 +0000

如果我比别人看得更远，那是因为我站在巨人的肩上。 – 艾萨克·牛顿

不知道您是否像我一样：希望自己能有一个完全本地部署的AI实验室，它有可视化界面，可以与大模型聊天，可以做智能体，还可以提供标准化的接口…

Chatbox、Dify、Ollama 与 Qwen（通义千问）大模型完全可以整合在一起，且整合后能形成 “本地模型 + 可视化开发管理 + 多端交互” 的完整 AI 应用链路。四者的定位互补性强，整合核心逻辑是 Ollama 负责本地运行 Qwen 模型 → Dify 提供模型管理与应用开发能力 → Chatbox 作为轻量客户端实现多端交互：

系统/模型	核心定位	关键角色
Ollama	轻量本地大模型运行框架	「模型载体」：简化本地模型部署，支持一键启动 Qwen、Llama 等开源模型，提供 API 接口供外部调用
Qwen（通义千问）	阿里开源大模型（如 Qwen-8B/14B）	「核心能力源」：提供对话、生成、推理等 AI 能力，需依赖 Ollama 或其他框架运行
Dify	开源 LLM 应用开发平台	「开发与管理中枢」：支持接入 Ollama 部署的 Qwen 模型，提供可视化 workflow、RAG 检索、Agent 工具链，可快速搭建 AI 应用（如问答系统、智能助手）
Chatbox	多端 AI 客户端	「交互入口」：支持接入 Dify 或 Ollama 的 API，提供桌面（Windows/Mac/Linux）、移动端（iOS/Android）的轻量交互界面，优化用户使用体验

下面我们就一步一步的把这个AI实验室搭建起来。

【保姆级教程】用dify搭建智能体Agent

Tue, 07 Oct 2025 00:00:00 +0000

dify 是一个开源的 LLM 应用开发平台，其核心功能包括：

工作流：可在画布上构建和测试强大的 AI 工作流程。
全面的模型支持：与数百种专有 / 开源 LLMs 及数十种推理提供商和自托管解决方案无缝集成，支持 GPT、Mistral、Llama3、qwen 等及任何与 OpenAI API 兼容的模型。
Prompt IDE：提供直观界面，用于制作提示、比较模型性能及为聊天类应用添加文本转语音等功能。
RAG Pipeline：具备广泛的 RAG 功能，涵盖文档摄入到检索，支持从 PDF、PPT 等常见文档格式提取文本。
Agent 智能体：可基于 LLM 函数调用或 ReAct 定义 Agent，提供 50 多种内置工具如谷歌搜索、DALL・E 等。
LLMOps：能监测和分析应用日志与性能，基于生产数据和注释持续改进提示、数据集及模型。
Backend-as-a-Service：所有功能都提供 API，便于将 Dify 集成到自有业务逻辑中。

本文将把详细的讲述搭建 dify 并且用它的 Chatflow 搭建智能体应用的过程。

本地大模型编程实战(38)实现一个通用的大模型客户端

Tue, 23 Sep 2025 00:00:00 +0000

由于大部分AI平台提供的API/接口都兼容 OpenAI API ,所以我们可以使用 OpenAI SDK 实现通用的 LLM（大语言模型） 客户端。

关于 OpenAI API 更多内容，可参考程序员应该熟悉的概念(2)OpenAI API

本文讲述了如何实现一个简单的大模型客户端。

本地大模型编程实战(33)用SSE实现大模型的流式输出

Mon, 01 Sep 2025 00:00:00 +0000

SSE(Server-Sent Events)是一种基于 HTTP 协议的服务器向客户端单向推送数据的技术，允许服务器主动向已建立连接的客户端持续发送事件流（如实时通知、更新数据等），无需客户端频繁轮询。

核心特点：基于 HTTP 长连接，单向通信（仅服务器→客户端），数据以 “事件” 格式传输（包含事件类型、数据体等结构化信息），天然支持断线重连。
典型场景：大语言模型（LLM）客户端、股票行情实时更新、新闻推送、系统通知等只需服务器主动下发数据的场景。

它与websocket的主要区别是：

若场景仅需 “服务器推数据给客户端”（单向），优先选 SSE（实现简单、基于 HTTP 无额外协议成本）
若需 “客户端与服务器实时双向通信”（如聊天、互动），必须选 WebSocket（全双工能力是核心优势）

下面我们使用大语言模型qwen3实现翻译功能。它可以自动识别源语言，并翻译为目标语种。

像千问这种大模型是基于多语言训练的，所以它支持中文、英文、法文、西班牙等多个语种的翻译。

这是实现的效果：

本地大模型编程实战(32)用websocket显示大模型的流式输出

Sun, 27 Apr 2025 00:00:00 +0000

在与 LLM(大语言模型) 对话时，如果每次都等 LLM 处理完毕再返回给客户端，会显得比较卡顿，不友好。如何能够像主流的AI平台那样：可以一点一点吐出字符呢？
本文将模仿后端流式输出文字，前端一块一块的显示文字。主要的实现路径是：

LLM 采用 qwen3 ，使用 stream 方式输出
后端使用 langchain 框架
使用 fastapi 实现后端接口
前后端之间使用 websocket 长连接通信
前端使用一个简单的 html5 网页做演示

下面是最终实现的效果：

本地大模型编程实战(31)用Map-Reduce从大文本中提取摘要

Sat, 26 Apr 2025 00:00:00 +0000

在执行从文本中提取摘要的任务时，难免遇到大文本的情况：文本的长度超出了 LLM(大语言模型) 的token限制。
LangGraph 提供了 map-reduce 工作流，它先把大文本拆成小文档分别提取摘要，然后再提炼/压缩提取的摘要，直到最后提取的摘要的token长度满足既定要求。

本次演练使用 qwen2.5:7b 开源大模型。

本地大模型编程实战(30)从文本提取摘要

Fri, 25 Apr 2025 00:00:00 +0000

本文将演练如何使用 LLM(大语言模型) 提取文本摘要。

本次演练使用 qwen2.5:7b 开源大模型。

本地大模型编程实战(29)用大语言模型LLM查询图数据库NEO4J(2)

Thu, 24 Apr 2025 00:00:00 +0000

上一篇文章用大语言模型LLM查询图数据库NEO4J(1) 介绍了使用GraphQACypherChain查询NEO4J。用它实现简单快捷，但是不容易定制，在生产环境中可能会面临挑战。

本文将基于langgraph 框架，用LLM(大语言模型)查询图数据库NEO4J。它可以定义清晰复杂的工作流，能应对比较复杂的应用场景。

以下是即将实现的可视化LangGraph流程：

本地大模型编程实战(28)用大语言模型LLM查询图数据库NEO4J(1)

Wed, 23 Apr 2025 00:00:00 +0000

本文将基于langchain 框架，用LLM(大语言模型)查询图数据库NEO4J。

使用 qwen2.5 做实验，用 llama3.1 查不出内容。

本地大模型编程实战(27)初探langgraph的流式输出

Thu, 27 Feb 2025 00:00:00 +0000

对于 LLM(大语言模型)，流式传输已成为一种越来越受欢迎的功能。其理念是在 LLM 生成令牌时就快速返回，而不是等待创建完整响应后再返回全部内容。

在简单的场景中，流式传输实际上非常容易实现，但当涉及到智能体之类的应用时，它会变得复杂，这些智能体有自己的运行逻辑，可能会阻止我们尝试进行流式传输。

本文将探讨 langchain 的流式输出，后面将实现智能体最终结果的流式输出。

本次演练将全部使用 qwen2.5:7b 开源大模型。

本地大模型编程实战(26)用langgraph实现基于SQL数据构建的问答系统(5)

Wed, 26 Feb 2025 00:00:00 +0000

本文将扩展上一篇文章完成的 langgraph 链，继续使用基于 langgraph 链，对结构化数据库 SQlite 进行查询的方法。该系统建立以后，我们不需要掌握专业的 SQL 技能，可以用自然语言询问有关数据库中数据的问题并返回答案。主要完善一下两点内容：

自动记录消息历史
增加人工审核环节，防止 LLM(大语言模型) 运行危险的SQL语句

我们先看看完成的 langgraph 链的模样，主要有两步：创建SQL查询语句->执行SQL查询语句，在执行SQL查询前中断进行人工审核，上一篇文章的链没有人工审核：


本次实现的链	上一篇文章实现的链

使用 qwen2.5 、 llama3.1 做实验。

请注意:
构建 SQL 数据库的问答系统需要执行模型生成的 SQL 查询。这样做存在风险，请确保您的数据库连接权限始终尽可能小，这将减轻（但不能消除）构建模型驱动系统的风险。

本地大模型编程实战(25)用langgraph实现基于SQL数据构建的问答系统(4)

Tue, 25 Feb 2025 00:00:00 +0000

本文将演练使用基于 langgraph 链，对结构化数据库 SQlite 进行查询的方法。该系统建立以后，我们不需要掌握专业的 SQL 技能，可以用自然语言询问有关数据库中数据的问题并返回答案。
使 大语言模型(LLM) 查询结构化数据与非结构化文本数据有所不同。查询非结构化数据时，通常需要将待查询的文本嵌入到向量数据库中；而查询结构化数据的方法则是让 LLM 编写和执行 DSL（例如 SQL）进行查询。

在用langchain实现基于SQL数据构建问答系统(1) 中，我们已经用 langchain 的 create_sql_query_chain 实现了类似功能，在本文结束后，我们将能看到它们之间的区别。

我们先看看完成的 langgraph 链的模样，情况一目了然，主要有两步：创建SQL查询语句->执行SQL查询语句：

使用 qwen2.5 、 deepseek 以及 llama3.1 做实验。

本地大模型编程实战(24)用智能体(Agent)实现智能纠错的SQL数据库问答系统(3)

Mon, 24 Feb 2025 00:00:00 +0000

本文将实现这样一个 智能体(Agent) ：

可以使用自然语言对 SQLite 数据库进行查询。即：用户用自然语言提出问题，智能体也用自然语言根据数据库的查询结果回答问题。
增加一个自动对查询中的专有名词进行纠错的工具，这将明显提升查询的准确性。

本次将使用 qwen2.5 、 llama3.1 做实验。

本地大模型编程实战(23)用智能体(Agent)实现基于SQL数据构建问答系统(2)

Sun, 23 Feb 2025 00:00:00 +0000

本文将用 智能体(Agent) 实现对 SQLite 数据库的查询：用户用自然语言提出问题，智能体也用自然语言根据数据库的查询结果回答问题。

本次将分别在英文、中文环境下，使用 qwen2.5 、 MFDoom/deepseek-r1-tool-calling:7b 以及 llama3.1 做实验。

本地大模型编程实战(22)用langchain实现基于SQL数据构建问答的系统(1)

Wed, 19 Feb 2025 00:00:00 +0000

使 LLM(大语言模型) 系统能够查询结构化数据与非结构化文本数据在性质上可能不同。后者通常生成可在向量数据库中搜索的文本，而结构化数据的方法通常是让 LLM 编写和执行 DSL（例如 SQL）中的查询。
我们将演练使用 langchain 链，在结构化数据库 SQlite 中的数据上创建问答系统的基本方法，该系统建立以后，我们用自然语言询问有关数据库中数据的问题并返回答案。
后面我们将基于 智能体(Agent) 实现类似功能，两者之间的主要区别在于：智能体可以根据需要多次循环查询数据库以回答问题。

实现上述功能需要以下步骤：

将问题转换为 DSL 查询：模型将用户输入转换为 SQL 查询；
执行 SQL 查询；
回答问题：模型使用查询结果响应用户输入。

使用 qwen2.5 、 deepseek 以及 llama3.1 做实验。

本地大模型编程实战(21)支持多参数检索的RAG(Retrieval Augmented Generation,检索增强生成)(5)

Tue, 18 Feb 2025 00:00:00 +0000

在实现 RAG(Retrieval Augmented Generation,检索增强生成) 系统的时候，在检索（retrieve）知识库时通常一个参数。
本文将演练更复杂一点的情况：通过两个参数进行知识库的检索。为此会在 langgraph链中增加一个 analyze_query 节点，它用来基于用户问题推理检索的参数。

本次构建的 LangGraph 链结构如下图：

使用 qwen2.5 、 deepseek 以及 llama3.1 做实验，用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(20)用langgraph和智能体实现RAG(Retrieval Augmented Generation,检索增强生成)(4)

Mon, 17 Feb 2025 00:00:00 +0000

上一篇文章我们演练了一个用 langgraph 实现的 RAG(Retrieval Augmented Generation,检索增强生成) 系统。本文将要在此基础上，增加自动记录聊天历史的功能，另外，我们还将使用一个 Agent(智能体) 来实现几乎同样的功能，我们来一起体会一下用 langgraph 和 Agent(智能体) 实现 RAG系统 的区别。

本次构建的 LangGraph 链结构如下图：
如上图，query_or_respond 是一个条件节点，它通过能否根据用户的问题生成工具调用（tool_calls），来判断是否需要检索矢量知识库：如果工具调用为空，则直接由大语言模型处理；否则通过工具调用调用 tools 进行检索。
实现类似功能的智能体结构如下图：
我们可以直观的发现：用 Agent(智能体) 实现更加简单。

使用 qwen2.5 、 deepseek 以及 llama3.1 做实验，用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(19)用langgraph实现RAG(Retrieval Augmented Generation,检索增强生成)(3)

Sun, 16 Feb 2025 00:00:00 +0000

上一篇文章我们演练了一个用 langgraph 实现的 RAG(Retrieval Augmented Generation,检索增强生成) 系统。本文将要创建的系统将更加智能：如果在知识库中未找到靠谱的文档，则用 LLM(大语言模型) 自身的能力弥补。
另外，检索和生成部分增加了更多的细节控制。本次构建的 LangGraph 链如下图：
如上图，query_or_respond 是一个条件节点，它通过能否根据用户的问题生成工具调用（tool_calls），来判断是否需要检索矢量知识库：如果工具调用为空，则直接由大语言模型处理；否则通过工具调用调用 tools 进行检索。

使用 qwen2.5 、 deepseek 以及 llama3.1 做实验，用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(18)用langgraph实现RAG(Retrieval Augmented Generation,检索增强生成)(2)

Sat, 15 Feb 2025 00:00:00 +0000

本文将使用 langgraph 实现一个简单的 RAG(Retrieval Augmented Generation,检索增强生成) 系统。

使用 qwen2.5 、 deepseek-r1 以及 llama3.1 做实验，用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(17)用langchain和智能体实现RAG(Retrieval Augmented Generation,检索增强生成)(1)

Fri, 14 Feb 2025 00:00:00 +0000

本文将用实际代码演练一个简单的 RAG(Retrieval Augmented Generation,检索增强生成) 系统。

使用 qwen2.5 、 deepseek-r1 以及 llama3.1 做实验，用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(16)在智能体中自动记录消息历史(3)

Thu, 13 Feb 2025 00:00:00 +0000

本文将基于上一篇文章完善 Agent(智能体) ，主要完善的功能有：

跟踪 Agent(智能体) 的执行过程
记录消息历史

此次我们使用 qwen2.5 做 LLM（大语言模型） 驱动 Agent(智能体) ，使用 shaw/dmeta-embedding-zh 做中文嵌入和检索。

本地大模型编程实战(15)可以调用两个工具的智能体Agent(2)

Wed, 12 Feb 2025 00:00:00 +0000

在上一篇文章中，我们实践了如何使用 langchain 创建一个简单的 ReAct Agent(智能体)，这次我们升级一下玩法：实现一个可以调用两个工具的智能体。
其中一个工具用户查询天气预报，另外一个工具用来查询知识库，实际上该工具实现了 RAG(Retrieval Augmented Generation,检索增强生成)。

此次我们使用 qwen2.5, llama3.1 和 deepseek 。感觉在处理中文方面，感觉 qwen2.5 比 llama3.1 要好一些。

本地大模型编程实战(14)初探智能体Agent(1)

Tue, 11 Feb 2025 00:00:00 +0000

在前面的文章中，我们了解了 LLM(大语言模型) 如何使用 tool(工具) ，现在我们开始进一步，初探 Agent(智能体) 的玩法。
其中的 tool(工具) 用于从矢量数据库中查询信息，这种方式在 RAG(Retrieval Augmented Generation,检索增强生成) 也很常用。在这种场景中，能否准确的查询出有用信息很关键，为此我们本次将使用多种大模型进行对比演练。包括：

多语言通用 LLM: llma3.1 , deepseek-r1 , qwen2.5
专用于嵌入检索的大模型： shaw/dmeta-embedding-zh , milkey/m3e , mxbai-embed-large , nomic-embed-text , all-minilm:33m

了解 `Agent(智能体)`

`tool(工具)` 与 `Agent(智能体)` 的区别

工具往往用于大语言模型调用其它功能，比如：搜索、数据库查询、计算等；Agent(智能体) 是一个可以使用 LLM 处理复杂任务的智能体；它通常会决定：

何时调用 tool(工具)
选择哪个工具
处理工具返回的结果

`ReAct（Reasoning + Acting）`

ReAct（Reasoning + Acting）是一种用于 Agent(智能体) 的决策方式，它结合了推理（Reasoning）和行动（Acting），让智能体能更灵活地思考和执行任务。
简单来说，ReAct 让智能体在做事情之前，先思考一下，然后再决定下一步行动，而不是盲目执行。

`ReAct` 的核心思路

观察环境（Observations）：获取当前任务或问题的信息。
推理（Reasoning）：分析当前信息，思考如何解决问题。
执行行动（Acting）：基于推理结果，采取具体的行动（比如调用工具、查询数据库、与用户交互等）。
循环执行：智能体会不断重复观察 → 推理 → 行动的过程，直到任务完成。

关于 ReAct 的更多内容，请参阅：ReACT Agent Model

本地大模型编程实战(13)与外部工具交互时注入参数(4)

Mon, 10 Feb 2025 00:00:00 +0000

在使用 LLM(大语言模型) 调用工具方法时，可能会在运行时才会将类似用户ID 的数值传递给工具。
大多数情况下，此类值不应由 LLM 控制。允许 LLM 控制用户ID 可能会导致安全风险。
相反，LLM 应该只控制本应由 LLM 控制的工具参数，而其他参数（如用户ID）应由应用程序逻辑固定。

本文将向您展示：如何防止大模型生成某些工具参数并在运行时直接注入它们。

本文使用 llama3.1 和 MFDoom/deepseek-r1-tool-calling:7b 进行演练。 deepseek-r1 不支持 langchain 的 bind_tools 方法。

本地大模型编程实战(12)与外部工具交互时进行人工审核(3)

Sun, 09 Feb 2025 00:00:00 +0000

本文将实践如何在 LLM(大语言模型) 调用工具函数时进行审核，即由人来确定是否应该调用工具函数。

本次使用 llama3.1 和 MFDoom/deepseek-r1-tool-calling:7b 进行演练。 deepseek-r1 不支持 langchain 的 bind_tools 方法。

本地大模型编程实战(11)用提示词提升与外部工具交互的能力并支持deepseek(2)

Sat, 08 Feb 2025 00:00:00 +0000

在使用 LLM(大语言模型) 时，经常需要调用一些自定义的工具方法完成特定的任务，比如：执行一些特殊算法、查询天气预报、旅游线路等。
很多大模型都具备使用这些工具方法的能力，Langchain 也为这些调用提供了便利。

之前的文章介绍了 llama3.1 与工具方法交互的实际例子，不过可惜 langchain 对 deepseek 支持还不够，导致：

llm.bind_tools 根据用户问题生成的工具方法签名与 llama3.1 不同，在后续在调用工具方法时报错

deepseek 返回的结果中包含了思考过程内容，显然 Langchain 还不能正确解析出最终结果，这会导致 langchain 的很多方法不能正常运行

这次我们将尝试通过以下两种方法解决 Langchain 使用 deepseek 时产生的上述问题：

使用提示词让大模型推理调用工具的方法名称和参数
使用自定义的 JsonOutputParser 处理 deepseek 返回的信息

这里使用 llama3.1 和 deepseek 等不同模型做对比，并不是为了说明孰优孰劣，而是仅仅为了技术演示需要。

本地大模型编程实战(10)与外部工具交互(1)

Fri, 07 Feb 2025 00:00:00 +0000

某些模型能够进行工具方法调用：生成用户自定义的方法的签名并调用它。一般来说，此交互过程主要包含下面几个步骤：

LLM(大语言模型) 根据用户的问题推理生成调用工具方法的名称和参数
调用工具，返回简单的结果
再次调用 LLM ，生成自然流畅的回答

下面我们来说明这一过程。

应该是因为 langchian 对 deepseek 的支持还完善，使用 deepseek-r1 无法生成工具方法签名，使用 MFDoom/deepseek-r1-tool-calling:7b 可以生成工具方法签名，但是在调用工具方法时不成功。
所以本文仅使用 llama3.1。

本地大模型编程实战(09)完善聊天机器人(3)

Thu, 06 Feb 2025 00:00:00 +0000

本文将实现一个比较完善的聊天机器人的主要功能。包括：

使用 LangGraph 构建聊天机器人
自动裁剪聊天历史
管理聊天会话的方法
以流的方式输出回复

我们将同时使用 llama3.1 和 deepseek 做演示。由于 langchain 可能对不同大模型支持程度不同以及其它限制，所以这个对比并不能说明哪个模型更好。

本地大模型编程实战(08)用提示词改变聊天机器人的能力(2)

Wed, 05 Feb 2025 00:00:00 +0000

本文将演示使用大语言模型自制聊天机器人。主要的内容有：

使用 LangGraph 进一步完善聊天机器人
使用提示词改变 LLM 的能力

我们将同时使用 llama3.1 和 deepseek 做演示。由于 langchain 可能对不同大模型支持程度不同，不同大模型的特点也不同，所以这个对比并不能说明哪个模型更好。

本地大模型编程实战(07)用langgraph自制聊天机器人(1)

Tue, 04 Feb 2025 00:00:00 +0000

本文将演示使用大语言模型自制聊天机器人。主要的内容有：

如何让机器人具有记忆
如何使用 langgraph 自动记录聊天历史

我们将同时使用 llama3.1 和 deepseek 做演示。由于 langchain 可能对不同大模型支持程度不同，不同大模型的特点也不同，所以这个对比并不能说明哪个模型更好。

本地大模型编程实战(06)从文本中提取重要信息(2)

Mon, 03 Feb 2025 00:00:00 +0000

本文将演示使用大语言模型从文本中提炼结构化信息。这次我们不直接使用提示词，而是使用大模型的 few-shot prompting 特性，即使用很少的例子来引导大模型做推理。
我们将用 llama3.1 和 deepseek 做一个简单的对比。

由于 langchain 可能对不同大模型支持程度不同，不同大模型的特点也不同，所以这个对比并不能说明哪个模型更好。

本地大模型编程实战(05)从文本中提取重要信息(1)

Wed, 29 Jan 2025 00:00:00 +0000

本文将演示使用大语言模型从文本中提炼结构化信息。
我们将用 llama3.1 和 deepseek 做一个简单的对比。

由于 langchain 可能对不同大模型支持程度不同，不同大模型的特点也不同，所以这个对比并不能说明哪个模型更好。

本地大模型编程实战(04)给文本自动打标签

Mon, 27 Jan 2025 00:00:00 +0000

使用本地大模型可以根据需要给文本打标签，本文介绍了如何基于 langchain 和本地部署的大模型给文本打标签。

本文使用 llama3.1 作为本地大模型，它的性能比非开源大模型要查一下，不过在我们可以调整提示词后，它也基本能达到要求。

本地大模型编程实战(03)用本地矢量数据库实现语义检索(2)

Sun, 26 Jan 2025 00:00:00 +0000

上一篇文章：本地大模型编程实战(02)语义检索(1) 详细介绍了如何使用 langchain 实现语义检索，为了演示方便，使用的是 langchain 提供的内存数据库。
在实际工作中，更多的使用场景是将矢量化的数据物理存储下来，在查询的时候在从存储介质中读取矢量数据进行查询，不会每次使用矢量数据时都必须想做嵌入。

本文描述了如何使用 Chroma 对csv数据进行矢量化，并且将矢量存储在硬盘中，未来查询矢量数据时，直接从硬盘中读取矢量数据进行查询。
另外，如果数据量大一些，矢量化数据是很花时间的，我们将使用进度条显示嵌入csv的进度。

本地大模型编程实战(02)语义检索(1)

Sat, 25 Jan 2025 00:00:00 +0000

我们在百度、必应、谷歌等搜索引擎中使用的检索都是基于字符串的：用户输入字符串后，搜索引擎先对搜索内容进行分词，然后在已经进行了倒排索引的巨大数据库中找出最符合用户要求的结果。
语义检索与其主要的区别是：它根据文本的真正含义进行搜索，其基本思路是将待检索的内容都转变成矢量（这个过程也叫做嵌入），转化矢量的基本原则是：语义相近的内容距离更近、相似性更高。
当用户输入检索内容时，也是先把检索内容变成矢量，然后去矢量数据库中找到最相似的文档。这样检索出来的结果并不依据字面的意思，而是依据语义的相似度。

本文描述了如何使用 langchain 和 大语言模型 以及 矢量数据库 完成pdf内容的语义检索。
在对内容进行矢量化时使用了 nomic-embed-text，这个模型个头小，英文嵌入效果不错。
后面还将涉及到以下内容：

文档和文档加载器
文本分割器
嵌入
向量存储和检索器

本地大模型编程实战(01)实现翻译功能

Fri, 24 Jan 2025 00:00:00 +0000

大语言模型的主要功能是预测：输入一些字符串，它预测输出另一些字符串，这个特点使它擅长翻译。

本文描述了如何使用大语言模型(LLM)实现基本的翻译功能，此翻译功能的特点是：无需指定源语言，只需要指定目标语言就可以进行翻译了。

使用LangServe做API开放本地大模型的能力

Sun, 27 Oct 2024 00:00:00 +0000

LangServe可以轻松的将langchain的能力包装为接口，为前端提供服务。本文通过一个简单的应用演示LangServe如何使用。

基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

Thu, 10 Oct 2024 00:00:00 +0000

本文概述了基于langchian框架和对话式增强生成（Conversational RAG(Retrieval Augmented Generation)）技术实现知识问答。
具体来说，系统自动记录聊天历史，并把它作为上下文提供给大模型，这样它让大模型产生了“记忆”，可以“理解”和关联上下文，体验更好。
此样例程序使用本地部署的nomic-embed-text模型做嵌入检索，使用本地部署的llama3.1做回答内容生成。

基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

Wed, 09 Oct 2024 00:00:00 +0000

本文讲述了基于langchian框架，使用本地部署的nomic-embed-text模型做嵌入检索、llama3.1做回答内容生成的知识问答系统实例。

会话式检索增强生成，即：Conversational RAG。
nomic-embed-text：一个高性能开放嵌入模型，具有较大的标记上下文窗口。这个模型只有274M，但实际做嵌入和检索时，感觉比llama3好。

通过对比测试使用历史聊天记录和不使用历史聊天记录两种情况，我们可以明显看出来使用历史聊天记录的优点：它让大模型产生了“记忆”，可以“理解”和关联上下文，体验更好。

使用langchain+本地lamma3.1+本地chroma做RAG系统

Tue, 01 Oct 2024 00:00:00 +0000

本文详细讲述了如何使用langchain+本地lamma3.1+本地chroma做RAG系统。

在langchian中使用本地部署的llama3.1大模型

Tue, 01 Oct 2024 00:00:00 +0000

本文讲述如何在langchian中使用本地部署的llama3.1大模型。

大语言模型能做什么

Fri, 20 Sep 2024 00:00:00 +0000

当前AI的本质能力上是预测：AI能通过大数据训练，总结过去的规律，预测未来。
比如我们问AI：“内蒙古的首府是哪个城市？”，其实AI并不会透彻“理解”这句话的意思，但是它可以预测：当人们提出这样一个问题时，他们寻找的是一个特定的答案：呼和浩特。
从经济的角度看，AI能让各种“中低端”的服务变得更廉价，可见AI必然会逐渐替代这些服务有其必然性。

大模型的涌现能力

Thu, 19 Sep 2024 00:00:00 +0000

涌现能力是在模型参数增加到某一临界点后突然出现的，这些能力包括但不限于语言理解能力、生成能力、逻辑推理能力等，而这种能力是小模型所不具备的。
这也是为什么chat GPT出现后让人眼前一亮：和它聊天与真人无异，不像是机器了！这主要应该归功于大模型的涌现能力。

LLM(大语言模型) on 有趣的AI

[合集]本地大模型编程实战

[合集]从零搭建langchain+本地大模型+本地矢量数据库的RAG系统

【保姆级教程】自己搭建AI大模型实验室

【保姆级教程】用dify搭建智能体Agent

本地大模型编程实战(38)实现一个通用的大模型客户端

本地大模型编程实战(33)用SSE实现大模型的流式输出

本地大模型编程实战(32)用websocket显示大模型的流式输出

本地大模型编程实战(31)用Map-Reduce从大文本中提取摘要

本地大模型编程实战(30)从文本提取摘要

本地大模型编程实战(29)用大语言模型LLM查询图数据库NEO4J(2)

本地大模型编程实战(28)用大语言模型LLM查询图数据库NEO4J(1)

本地大模型编程实战(27)初探langgraph的流式输出

本地大模型编程实战(26)用langgraph实现基于SQL数据构建的问答系统(5)

本地大模型编程实战(25)用langgraph实现基于SQL数据构建的问答系统(4)

本地大模型编程实战(24)用智能体(Agent)实现智能纠错的SQL数据库问答系统(3)

本地大模型编程实战(23)用智能体(Agent)实现基于SQL数据构建问答系统(2)

本地大模型编程实战(22)用langchain实现基于SQL数据构建问答的系统(1)

本地大模型编程实战(21)支持多参数检索的RAG(Retrieval Augmented Generation,检索增强生成)(5)

本地大模型编程实战(20)用langgraph和智能体实现RAG(Retrieval Augmented Generation,检索增强生成)(4)

本地大模型编程实战(19)用langgraph实现RAG(Retrieval Augmented Generation,检索增强生成)(3)

本地大模型编程实战(18)用langgraph实现RAG(Retrieval Augmented Generation,检索增强生成)(2)

本地大模型编程实战(17)用langchain和智能体实现RAG(Retrieval Augmented Generation,检索增强生成)(1)

本地大模型编程实战(16)在智能体中自动记录消息历史(3)

本地大模型编程实战(15)可以调用两个工具的智能体Agent(2)

本地大模型编程实战(14)初探智能体Agent(1)

了解 Agent(智能体)

tool(工具) 与 Agent(智能体) 的区别

ReAct（Reasoning + Acting）

ReAct 的核心思路

本地大模型编程实战(13)与外部工具交互时注入参数(4)

本地大模型编程实战(12)与外部工具交互时进行人工审核(3)

本地大模型编程实战(11)用提示词提升与外部工具交互的能力并支持deepseek(2)

本地大模型编程实战(10)与外部工具交互(1)

本地大模型编程实战(09)完善聊天机器人(3)

本地大模型编程实战(08)用提示词改变聊天机器人的能力(2)

本地大模型编程实战(07)用langgraph自制聊天机器人(1)

本地大模型编程实战(06)从文本中提取重要信息(2)

本地大模型编程实战(05)从文本中提取重要信息(1)

本地大模型编程实战(04)给文本自动打标签

本地大模型编程实战(03)用本地矢量数据库实现语义检索(2)

本地大模型编程实战(02)语义检索(1)

本地大模型编程实战(01)实现翻译功能

使用LangServe做API开放本地大模型的能力

基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

使用langchain+本地lamma3.1+本地chroma做RAG系统

在langchian中使用本地部署的llama3.1大模型

大语言模型能做什么

大模型的涌现能力

了解 `Agent(智能体)`

`tool(工具)` 与 `Agent(智能体)` 的区别

`ReAct（Reasoning + Acting）`

`ReAct` 的核心思路