Langchain本地RAG系统从零搭建 on 有趣的AI

[合集]Langchain本地RAG系统从零搭建

Thu, 10 Oct 2024 00:00:00 +0000

此系列文章详细的阐述了如何从第一行代码开始搭建一个可以运行完全在本地服务器的RAG(Retrieval Augmented Generation)系统，包含了详细的步骤说明和代码，它是保姆级教程。
它主要包含以下功能：

使用本地大语言模型做语言翻译
使用本地大语言模型做专业领域的知识问答

从系统架构来看，本系统包含了前端、API网关、后台服务三大部分：

如何选择FAISS的索引类型

Fri, 03 Oct 2025 00:00:00 +0000

在之前的文章中，我们系统性的介绍了嵌入和语义检索以及向量相似度。
本文将在语义检索领域探讨更加接近实战的话题：如何如何选择FAISS的索引类型。
Faiss 是一个用于高效相似性搜索和密集向量聚类的库。它使用 C++ 编写，并提供了完整的 Python 封装。可以在 CPU 上运行，只是一些最有用的算法是在 GPU 上实现的。它的主要功能是：

k-NN 检索: 不仅返回最近的邻居，还返回第二近、第三近、……、第 k 近的邻居；
批量处理: 一次搜索多个向量，而不是一次搜索一个。对于许多索引类型，这比一个接一个地搜索向量更快；
以精度换取速度: 以 10% 的不正确结果为代价，换取 10 倍的速度或使用更少的内存；
范围搜索：返回查询点给定半径内的所有元素；
本地存储：将索引存储在磁盘上而不是在 RAM 中；
…

用图形验证码增强用户认证安全性[python+vuetify]

Sun, 05 Jan 2025 00:00:00 +0000

这里通过代码讲述了使用python生成以及校验图片验证码，增强用户认证安全性的过程。
客户端则使用 vue3 和 vuetify3 框架使用后台API生成的图片验证码。

[python]实现可以自动清除过期条目的缓存

Sat, 04 Jan 2025 00:00:00 +0000

由于有缓存图片验证码的需要，所以我找了一些开源的缓存想直接使用，结果要么太老旧，要么太复杂，要么和 fastAPI 整合有问题，所以才想到自己写一个简单的，够用就好。

本文讲述了如何实现一个简单的内存缓存，他可以把过期的键值自动清除，在缓存验证码等场合应该很好用。

基于OAuth2.0和JWT规范实现安全易用的用户认证

Wed, 01 Jan 2025 00:00:00 +0000

遵循OAuth2.0和JWT规范实现用户认证，不但具有很好的实用性，还能提供很不错的安全保障。
本文结合实用的代码讲述了基于OAuth2.0和JWT，在前后端分离的系统中，实现用户使用方便而又安全可靠的用户认证的基本思路。

基于FastAPI和JWT实现OAuth2用户认证

Sun, 01 Dec 2024 00:00:00 +0000

本文阐述了如何基于FastAPI框架实现 OAuth2用户认证，其中使用哈希算法对密码进行了加密，使用 JWT 持有令牌。
附带完整的代码，避免大家再次踩坑。

使用FastAPI实现简单的OAuth2的Password和Bearer验证

Sun, 01 Dec 2024 00:00:00 +0000

本文讲述了基于FastAPI框架，实现实现简单的OAuth2的Password和Bearer验证。
附带完整的代码，避免大家再次踩坑。

使用FastAPI实现微服务API网关

Thu, 14 Nov 2024 00:00:00 +0000

本文阐述了基于FastAPI实现一个API网关的详细步骤，这样未来可以不断的在服务端像搭积木一样添加各种服务。
我们即将实现下面的简单的微服务架构，目前它只实现了请求转发功能：

用FastAPI做langchain本地大模型的API

Tue, 05 Nov 2024 00:00:00 +0000

本文讲述了如何使用FastAPI和langchain框架，包装本地大模型llama3.1，实现语言翻译功能的API。
相对于 Flask ，使用FastAPI做接口要简便得多。

用Flask做langchain服务的API

Sun, 03 Nov 2024 00:00:00 +0000

本文讲述了如何使用一个利用本地大模型llama3.1实现语言翻译功能的API。
它用flask很轻松的将langchian服务开放为API，结合flasgger给文档添加注释并生成playground，并且使用jsonschema做json数据校验，轻松验证接口参数。
麻雀虽小，但五脏俱全，应该对langchain入门者有较大帮助。

使用LangServe做API开放本地大模型的能力

Sun, 27 Oct 2024 00:00:00 +0000

LangServe可以轻松的将langchain的能力包装为接口，为前端提供服务。本文通过一个简单的应用演示LangServe如何使用。

基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

Thu, 10 Oct 2024 00:00:00 +0000

本文概述了基于langchian框架和对话式增强生成（Conversational RAG(Retrieval Augmented Generation)）技术实现知识问答。
具体来说，系统自动记录聊天历史，并把它作为上下文提供给大模型，这样它让大模型产生了“记忆”，可以“理解”和关联上下文，体验更好。
此样例程序使用本地部署的nomic-embed-text模型做嵌入检索，使用本地部署的llama3.1做回答内容生成。

基于langchain和本地大模型以及会话式检索增强生成技术实现知识问答

Wed, 09 Oct 2024 00:00:00 +0000

本文讲述了基于langchian框架，使用本地部署的nomic-embed-text模型做嵌入检索、llama3.1做回答内容生成的知识问答系统实例。

会话式检索增强生成，即：Conversational RAG。
nomic-embed-text：一个高性能开放嵌入模型，具有较大的标记上下文窗口。这个模型只有274M，但实际做嵌入和检索时，感觉比llama3好。

通过对比测试使用历史聊天记录和不使用历史聊天记录两种情况，我们可以明显看出来使用历史聊天记录的优点：它让大模型产生了“记忆”，可以“理解”和关联上下文，体验更好。

使用langchain+本地lamma3.1+本地chroma做RAG系统

Tue, 01 Oct 2024 00:00:00 +0000

本文详细讲述了如何使用langchain+本地lamma3.1+本地chroma做RAG系统。

在langchian中使用本地部署的llama3.1大模型

Tue, 01 Oct 2024 00:00:00 +0000

本文讲述如何在langchian中使用本地部署的llama3.1大模型。

在Visual Studio Code中配置venv

Tue, 01 Oct 2024 00:00:00 +0000

介绍如何在Visual Studio Code中配置venv