构建chatbox的web版本的docker镜像
Chatbox 是一款开源的跨平台 AI 聊天客户端,核心功能是聚合管理多个 AI 模型,并提供更高效、隐私可控的对话体验。 Chatbox 默认支持桌面端 Electron 应用,在构建纯 web 的 docker 容器时,需要自定义构建过程。 最近我因为构建AI实验室的需要,希望构建 Chatbox 的纯web的docker镜像,然后部署在服务器上,方便大家使用。 这个过程比较艰辛,希望它能让您少走弯路:) ...
Chatbox 是一款开源的跨平台 AI 聊天客户端,核心功能是聚合管理多个 AI 模型,并提供更高效、隐私可控的对话体验。 Chatbox 默认支持桌面端 Electron 应用,在构建纯 web 的 docker 容器时,需要自定义构建过程。 最近我因为构建AI实验室的需要,希望构建 Chatbox 的纯web的docker镜像,然后部署在服务器上,方便大家使用。 这个过程比较艰辛,希望它能让您少走弯路:) ...
Ollama 是一个致力于让每个人都能在本地设备上自由运行大型语言模型的开源平台。它可以在 windows 和 linux 平台上运行,即支持 GPU ,也支持 CPU,使用起来很方便。 本文介绍了如何在ubuntu中离线部署 ollama 和大模型 qwen3。 ...
docker 作为容器化技术的代表,其核心优势在于解决了 软件在不同环境中运行不一致 的痛点,并通过轻量级虚拟化、标准化部署等特性显著提升了开发、测试和运维效率。 在绝大部分场合,掌握了 docker 和 docker-compose 就足够应对一般的应用场景了,本文将讲述在服务器不连接互联网的情况下,如何在ubuntu中离线部署 docker 和 docker-compose。 ...
在之前的文章中,我们系统性的介绍了 嵌入和语义检索 以及 向量相似度。 本文将在语义检索领域探讨更加接近实战的话题:如何如何选择FAISS的索引类型。 Faiss 是一个用于高效相似性搜索和密集向量聚类的库。它使用 C++ 编写,并提供了完整的 Python 封装。 可以在 CPU 上运行,只是一些最有用的算法是在 GPU 上实现的。它的主要功能是: k-NN 检索: 不仅返回最近的邻居,还返回第二近、第三近、……、第 k 近的邻居; 批量处理: 一次搜索多个向量,而不是一次搜索一个。 对于许多索引类型,这比一个接一个地搜索向量更快; 以精度换取速度: 以 10% 的不正确结果为代价,换取 10 倍的速度或使用更少的内存; 范围搜索:返回查询点给定半径内的所有元素; 本地存储: 将索引存储在磁盘上而不是在 RAM 中; … ...
在之前的文章 嵌入和语义检索 中,我们了解了把文本变成向量的方法,由于这些向量相当于将文本做了分类:语义相近的距离越近,所以这些向量就可以很方便的应用于语义检索场景了。 比较向量相似度(vector similarity)的常见算法主要分为两大类: 1️⃣ 基于“角度/方向”的度量 2️⃣ 基于“距离/差异”的度量 下面我们系统的整理一下。 ...