更上层楼！仅用2GB资源，让最火的DeepSeek-R1在本机上奔跑！

by June 2025-02-06

一夜之间，中国AI大模型DeepSeek-R1横扫硅谷，迅速引爆全球科技圈，英伟达AI科学家Jim Fan发文感叹：“一家非美国公司，正在让OpenAI的初衷证实——真正开放、为产权赋能的前沿研究”。是的，DeepSeek-R1不仅性能媲美OpenAI O1，更成就了完全开源。

DeepSeek-R1模型的发布，让我们可以更好地使用开源大语言模型运行推理任务。现在，R1模型可以通过DeepSeek API获取，那么我们可以将其集成到我们的工作流程中。更好的消息是，Ollama在他们的库中添加了几个版本的R1模型，现在我们可以在本地使用Ollama运行R1模型。

现在你将可以实现一个命令建立你的本地知识库❗︎全程3分钟❗︎覆盖2GB内存❗︎消耗GPU运行❗︎安装即用❗︎快速使用❗︎

下面我们将使用具有「RAG 功能的完整文档管道」的 AI 搜索引擎开发框架 LeetTools，在本地运行 Ollama 的 R1 模型。由于我们使用 DuckDB 作为支架，整个流程可以轻松地安装在一台具有 16GB RAM 并且没有专用 GPU 的笔记本电脑中。

演示

安装 Ollama

1.按照以下说明操作https://github.com/ollama/ollama 安装ollama程序。

# if the ollama program is not running, start it with the following command
ollama serve

2. 加载ollama模型：

% ollama pull deepseek-r1:1.5b
% ollama pull nomic-embed-text

安装 LeetTools

% conda create -y -n leettools python=3.11
% conda activate leettools
% pip install leettools

# where we store all the data and logs
% export LEET_HOME=${HOME}/leettools
% mkdir -p ${LEET_HOME}

% cat > .env.ollama <<EOF
# need tot change LEET_HOME to the correct path
LEET_HOME=</Users/myhome/leettools>
EDS_DEFAULT_LLM_BASE_URL=http://localhost:11434/v1
EDS_LLM_API_KEY=dummy-key
EDS_DEFAULT_INFERENCE_MODEL=deepseek-r1:1.5b
EDS_DEFAULT_EMBEDDING_MODEL=nomic-embed-text
EDS_EMBEDDING_MODEL_DIMENSION=768
EOF

使用一个命令创建您的本地知识库

通过一个命令行，我们可以使用URL中的PDF文件构建知识库。如果需要，您还可以添加更多URL。

# this is a great LLM introduction book with 231 pages
leet kb add-url -e .env.ollama -k llmbook -l info \
    -r https://arxiv.org/pdf/2501.09223

使用R1查询您的本地知识库

以下将使用LLM构建指南中的内容，使用R1模型回答问题。

leet flow -t answer -e .env.ollama -k llmbook -p retriever_type=local -l info \
    -p output_language=cn -q "How does the FineTune process Work?"

资源使用情况

这个过程最大的地方就是，整个管道只使用了大约2GB的内存，不需要特殊的GPU来运行：

带有RAG服务的LeetTools文档管道使用了大约350MB的内存
R1型号使用大约1.6GB的内存，嵌入式型号使用大约370MB的内存

% ollama ps NAME                       ID              SIZE      PROCESSOR    UNTIL              deepseek-r1:1.5b           a42b25d8c10a    1.6 GB    100% CPU     4 minutes from now    nomic-embed-text:latest    0a109f422b47    370 MB    100% CPU     4 minutes from now