使用litellm将本地ollama代理成OpenAI API

简介

litellm 是一个轻量级的工具，可以将本地运行的 Ollama 模型代理成 OpenAI API，从而使得一些依赖 OpenAI API 的应用程序能够无缝使用本地的大模型。本文将详细介绍如何安装和配置 litellm，并给出在 ChatDev 中通过该代理访问本地大模型的示例。

安装步骤

1、安装 Python 环境

确保你的系统中已经安装了 Python3。如果没有，请先安装 Python3。

conda create -n litellm python=3.9 -y
conda activate litellm

2、安装 litellm

使用 pip 安装 litellm 库。

pip install 'litellm[proxy]'

3、配置 Ollama 模型

确保你已经在本地安装并配置好了 Ollama 模型。如果没有，请先安装并配置 Ollama 模型。

# 假设你已经安装好了 Ollama，可以通过以下命令启动 Ollama 服务
ollama serve --model-path /path/to/your/model

4、启动 litellm 代理

启动 litellm 代理服务。

# 启动 litellm 并指定本地 Ollama 模型地址
litellm --api_base http://localhost:11434 --add_key OPENAI_API_KEY=dummy --drop_params --model ollama/llama3:latest

上述命令将启动一个代理服务，监听本地的 Ollama 模型，并伪装成 OpenAI API。这样代理就完成了，接下来在需要openai的应用中，设置代理即可。

在 ChatDev 中使用本地大模型

接下来我们将修改 ChatDev 的配置，使其通过 litellm 代理来访问本地的大模型。

1、克隆 ChatDev 仓库

首先，克隆 ChatDev 的 GitHub 仓库。

git clone https://github.com/OpenBMB/ChatDev.git
cd ChatDev

2、安装依赖

安装所需的依赖。

pip install -r requirements.txt

3、通过litellm代理启动ChatDev

BASE_URL=http://localhost:4000 OPENAI_API_KEY=dummy python3 run.py --task "make a greedy snake game, use html,js" --name "greedy snake"