fastgpt+oneapi实现大模型整合

OneAPI

市面上有很多大模型，比如OpenAI，谷歌Gemini，智普AI，文心一言等等，各个模型的输入输出都不统一，而且鉴权方式不同，OneAPI就是把这些模型的输入输出和鉴权统一，然后用自己统一的base_url和api_key实现对不同模型的访问。

如上图所示，用户只需要一个入口，和统一的参数访问不同的模型。

使用教程

1、部署

# 使用 SQLite 的部署命令：
docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api
# 使用 MySQL 的部署命令，在上面的基础上添加 `-e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi"`，请自行修改数据库连接参数，不清楚如何修改请参见下面环境变量一节。
# 例如：
docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

2、使用

登录到one-api后台，账号root，密码默认123456

点击渠道，新增渠道，这里以ChatGLM和本地部署的m3e嵌入模型为例

ChatGLM设置，渠道类型选择智普ChatGLM

m3e设置，渠道类型选择自定义渠道，m3e是本地部署的一个嵌入模型，是之后在fastgpt中使用的，模型在默认列表里面没有，可以自定义，之后在fastgpt中会用到

渠道设置完，还需要设置令牌

点击左侧令牌，新建令牌

可以设置令牌金额，有效期

到此，OneAPI的设置就完成了

FastGPT

部署

mkdir fastgpt
cd fastgpt
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/files/deploy/fastgpt/docker-compose.yml
curl -O https://raw.githubusercontent.com/labring/FastGPT/main/projects/app/data/config.json

在docker-compose.yaml中配置刚才设置好的base_url和api_key