3、10分钟配置模型

公有模型资源准备

2.1 在阿里云百炼上配置

本节将介绍如何从阿里云百炼官方网站上获取API key、模型名称和调用地址,以及如何接入到NebulaAI平台

2.1.1 API key、模型名称和调用地址

阿里云百炼官网入口

  • 右上角是申请的API-key,如果提示需开通百炼平台,直接开通即可,开通后不使用是不发生任何费用。点击进入创建自己的apikey, 选择任何一个模型,点击api调用示例:

查看并创建 API Key

如下图所示:找到模型名称,以及openai的调用示例中复制其调用地址。全部复制,包括域名和/v1。将模型名称、apikey和调用地址填入即可。

复制模型名称和调用地址

2.1.2 接入到NebulaAI平台

保存上一步的apikey,调用地址:https://dashscope.aliyuncs.com/compatible-mode/v1,在设置->模型管理,点击"模型接入"操作,根据自己的实际需求,配置大语言模型、向量模型【用于知识库创建和查询时需要】、重排序模型【非必须】、全模态模型【非必须】、图片理解模型【非必须】、音频理解模型【非必须】、视频理解模型【非必须】等

  • 大语言模型接入, 如下图所示:

大语言模型接入

  • 向量模型接入,如下所示:

向量模型接入

  • 其他如全模态模型接入,如下图所示:

全模态模型接入

2.2 配置Deepseek语言模型

依次点击 快速开始 --> 首次调用API, 如下图所示:申请apikey、查看openai的调用地址以及模型名称。

DeepSeek 官方文档入口

保存上一步apikey,模型名称,调用地址(https://api.deepseek.com/v1),如下图所示:

DeepSeek 模型配置示例

本地模型准备

使用ollama方式部署模型

获取ollama的访问地址以及模型名称。

模型名称:可通过 ollama list 命令查看,docker部署的可以通过 sudo docker exec ollama ollama list,如下图所示:

查看 Ollama 模型列表

  • 大语言模型:

Ollama 大语言模型接入

api key如果没有配置则填写任意值。

调用地址:填写 http://ollmahost:port/v1, 例如ollama所在的ip为10.10.10.6,端口为11434,则调用地址填写:http://10.10.10.6:11434/v1

  • Embedding (向量)模型:

Ollama Embedding 模型接入

api key如果没有配置则填写任意值。

调用地址:填写 http://ollmahost:port, 例如ollama所在的ip为10.10.10.6,端口为11434,则调用地址填写:http://10.10.10.6:11434。注意大语言模型需要带上/v1,但是Embedding 模型不要带