本地大模型 API 接入指南

武汉理工大学网络中心 · 智能大模型服务平台

校内服务

使用说明

本地可用模型列表

共 6 个模型可用

对话模型

4 个

文本对话、问答、推理等场景

Qwen3.5-35B-A3B

超大语言模型 model: Qwen3.5-35B-A3B

35B参数级别的高性能语言模型,支持复杂推理任务和多轮对话

Qwen3.5-27B

语言模型 model: Qwen3.5-27B

27B参数的中型语言模型,平衡了性能和效率

Qwen3.5-122B-A10B

超大规模语言模型 model: Qwen3.5-122B-A10B

122B参数超大规模语言模型,支持最复杂的推理和多轮对话

NEW

Qwen3.6-35B-A3B

超大语言模型 model: Qwen3.6-35B-A3B

35B参数级别的MoE架构高性能语言模型,激活参数仅3B,兼具高推理效率与强大的逻辑推理能力

其他模型

2 个

文本嵌入、语音识别等场景

BGE-M3

Embedding模型 model: bge-m3

多功能文本嵌入模型,支持多语言、长文本和检索增强生成 (RAG)

Whisper-large-v3

语音识别模型 model: whisper-1

高精度语音识别模型,支持多语种语音转文本

API 接入指南

1. 获取 API Key

获取方式:请通过智慧理工大-办事大厅-大模型APIKEY申请流程进行申请。

2. API 端点地址

Base URL
http://218.197.140.7:3001/v1

3. 请求接口说明

3.1 聊天对话接口

import requests

url = "http://218.197.140.7:3001/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": "Bearer YOUR_LOCAL_TOKEN"
}
payload = {
    "model": "Qwen3.5-35B-A3B",
    "messages": [{"role": "user", "content": "你好,请介绍一下你"}],
    "max_tokens": 500
}

response = requests.post(url, headers=headers, json=payload)
print(response.json())

3.2 Embedding 接口

import requests

url = "http://218.197.140.7:3001/v1/embeddings"
headers = {
    "Content-Type": "application/json",
    "Authorization": "Bearer YOUR_LOCAL_TOKEN"
}
payload = {
    "model": "bge-m3",
    "input": ["你好,这是一次测试"]
}

response = requests.post(url, headers=headers, json=payload)
data = response.json()
print("向量维度:", len(data["data"][0]["embedding"]))

请求参数

参数名 类型 必填 说明
model string 模型名称
messages array 对话消息列表(仅 Chat 接口)
input array 需要嵌入的文本列表(仅 Embedding 接口)
max_tokens integer 最大生成长度
temperature float 采样温度 (0-2),默认 0.7

响应格式

聊天对话响应示例

{
  "id": "chatcmpl-xxx",
  "object": "chat.completion",
  "created": 1234567890,
  "model": "Qwen3.5-35B-A3B",
  "choices": [{
    "index": 0,
    "message": {
      "role": "assistant",
      "content": "这里是回答内容"
    },
    "finish_reason": "stop"
  }],
  "usage": {
    "prompt_tokens": 100,
    "completion_tokens": 50,
    "total_tokens": 150
  }
}

Embedding 响应示例

{
  "object": "list",
  "data": [{
    "object": "embedding",
    "embedding": [0.123, -0.456, ...],
    "index": 0
  }],
  "model": "bge-m3",
  "usage": {
    "prompt_tokens": 2,
    "total_tokens": 2
  }
}

问题反馈