活水模型
返回文档
命令

serve 与三协议

单端口单常驻,按标准协议端出模型——OpenAI / Anthropic / Responses 三协议兼容。

42model serve 把本地引擎作为一个常驻服务端出,单端口单常驻,默认端口 11520。核心心智:把「按标准协议端出模型」做扎实,谁来用、用哪个,靠组合。

启动与管理

42model serve            # 启动常驻服务(在前台运行,占住这个终端)
42model serve --port 11600 --model <model>   # 换个端口启动,并先载好一个模型
42model serve status     # 查看状态
42model serve load <model>   # 换成另一个模型
42model serve sleep      # 手动休眠
42model serve restart    # 重启
42model serve stop       # 停止

三协议兼容

serve 同时暴露三套兼容端点,第三方客户端可直接接入:

  • OpenAI:/v1/chat/completions
  • Anthropic:/v1/messages
  • Responses:/v1/responses

转写、文字识别、检索、决策等其余接口,以及每种能力该怎么写请求,见接入文档。

默认服务地址为 http://localhost:11520。这让活水模型可以直接当各类 Agent 与工具的本地后端。

/v1 下的请求都要带密钥,放在请求头 Authorization: Bearer <密钥> 或 x-api-key: <密钥> 里,不带会被拒(401)。密钥默认是 42model;42model config show 里的 api_key 一行就是它,42model config set api-key generate 换成一把专属的(换完 42model serve restart 才生效)。

curl -s http://localhost:11520/v1/models -H "Authorization: Bearer 42model"

serve 默认只听本机(127.0.0.1),别的机器连不上。要让同一局域网里的其他设备连,用 42model engine expose on 打开,再 42model serve restart。打开之前先 42model config set api-key generate 换一把专属密钥:默认密钥人人都知道,拿它对局域网开着,同网段谁都能用你的引擎。

下一步