目录
- 发布服务
- 列表查看
- 服务上/下线
平台支持将模型发布为在线服务，同时在服务发布后对服务进行详情查看和版本更新等操作。
登录到文心千帆大模型操作台，在左侧功能列选择服务管理，进入服务管理主任务界面。
发布服务
选择服务管理列表查看中的“创建服务”按钮，跳转至服务发布界面。
服务配置
当模型发布为在线服务后，该模型下不同的模型版本仅能在此在线服务URL下更新版本，且仅支持同种大模型算法进行更新服务，建议您在训练时，同一训练任务使用相同的基础大模型进行训练。
| 字段 | 内容 | 描述 |
|---|---|---|
| 部署方式 | 公有云部署 | 仅支持公有云部署。 |
| 选择模型 | 模型名称 | 必选项，选择对应发布的模型，可以是运行成功的自训练模型或预置模型 |
| 选择版本 | 模型版本号 | 必选项，选择对应模型版本。 |
| 服务名称 | 用户定义的服务名称 | 必填项，不超过20字，支持中英文 |
| 接口地址 | 用户定义的接口地址 | 必填项,仅支持英文，接口地址需要多于5个字符但不能超过20个字符。 同一个账户下的接口地址不支持重复。 |
| 其他要求 | 用户反馈内容 | 接口无法满足需求时，在此处填写您的需求，将提交后台统一审核。 |
资源配置
资源配置支持公共资源池和私有资源池的选择。服务发布在公共资源池时，不保证QPS，请求可能存在排队的情况；服务发布在私有资源池时，服务独占资源，可以设定对应的算力单元来保证QPS。
| 字段 | 内容 | 描述 |
|---|---|---|
| 资源池 | 公共资源池、私有资源池 | 服务托管在公共资源池时，不保证服务并发（QPS为1）；服务托管在私有资源池时，可设定在线服务部署的算力单元来保障QPS。 |
| 生效时间 | 日期选择 | 选择服务运行的开始和结束时间，不可选择早于今天的日期 |
| 算力单元 | 设置算力单元数 | 为当前服务部署所占用的算力单元数量。算力单元越多，其可承载的QPS越高，仅支持服务部署所需最小算力单元数的整数倍调整 |
| 预估首Tokens时延 | 平台自动生成 | 用于评估在将数据写入持久性存储设备时，系统处理数据并返回给客户端所需的时间。 |
| 预估QPS | 平台自动生成 | 服务运行中产生的并发，受服务和生效时间限制。 |
大模型与资源配置的对应关系
| 大模型 | 支持发布的资源池 |
|---|---|
| ERNIE-Bot | 私有资源池 |
| ERNIE-Bot-turbo | 私有资源池 |
| BLOOMZ-7B | 私有资源池 |
| 敬请期待... | 公共资源池 |
特别注意
1. 服务发布在私有资源池后，服务调用仍需按照对应大模型服务调用价格付费
2. 服务在私有资源池可配置的算力单元（预估QPS）受选择的生效时间限制，生效时间与预估QPS的关系如下：
小于1个月：预估QPS可达上限为2
大于等于1个月，小于3个月：预估QPS可达上限为10
大于等于3个月：预估QPS可达上限为99
3. 资源配置的生效时间如选择当天起算，则起始时刻为提交订单的时刻，到期时刻为对应结束日期的同样时刻；如起始日期选择为未来的某一天，则起始时刻为未来这一天的00:00:00，到期时刻为到期日期当天的23:59:59。
例一，今天是2023年6月14日下午14：28：30，购买6月14日至6月15日私有资源池租赁商品，则生效时间为：6月14日14：28：30 - 6月15日14：28：30，生效时长为1天
例二，今天是2023年6月14日下午14：28：30，购买6月15日至6月16日私有资源池租赁商品，则生效时间为：6月15日00：00：00 - 6月16日23：59：59，生效时长为2天
4. 申请发布后，服务发布失败、账单异常等情况，请在百度智能云控制台内提交工单反馈。
生成API的使用流程可参考公有云推理服务的使用流程。
列表查看
公有云服务支持对已经发布的服务按服务条目为粒度分行展示。如下图所示：
服务详情
服务详情中可查看本次服务的基本信息和历史版本内容。
- 基本信息中可查看服务的基本信息并续购私有资源池。续购资源池相关参数可查看发布模型的资源配置项。
- 版本列表来源为更新服务。
更新服务
在线服务支持服务的版本更新，更新来源为模型的其他版本，历史版本将会在服务详情中进行展示。
服务上/下线
在线服务支持对已发布的服务指定版本或者已下线的服务进行上线，同时也可对已发布的服务进行下线操作。
1）对于暂停服务的模型服务版本，可以服务详情版本列表的“上线”按钮。无需其他操作，审核通过后即可恢复暂停服务前的版本服务。
2)运行中的多版本服务，点击“服务详情”，可以对指定版本进行单独上线，平滑版本更替，不会直接影响正在运行中的版本服务。
3）对于运行中的服务，已经确认暂时不需要，可以进行暂时下线工作，可以在服务列表的操作列直接操作，也可以到服务详情-版本列表中选择“下线”。
如遇上线失败等特殊情况，请提交工单反馈。
如遇待发布状态，可以选择“资源付费”，详情参考发布模型的资源配置列，价格可参考价格文档内容。
本功能中涉及到的控制台内容详情可查看控制台。