Job Manager Service
构想
Job Manager Service 方便客户执行分析和数据科学建模,其中包含代码的任意段落。目前,Job Manager Service 仅支持 Apache Zeppelin 虚拟笔记本。
信息
Job Manager Service 目前仅在Europe 1可用。
访问
如需访问此项服务,您需要具有 Job Manager 角色和范围中列出的相应角色。
基础知识
Job Manager Service 遵循一种执行模式,该模式包含以下步骤:
- 审核输入参数,及其存在性和安全可用性。
- 启动执行环境。
- 准备输入数据。
- 执行 Zeppelin 虚拟笔记本。
- 将结果存储在用户自定义的输出目录。
依存关系
Model Management Service
Job Manager Service 使用 Model Management Service 的 API 访问要执行的分析模型。相关租户必须能够访问相应模型。
Data Exchange Service
Job Manager Service 使用 Data Exchange Service 的 API 来读取输入数据并导出输出数据。相关租户必须能够访问相应位置。
Predictive Learning Services
Job Manager Service 在虚拟环境中运行指定作业。该环境必须使用 Predictive Learning 服务进行定义。
Apache Zeppelin
Apache Zeppelin 是一个虚拟笔记本环境。Apache Zeppelin 笔记本支持各种解析器,面向多种语言和框架,包括 Scala、Python、Java 等。它们至少在两种常规场景中非常实用:
- 训练模型来获取推理模型
- 执行推理或预测任务
功能
训练模型时通常需要较高的计算资源,例如内存、存储空间、带宽和 CPU。Job Manager Service 公开其 API 以实现以下任务:
- 继续处理开销较大的操作前,先验证提供的输入
- 无论执行成功与否,都要执行必要的清理
- 发生故障时,自动重新尝试开销较大的操作
- 记录重要输出,方便用户回溯错误
- 尽可能减少使用开销较大的资源
限制
- 所有输入文件均必须通过 MindSphere 网关,该网关有自己的限制条件。
- 每次都在单独的执行环境中启动执行。
- 设置执行环境最多可能需要 30 分钟。执行时间敏感型预测或推理任务时,谨记这一点。
- 输入数据和结果的准备时间与文件大小存在线性相关性。
示例场景
开发者希望训练一个能进行异常检测的 Apache Zeppelin 笔记本模型。开发者使用 Job Manager Service 来训练(重新训练)此模型。
相关链接
还有问题?
除非另行声明,该网站内容遵循MindSphere开发许可协议.
Last update: September 23, 2019