Skip to content

Job Manager Service

构想

Job Manager Service 方便客户执行分析和数据科学建模,其中包含代码的任意段落。目前,Job Manager Service 仅支持 Apache Zeppelin 虚拟笔记本。

信息

Job Manager Service 目前仅在Europe 1可用。

访问

如需访问此项服务,您需要具有 Job Manager 角色和范围中列出的相应角色。

基础知识

Job Manager Service 遵循一种执行模式,该模式包含以下步骤:

  1. 审核输入参数,及其存在性和安全可用性。
  2. 启动执行环境。
  3. 准备输入数据。
  4. 执行 Zeppelin 虚拟笔记本。
  5. 将结果存储在用户自定义的输出目录。

依存关系

Model Management Service

Job Manager Service 使用 Model Management Service 的 API 访问要执行的分析模型。相关租户必须能够访问相应模型。

Data Exchange Service

Job Manager Service 使用 Data Exchange Service 的 API 来读取输入数据并导出输出数据。相关租户必须能够访问相应位置。

Predictive Learning Services

Job Manager Service 在虚拟环境中运行指定作业。该环境必须使用 Predictive Learning 服务进行定义。

Apache Zeppelin

Apache Zeppelin 是一个虚拟笔记本环境。Apache Zeppelin 笔记本支持各种解析器,面向多种语言和框架,包括 Scala、Python、Java 等。它们至少在两种常规场景中非常实用:

  • 训练模型来获取推理模型
  • 执行推理或预测任务

功能

训练模型时通常需要较高的计算资源,例如内存、存储空间、带宽和 CPU。Job Manager Service 公开其 API 以实现以下任务:

  • 继续处理开销较大的操作前,先验证提供的输入
  • 无论执行成功与否,都要执行必要的清理
  • 发生故障时,自动重新尝试开销较大的操作
  • 记录重要输出,方便用户回溯错误
  • 尽可能减少使用开销较大的资源

限制

  • 所有输入文件均必须通过 MindSphere 网关,该网关有自己的限制条件。
  • 每次都在单独的执行环境中启动执行。
  • 设置执行环境最多可能需要 30 分钟。执行时间敏感型预测或推理任务时,谨记这一点。
  • 输入数据和结果的准备时间与文件大小存在线性相关性。

示例场景

开发者希望训练一个能进行异常检测的 Apache Zeppelin 笔记本模型。开发者使用 Job Manager Service 来训练(重新训练)此模型。

相关链接

还有问题?

向社区提问


除非另行声明,该网站内容遵循MindSphere开发许可协议.


Last update: September 23, 2019