华为云用户手册

Spark3.3.x不再支持使用“0$”指定第一个参数 说明： format_string(strfmt, obj, ...) 和 printf(strfmt, obj, ...) 中的 strfmt 将不再支持使用“0$”指定第一个参数，第一个参数应始终由“1$”引用当使用参数索引来指示参数在参数列表中的位置。 Spark2.4.x：%0和%1均可表示第一个参数。 Spark3.3.x：不再支持%0。 升级引擎版本后是否对作业有影响： 有影响，请作业中如涉及使用%0需修改以适配Spark3.3.x。 示例代码1： 执行sql： SELECT format_string('Hello, %0$s! I\'m %1$s!', 'Alice', 'Lilei'); Spark 2.4.5 Hello, Alice! I'm Alice! Spark 3.3.1 DLI .0005: The value of parameter(s) 'strfmt' in `format_string` is invalid: expects %1$, %2$ and so on, but got %0$. 示例代码2： 执行sql： SELECT format_string('Hello, %1$s! I\'m %2$s!', 'Alice', 'Lilei'); Spark 2.4.5 Hello, Alice! I'm Lilei! Spark 3.3.1 Hello, Alice! I'm Lilei!

新增支持解析“+Infinity”、“+INF”和“-INF”类型字符串的值 说明： Spark2.4.x：当从定义为FloatType 或 DoubleType的JSON属性读取值时，Spark2.4.x仅支持解析“Infinity”和“-Infinity”。 Spark3.3.x：当从定义为FloatType 或 DoubleType的JSON属性读取值时，Spark3.3.x除了支持解析“Infinity”和“-Infinity”之外，还支持解析字符串“+Infinity”、“+INF”和“-INF”。 升级引擎版本后是否对作业有影响： 功能增强，无影响

SHOW TABLES输出的schema的变化 说明： SHOW TABLES的输出schema从database: string变成了namespace: string。 Spark2.4.x：SHOW TABLES的输出schema是database: string。 Spark3.3.x： SHOW TABLES的输出schema从database: string变成了namespace: string。 其中对于内置catalog，namespace字段被命名为database；对于v2 catalog没有isTemporary字段。 如果你希望在Spark 3.3.x版本中恢复到Spark 2.4.x版本的样式，可以通过将spark.sql.legacy.keepCommandOutputSchema设置为true来实现。 升级引擎版本后是否对作业有影响： 有影响，请排查作业中与SHOW TABLES有关的使用方法，并按上述说明适配新版本的使用要求。 示例代码： 执行sql： show tables; Spark 2.4.5 database tableName isTemporary db1 table1 false Spark 3.3.1 namespace tableName isTemporary db1 table1 false

影响 DLI Spark 3.1.1版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您在执行作业时选择新版本的Spark引擎，推荐使用DLI Spark 3.3.1版本。 正在使用DLI Spark 3.1.1版本的作业也请您尽快切换至新版本的Spark引擎，否则作业执行过程中出现的错误，不再提供该版本的任何技术服务支持。 如您有任何问题，可随时通过工单或者服务热线（4000-955-988或950808）与我们联系。

影响 DLI Spark 2.3.2版本停止服务（EOS）后，不再提供该软件版本的任何技术服务支持。建议您在执行作业时选择新版本的Spark引擎，推荐使用DLI Spark 3.3.1版本。 正在使用DLI Spark 2.3.2版本的作业也请您尽快切换至新版本的Spark引擎，否则作业执行过程中出现的错误，不再提供该版本的任何技术服务支持。 如您有任何问题，可随时通过工单或者服务热线（4000-955-988或950808）与我们联系。

影响 EOM后，不再支持新购队列资源，包括不支持新购“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”。 为了满足部分业务的使用需求，在2024年6月30日 00:00:00（北京时间）前，您可以最大续订1年队列或者变更队列。 2024年6月30日 00:00:00（北京时间）之后将无法续订、变更队列。 EOL后，队列资源将无法继续使用，请务必在下线前更换使用“弹性资源池”或“default队列”。推荐您购买弹性资源池，并在弹性资源池中创建队列，体验更丰富的DLI产品能力。 如您有任何问题，可随时通过工单或者服务热线（4000-955-988或950808）与我们联系。

公告说明 为了更好的实现资源共享，提高计算资源利用率，DLI将“包年/包月”和“按需计费”计费模式队列升级为“弹性资源池队列”。即使用DLI计算资源需先购买弹性资源池，并在弹性资源池中创建队列。 DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”在2024年3月31日 00:00（北京时间）停止销售（EOM）。 DLI“包年/包月”和“按需计费”计费模式队列和“队列CU时套餐包”计划于2025年6月30日 00:00（北京时间）下线（EOL）。

环境准备 DLI资源环境准备 配置DLI作业桶 使用DLI服务前需配置DLI作业桶，该桶用于存储DLI作业运行过程中产生的临时数据，例如：作业日志、作业结果。 具体操作请参考：配置DLI作业桶。 创建弹性资源池并添加SQL队列 弹性资源池为DLI作业运行提供所需的计算资源（CPU和内存），用于灵活应对业务对计算资源变化的需求。 创建弹性资源池后，您可以在弹性资源池中创建多个队列，队列关联到具体的作业和数据处理任务，是资源池中资源被实际使用和分配的基本单元，即队列是执行作业所需的具体的计算资源。 同一弹性资源池中，队列之间的计算资源支持共享。 通过合理设置队列的计算资源分配策略，可以提高计算资源利用率。 具体操作请参考：创建弹性资源池并添加队列。 DataArts Studio 资源环境准备 购买DataArts Studio实例 在使用DataArts Studio提交DLI作业前，需要先购买DataArts Studio实例。 具体操作请参考购买DataArts Studio基础包。 进入DataArts Studio实例空间 购买完成DataArts Studio实例后，单击“进入控制台”。 图2 进入DataArts Studio实例控制台 单击“空间管理”，进入数据开发页面。 购买DataArts Studio实例的用户，系统将默认为其创建一个默认的工作空间“default”，并赋予该用户为管理员角色。您可以使用默认的工作空间，也可以参考本章节的内容创建一个新的工作空间。 如需创建新的空间请参考创建并管理工作空间。 图3 进入DataArts Studio实例空间 图4 进入DataArts Studio数据开发页面

步骤4：作业编排 在作业 “job_process_data”中新建一个DLI SQL节点 "select_analyze_data"。并单击节点编辑属性。 SQL或脚本：本例选择“SQL脚本”。并选择1中创建的脚本。 数据库名称：选择SQL脚本中设置的数据库。 队列名称：选择步骤▪创建弹性资源池并添加SQL队列中创建的SQL队列。 更多属性参数配置请参考DLI SQL属性参数说明。 图15 编辑DLI SQL节点属性 属性编辑完成后，单击“保存”，保存属性配置信息。 将这两个节点编排成一个pipeline。DataArt会按照编排好的pipeline顺序执行各个节点。然后单击左上角 “保存” 和 “提交”。

常见问题 如果 DataArts 作业失败，且 DataArts 提供的日志不够详细，怎么办？还能从哪里找更具体的日志？ 您可以可通过 DataArts 的日志找到DLI job id，然后根据DLI job id 在DLI控制台中找到具体的作业。 图19 监控日志 在DLI控制台中找到具体的作业，单击归档日志即可查看详细日志： 图20 输入作业ID 可以通过DataArts的nodename或jobname在DLI 控制台搜索作业： 图21 nodename或jobname 如果在运行复杂DLI作业时遇到权限类报错，应该怎么办？ 使用DLI的过程中需要与其他云服务协同工作，因此需要您将部分服务的操作权限委托给DLI服务，确保DLI具备基本使用的权限，让DLI服务以您的身份使用其他云服务，代替您进行一些资源运维工作。 了解更多：配置DLI云服务委托权限。

开发流程 图1 在DataArts Studio开发DLI SQL作业的流程图 环境准备：准备执行作业所需的DLI资源和DataArts Studio资源。请参考环境准备。 创建数据库和表：提交SQL脚本创建数据库和表。请参考步骤1：创建数据库和表。 导入业务数据：提交SQL脚本导入业务数据。请参考步骤2：业务数据的计算与处理。 数据查询与分析：提交SQL脚本分析业务数据，例如查询单日销售情况。请参考步骤3：销售情况的查询与分析。 作业编排：将数据处理和数据分析脚本编排成一个pipeline。DataArts会按照编排好的pipeline顺序执行各个节点。请参考步骤4：作业编排。 测试作业运行：测试作业运行。请参考步骤5：测试作业运行。 设置作业调度与监控：设置作业调度属性与监控规则。请参考步骤6：设置作业周期调度和相关操作。

方案架构 OBS中上传对象的加解密原理说明如下： 加密原理 图2 加密原理 获取加密密钥 通过KMS，生成一个用于加密OBS桶内对象的 数据加密 密钥。 加密数据上传至OBS桶 加密SDK通过获取的数据加密密钥，对上传的数据明文进行加密处理，将被加密的对象密文存储到OBS。 解密原理 图3 解密原理 下载对象 通过OBS，下载被加密的对象数据。 解密对象 被加密对象通过加密SDK获取对应的密文数据密钥，通过KMS，进行密文数据密钥的解密操作，获得被解密后的原始对象。

应用场景 KMS可以对OBS桶中的对象进行全量加密或者部分加密，在OBS服务使用KMS加密过程中，KMS提供的信封加密能力使数据加解密操作无需通过网络传输大量数据即可完成。信封加密方式有效保障了数据传输的加密性、数据解密的效率和便捷性，在对象上传和下载过程中，保证信息安全。 全量加密：指对OBS桶内上传的所有对象进行加密。 此时，您只需要对OBS桶加密，桶中上传的对象会默认继承OBS桶的加密配置。具体操作请参见加密OBS桶：创建OBS桶时开启服务端加密功能或者加密OBS桶：为已创建的OBS桶开启加密。 开启OBS桶加密后，上传对象时默认开启“继承桶加密配置”加密方式，此时桶中的对象和OBS桶采用相同的加密方式；如需修改桶中对象的加密方式，需要在上传对象时手动关闭“继承桶加密配置”开关，然后修改。具体操作请参见上传对象至OBS桶。 部分加密：指对OBS桶内上传的部分对象进行加密。 此时不需要对OBS桶进行加密，直接上传对象到OBS桶并进行加密配置。具体操作请参见上传对象至OBS桶。 图1 加密OBS

上传对象至OBS桶 在OBS管理控制台桶列表中，单击待操作的桶，进入“概览”页面。 在左侧导航栏，单击“对象”。 单击“上传对象”，系统弹出“上传对象”对话框。 单击“添加文件”，选择待上传的文件后，单击“打开”。 在服务端加密行，选择目标加密方式，选择完成后，在下方的选择框中选择默认密钥或者自定义密钥，如图6所示。 图6 加密上传对象（已开启OBS桶加密） 开启OBS桶加密后，上传对象时默认开启继承桶的加密配置。 如果需要修改加密配置，需要手动关闭“继承桶的加密配置”选项，根据使用需求选择SSE-KMS或SSE-OBS加密方式。 图7 加密上传对象（未开启OBS桶加密） 未开启OBS桶加密在上传对象时需要手动开启服务端加密。 对象上传成功后，可在对象列表中查看对象的加密状态。 对象的加密状态不可以修改。 使用中的密钥不可以删除，如果删除将导致加密对象不能下载。

支持审计的关键操作列表 通过 云审计 服务，您可以记录与华为云数据管理服务相关的操作事件，便于日后的查询、审计和回溯。 表1 云审计服务支持的DAS操作列表 操作名称 资源类型 事件名称 生成新购订单 order applyService 异步导出结果集 connection asyncExportData SQL自动填充 connection autoFill 批量添加共享连接 connection batchAddSharedConnections 批量删除连接 connection batchDeleteConnections 取消执行SQL connection cancelExecute 取消共享连接 connection cancelShareConnections 设置死锁开关 instance changeDeadLockSwitch 开启/关闭全量SQL开关 instance changeFullSqlSwitch 设置自治限流开关 instance changeKillTaskSwitch 设置锁阻塞开关 instance changeLockBlockingSwitch 开启/关闭SQL开关 instance changeSqlSwitch 开启/关闭历史事务开关 instance changeTransactionSwitchStatus 清理连接 connection clearConnections 关闭SQL窗口 connection closeWindow GeminiDB Cassandra实例创建数据库 connection createCassandraDatabases 创建连接 instance createConnection 创建数据库 connection createDatabases 创建登录 connection createDBLogin 新建数据库健康日报分析任务 instance CreateHealthReportTask 创建索引使用导出任务 instance createIndexUsageExportTask 添加自动kill会话任务 instance createKillTask 创建索引缺失导出任务 instance createMissingIndexExportTask 设置共享连接 connection createShareConnections 创建慢日志导出任务 instance createSlowLogExportTask 执行空间分析任务 instance createSpaceAnalysisTask 新增SQL限流规则 connection createSqlLimitRules RDS for SQL Server创建数据库 connection createSqlServerDatabases 创建生成测试数据任务 connection createTestDataTask 登录/重试登录/退出登录 connection databaseLoginActions 创建数据库 connection databases DBS登录数据库 instance dbsConnection DDS登录数据库 connection ddsConnection 一键kill所有会话 instance deleteAllSessions 删除批量诊断任务 connection deleteBatchTuning GeminiDB Cassandra删除角色 connection deleteCassandraRole GeminiDB Cassandra批量删除角色 connection deleteCassandraRoles 删除连接 connection deleteConnection 删除登录信息 connection deleteDBLogin 删除对象 connection deleteDbObj 删除注册的数据库用户 instance deleteDbUser 删除执行SQL记录 connection deleteExecSqlRecord 删除慢SQL导出任务Obs文件 instance deleteExportTaskObsFile 用户删除指定实例和时间范围的数据 instance deleteFullSqlLogData GaussDB V5删除角色 connection deleteGaussDBV5Role GaussDBV5批量删除角色 connection deleteGaussDBV5Roles 删除会话 connection deleteProcess 删除资源 order deleteService 用户删除指定实例和时间范围的数据 instance deleteSlowLogData 删除生成测试数据任务 connection deleteTestDataTask 删除诊断任务 connection deleteTune 删除用户权限 connection deleteUserPrivilege RDS for SQL Server删除用户或角色 connection deleteUserRole RDS for SQL Server删除用户或角色 connection deleteUserRoles 删除SQL限流规则 connection delSqlLimitingRecord 编辑结果集 connection editDatas 创建批量诊断任务 connection exeBatchTuning GeminiDB Cassandra执行角色脚本 connection execCassandraRoleScript GaussDBV5执行角色脚本 connection execGaussDBV5RoleScript 执行用户权限脚本 connection execUserPrivilegeSql 执行SQL connection executeSql 执行influx connection exeInflux 执行redis connection exeRedis 执行SQL诊断 connection exeTuning 同步执行SQL诊断 connection exeTuningSync 导出结果集 connection exportData 查询慢日志统计数据 instance exportSlowSqlStatistics 获取慢日志统计SQL模板 instance exportSlowSqlTemplatesDetails 获取慢日志数量趋势 instance exportSlowSqlTrendDetails 创建导出全量SQL结果集任务 instance exportSqlStatements 风险实例列表 instance exportTopRiskInstances 获取SQL模板列表 instance exportTopSqlTemplatesDetails 获取SQL执行耗时区间占比 instance exportTopSqlTrendDetails 格式化SQL connection formatSql GeminiDB Cassandra获取执行脚本 connection getCassandraRoleScript 执行获取排序规则的SQL connection getCharSetCollations 获取创建用户权限脚本 connection getCreateUserPrivilegeSql 获取创建或修改SQLServer数据库角色脚本 connection getDbRoleExeScript 获取创建或修改SQLServer数据库用户脚本 connection getDbUserExeScript 获取SQL窗口正在执行的SQL结果 connection getExecuteResult 获取导出结果集 connection getExportDataResult GaussDBV5获取执行脚本 connection getGaussDBV5RoleScript 查询SQL执行计划 instance getPlan GaussDB获取创建或修改用户配置档案脚本 connection getProfileSql GaussDB获取创建或修改角色脚本 connection getRoleSql MySQL获取修改用户权限脚本 connection getUpdateUserPrivilegeSql 获取创建或修改用户脚本 connection getUserSql 保存自定义SQL connection insertUserSql 获取DAS实例列表 instance listCloudDbaInstances 查询连接 connection listDbUsers 获取数据库健康日报任务列表 instance ListHealthReportTask 查询锁等待 connection listInnodbLocks 租户大盘实例分布情况 instance ListInstanceDistribution 获取多节点单指标数据 instance ListInstanceMultiNodesSingleMetric 获取云dba单个实例节点信息 instance ListInstanceNodesInfo 租户大盘TOP慢SQL列表 instance ListInstanceTopSlowLog 获取元数据锁 instance listMetadataLocks 查询实例会话 instance listProcesses 租户大盘资源风险实例风险项 connection ListRiskItems 租户大盘风险趋势 connection ListRiskTrend 查询对象列表及空间数据 instance listSpaceAnalysis 查询SQL限流规则 instance listSqlLimitRules 租户大盘TOP慢SQL列表 connection ListTopSlowLog 查询历史事务列表 instance listTransactions 修改连接 connection modifyConnection 修改数据库 connection modifyDatabase 规格变更 order modifyService 原始SQL生成SQL限流关键字 instance parseSqlLimitRules kill会话任务预览 instance previewSessionForKillProcessTask 预览测试数据 connection previewTestDataCreate 更新安全协议意向 instance putDataPolicy 计算结果集行数 connection queryResultRows 重新采集索引使用数据 instance recollectIndexUsage 重新采集索引缺失数据 instance recollectMissingIndex 注册数据库用户 instance registerDbUser 重命名登录名 connection renameDBLogin 重命名GaussDBV5角色 connection renameGaussDBV5Role 重命名用户或角色 connection renameUserRole 设置全量死锁开关 instance setFullDeadLockSwitch 设置历史锁开关 instance setHistoryTransactionSwitch 设置索引使用开关 instance setIndexUsageSwitch 设置长历史锁开关 instance setLongHistoryTransactionSwitch 设置索引缺失开关 instance setMissingIndexSwitch 设置慢日志配置 instance setSlowLogConfig 设置慢日志开关 instance setSlowLogSwitch 设置SQL限流开关 connection setSqlLimitingSwitch 租户大盘设置指标阈值 connection SetThresholdForMetric 查询数据库用户 instance showDbUser 获取数据库健康日报内容 instance ShowInstanceHealthReport 租户大盘多节点单指标支持指标信息 connection ShowMetricNamesSupport 查询配额 connection showQuotas 查询SQL执行计划 instance showSqlExecutionPlan 查询SQL限流任务信息 instance showSqlLimitJobInfo 查询SQL限流开关状态 instance showSqlLimitSwitchStatus 查询日志开关 instance showSqlSwitchStatus 查询历史事务开关状态 instance showTransactionSwitchStatus 获取SQL诊断结果 connection showTuning 切分SQL connection splitSql 终止单批诊断任务 connection stopBatchTuning 终止自动kill会话任务 instance stopKillTask 终止自动生成测试数据任务 connection stopTestDataTaskCreate 提交反馈意见 connection submitTuningFeedback 开启或关闭单条SQL限流规则 connection switchSqlLimitingRule 同步云dba实例列表 instance SynchronizeInstanceList 测试连接 connection testConnection 慢日志归档文件触发归档 instance triggerSlowLogArchive 获取snapshot列表 connection triggerWdr 更新配额 connection udpateQuota 修改登录信息 connection updateDBLogin 修改注册的数据库用户 instance updateDbUser 修改SQL限流规则 instance updateSqlLimitingRecord 编辑自定义SQL connection updateUserSql 验证连接 connection verifyConnection 创建导出SQL结果集任务 connection createExportSqlResultsetTask 创建备份数据库任务 connection createExportDatabaseTask 创建快速导出数据库任务 connection createExportQuickDatabaseTask 删除导出任务 connection deleteExportTask 终止导出任务 connection stopExportTask 创建导入SQL文件任务 connection createImportSqlFileTask 创建导入 CS V文件任务 connection createImportCsvFileTask 删除导入任务 connection deleteImportTask 终止导入任务 connection stopImportTask 创建桶 connection createBucket 初始化文件上传 connection initFileUpload 上传文件分片 connection uploadFilePart 合并文件分片 connection mergeFilePart 父主题： 审计

发布成服务 作业的执行方案可以发布生成服务卡片，执行方案发布后在服务场景中可以查看。作业的执行方案发布成服务，需要有cms:publish:update权限或cms:toolmarket:update权限。服务卡片的相关操作参见服务场景。 在左侧导航栏中选择“作业管理”，在作业方案列表单击对应作业右侧的“执行方案”，单击待发布成服务的方案所在行操作列的“发布成服务”。 图9 发布成服务 填写基本信息，单击“确定”发布。具体的参数说明请参见表6。 图10 发布成服务信息 表6 发布成服务参数 参数名称 说明 服务名 服务名称，最多可输入64个字符，只能包含大小写字母、数字、下划线、中划线和中文。 场景类型 服务应用的场景，包括通用场景，软件场景，故障处理和日常巡检。 描述 发布成服务的描述信息，最多可输入1000个字符。

更多操作 作业创建完成后，您可以在作业管理列表单击对应的作业名称进入该作业的详情页面，查看作业的基本信息、全局参数和作业步骤，还可执行表7中的操作。 表7 相关操作 操作 说明 编辑作业 单击右上角的“编辑”，进入编辑页面进行修改。 说明： 编辑作业后，需新建执行方案才能使用编辑后的作业数据。 选择方案 单击右上角的“选择方案”，进入作业方案列表页面。 删除作业 单击右上角的“删除”，删除作业。 编辑方案 在作业方案列表页面，单击方案右侧的“编辑”，进入编辑执行方案页面进行修改。 编辑时，需确认作业方案是否被定时运维场景引用，如果已被引用，需先删除被引用场景，才能编辑。 删除方案 在作业方案列表页面，单击方案右侧的“删除”，删除作业方案。 删除时，需确认作业方案是否被定时运维场景引用，如果已被引用，需先删除被引用场景，才能删除。

新建执行方案 作业创建完成后，即可为该作业创建对应的执行方案，具体操作如下： 在左侧导航栏中选择“作业管理”，单击“作业名称”。 图5 作业名称 单击右上角“选择方案”。 在方案列表页面，单击右上角“新建执行方案”。 填写基本信息，具体的参数说明请参见表5。 图6 新建执行方案信息 表5 新建执行方案参数 参数名称 说明 方案名称 方案的名称。 最多可输入64个字符，只能由大小写字母、数字、下划线、中文字符组成。 全局参数 已添加的全局参数，可以单击查看详情和修改参数初始值。 选择执行步骤 方案执行的步骤，可以选择一个或者多个。单击步骤框查看步骤详情。 单击“提交”完成新建执行方案。

执行方案 执行方案创建完成后，可按照下面的操作启动执行方案： 在左侧导航栏中选择“作业管理”，在作业方案列表页面，单击待执行方案所在行操作列的“去执行”。 图7 执行方案 进入新建方案任务页面，单击“立即执行”。 当新建作业添加全局参数时，如果参数类型选择了“主机列表”，单击“立即执行”会有弹框“确定对以下实例进行操作吗？”单击“确定”。 进入任务执行页面，查看任务执行情况。 红色框，表示执行失败。 绿色框，表示执行成功。 蓝色框，表示执行中和暂停。 白色框，表示执行未开始。 图8 作业执行方案任务执行详情

创建作业 登录 AOM 2.0控制台。 在左侧导航栏单击“自动化运维（日落）”，即可进入“自动化运维”界面。 在左侧导航栏中选择“作业管理”，单击“新建作业”。 填写基本信息，具体的参数说明请参见表1。 图1 新建作业 表1 创建作业参数列表 参数名称 说明 作业名称 作业的名称。 最多可输入64个字符，只能由大小写字母、数字、下划线、中文字符组成。 企业项目 选择所属的企业项目。 描述 作业的描述信息，最多可输入1000个字符。 添加全局参数。 在“新建作业”页面，“全局参数”中，单击“添加全局参数”。 设置全局参数信息，具体的参数说明请参见表2。 图2 添加全局参数基本信息 表2 添加全局参数列表 参数名称 说明 添加方式 添加参数方式，包括新建和从参数库选择两种。 参数类型 新建添加方式下，字符串或主机列表两种，默认字符串。 从参数库选择方式下，只有字符串一种。 参数名称 新建添加方式下，由大小写字母组成，最多可输入64个字符。 从参数库选择方式下，从参数库中选择。从参数库选择完后，会保存在作业中，与参数库中的参数不再关联。 加密 参数默认为不亮状态，当前不支持加密功能 。 初始值 字符串类型下，参数值最多可输入1000个字符。 主机列表类型下，单击“添加资源”添加实例，最多可以添加100个实例。 必填 选择是否必填，默认是。 输入提示 参数输入提示说明，最多可以输入1000个字符。 参数描述 参数描述信息，最多可输入1000个字符。 单击“保存”，完成添加。单击“提交并保存到参数库”完成添加的同时，在参数库中创建一个同名的参数。 添加作业步骤。 在“新建作业”页面，单击作业步骤一栏的“添加”。 设置作业步骤相关参数，具体的参数说明请参见表3。 图3 添加作业步骤_脚本管理 图4 添加作业步骤_文件管理 表3 添加步骤参数列表 参数类别 参数名称 说明 - 步骤名称 步骤名称。 最多可输入32个字符。只能由大小写字母、数字、下划线、中划线以及中文组成。 步骤类型 步骤的类型，包括：脚本管理，文件管理和暂停步骤三种类型。 步骤说明 步骤说明信息，最多可输入1000个字符。 超时时长 脚本安装/卸载任务超时时长，输入值必须在1到43200之间。 执行账号 选择执行脚本的OS账号名称。 目标实例 全局参数，选择主机列表参数。 手动添加，根据手动选择和从CMDB中选择ECS实例。 脚本管理类型 脚本选择 从脚本列表中，选择脚本。下拉框只展示上线的脚本，无上线脚本，则不展示。 脚本内容 脚本的版本信息以及脚本的内容。 填写完成后，单击“校验高危命令”。校验高危命令为正则校验，校验不通过可能会导致风险。高危命令的详细说明请参见表1。 脚本参数 输入脚本参数，多个参数以空格分隔。 可通过${var_name}方式引用全局变量的字符串参数。 敏感参数 可以勾选“敏感参数”，勾选后脚本参数框对输入的内容不直接显示，默认不勾选。 错误处理 勾选自动忽略错误，作业步骤执行失败后，会继续执行下一个步骤 。 不勾选自动忽略错误，作业步骤执行失败后，作业会进入暂停中状态 ，等待手工单击重试或跳过此步骤。 文件管理类型 文件包名称 文件包名称，下拉列中选择文件包名称。下拉框只展示上线的文件包名称，未上线文件包名称不显示。 版本号 软件版本信息，根据选定的文件包名称自动获取。 操作类型 操作类型，包括安装和卸载两种类型。 目标存储路径 可通过${var_name}方式引用全局变量的字符串参数。 文件来源 回填所选的文件包版本中的文件来源，参见表1。 平台 文件包运行的平台，目前仅支持Linux。 脚本类型 操作类型选择“安装”，脚本类型为“安装脚本”。前置脚本对话框中展示前置脚本的内容信息，安装脚本对话框中展示安装脚本的内容信息，最多可以展示1000个字符。 操作类型选择“卸载”，脚本类型为“卸载脚本”。卸载脚本对话框中展示卸载脚本的内容信息，最多可以展示1000个字符。 暂停步骤 步骤说明 步骤说明信息，最多可输入1000个字符。 更多操作，具体信息参见表4。 表4 更多操作 参数名称 说明 执行策略 分批发布，选择是否开启分批发布开关，默认不打开。 每批发布，开启分批发布后需填写每批发布数量。 每批间隔，开启分批发布后需填写每批发布的时间间隔。 审批配置 人工审核，该操作可能存在高危操作，建议您配置审批流程。默认为关闭。 单击“保存”完成创建。 添加作业步骤，如果信息没有填写完整。保存后会提示“信息待补全”。 选中作业步骤所在行最前列的拖动，可以调整作业步骤顺序。 在要删除的步骤最右侧，单击删除作业步骤。

其他相关操作 您还可以在云服务类型Prometheus实例的详情页的“云服务接入”页面进行取消接入云服务等相关操作，具体请参见表4。 表4 相关操作 操作 说明 搜索云服务 在“云服务接入”页面搜索框中输入关键字，即可搜索云服务。 取消接入云服务 在“云服务接入”页面右侧已接入云服务下单击需要取消接入的云服务卡片，在弹出的对话框中单击“取消接入云服务”。 查看/修改已接入的云服务标签配置 在“云服务接入”页面单击已接入云服务下的云服务卡片，即可修改“接入云服务标签（可选）”的相关设置，具体设置请参见表3。

约束与限制 目前仅default类型、CCE类型、云服务类型、通用实例、ECS类型、 APM 类型的Prometheus实例支持指标查看、新增和废弃功能。 在指标管理页面仅支持查询近3个小时内上报的指标。 default类型的Prometheus实例下，指标名以“aom_”、“apm_”开头的指标暂不支持废弃。 ECS类型的Prometheus实例仅支持展示通过UniAgent配置的采集任务采集的指标。 CCE类型的Prometheus实例仅支持废弃如下指标： 只有在CCE“插件市场”页面或AOM的CCE类型Prometheus实例的“集成中心”页面安装的3.9.0以上的云原生监控插件（kube-prometheus-stack）上报的指标可以被废弃，且只有kube-prometheus-stack处于“运行中”状态时，指标才能废弃成功。 查看kube-prometheus-stack插件状态的方法：登录CCE控制台，单击集群名称进入集群，在左侧导航栏中选择“插件中心”，在右侧找到“云原生监控插件”卡片，查看插件的状态。

功能特性 AOM的Prometheus监控具有监控指标数据采集、存储、计算、展示、告警等能力。监控指标覆盖广，涵盖容器、云服务、中间件、数据库、应用以及业务等多种监控数据。AOM的Prometheus监控支持的主要功能如下所示。 表2 监控对象接入 功能 功能说明 创建Prometheus实例 AOM支持创建多种类型的Prometheus实例。您可以根据需求选择创建任一类型的Prometheus实例。 集成中心 AOM集成容器服务CCE集群的Prometheus云原生监控插件，支持在Prometheus实例的“集成中心”为CCE集群安装云原生监控插件，上报指标到指定的CCE类型Prometheus实例中。 当前仅CCE类型Prometheus实例支持。 接入中心 AOM集成Prometheus中间件插件，支持在Prometheus实例的“接入中心”为虚机安装中间件Exporter，将上报指标到指定的ECS Prometheus实例中。 当前仅ECS类型Prometheus实例支持。 云服务接入 AOM支持在Prometheus实例的“云服务接入”中将云服务接入AOM，将云服务关指标上报到定的云服务Prometheus实例中。 当前仅云服务类型Prometheus实例支持。 账号接入 AOM支持在Prometheus实例的“接入账号”中将同一组织下多个成员账号接入AOM后，实现对同一组织下多个成员账号的云服务指标进行监控。通过数据多写功能，可以实现跨VPC的访问，而不必暴露服务端相关的网络信息。 表3 监控指标采集 功能 功能说明 管理Prometheus实例指标数据 支持查看、新增和废弃指标。 当前仅default类型、CCE类型、云服务类型、ECS类型、通用实例类型的Prometheus实例支持。 表4 监控数据处理 功能 功能说明 获取Prometheus实例的服务地址 使用Remote Read地址和Remote Write地址，将自建Prometheus的监控数据存储到AOM的Prometheus实例中，实现远程存储。 预聚合 通过配置预聚合规则将计算过程提前到写入端，可减少查询端资源占用，尤其在大规模集群和复杂业务场景下可以有效的降低PromQL的复杂度，从而提高查询性能，解决用户配置以及查询慢的问题。 当前仅CCE类型和通用实例类型Prometheus实例支持。

产品优势 表5 产品优势 开箱即用 一键安装部署即可监控Kubernetes以及各类云产品。 一键接入各种应用组件及告警工具。 低成本 多种指标免费用，覆盖Kubernetes标准组件。 提供全托管式服务，无需另购资源，可降低监控成本，且维护成本几乎为零。 与CCE集成并提供监控服务，容器监控体系创建时间从2天降低至10分钟。一个Prometheus For CCE实例可以上报多个CCE集群数据。 开源兼容 支持自定义多维数据模型、HTTP API模块、PromQL查询。 静态文件配置和动态发现机制发现监控对象，实现轻松迁移及接入。 数据规模无上限 凭借 云存储 能力，数据存储无上限，不再受限于本地容量。云端分布式存储保障数据可靠性。 通过Prometheus实例 for 多账号聚合实例将多个资源账号的指标数据汇聚到一个Prometheus实例，实现统一监控。 高性能 相较开源版本结构更轻量，资源消耗更低。通过单进程一体化Agent监控Kubernetes集群，采集性能提升20倍。 Agent部署在用户侧，保留原生采集能力同时能够最大程度的减少资源的使用。 通过采集存储分离架构，全面提升整体性能。 采集组件优化，提升单副本采集能力，降低资源消耗。 通过多副本横向扩展均衡分解采集任务，实现动态扩缩，解决开源水平扩展问题。 高可用性 双副本：指标数据采集、处理和存储组件支持多副本横向扩展，核心数据链路高可用。 水平扩展：基于集群规模可直接进行弹性扩容。

基本概念 本文汇总使用Prometheus监控过程中涉及的基本概念，方便您查询和了解相关概念。 表6 基本概念 概念 说明 Exporter 一个采集监控数据并通过Prometheus监控功能规范对外提供数据的组件。目前有上百个官方或者第三方Exporter可供使用，具体请参见Exporter详情。 Target Prometheus探针要抓取的采集目标。采集目标暴露自身运行、业务指标，或者代理暴露监控对象的运行、业务指标。 Job 一组Target的配置集合。定义了抓取间隔，访问限制等作用于一组Target的抓取行为。 Prometheus 监控 Prometheus监控全面对接开源Prometheus生态，支持类型丰富的组件监控，提供多种开箱即用的预置监控大盘和全面托管的Prometheus服务。 Prometheus实例 Prometheus监控功能提供的管理Prometheus数据采集和数据存储分析的逻辑单元。 Prometheus探针 部署在用户侧或者云产品侧Kubernetes集群。负责自动发现采集目标、采集指标和远程写到其他库。 PromQL Prometheus监控的查询语言。支持瞬时查询和时间跨度查询，内置多种函数和操作符。可以对原始数据进行聚合、切片、预测和联合。 Sample 一条时间线在某个时间点对应的数值。在Prometheus监控服务中，每个Sample由一个float64数据类型的值和一个毫秒精度的时间戳构成。 告警规则 Prometheus监控Alerting Rule格式的告警配置。可以通过PromQL描述。 标签 描述指标的一组Key-Value值。 指标管理 Prometheus监控的功能特点之一，无需静态配置，可以自动发现采集目标。支持Kubernetes SD、Consul、Eureka等多种指标管理方式，支持通过ServiceMonitor、PodMonitor的方式暴露采集目标。 预聚合 Prometheus监控的Recording Rule能力。可以通过PromQL将原始数据加工成新的指标，提升查询效率。 时间序列 由指标名和标签组成。属于同一指标和同一组标签维度的带时间戳的流。 远程存储 自研的时序数据存储组件。支持Prometheus监控的Remote Write协议，由云产品全面托管。 云产品监控 无缝集成了多种云产品的监控数据。用户如果有云产品的监控需求，可以通过接入云产品监控实施。 指标 采集目标暴露的、可以完整反映监控对象运行或者业务状态的一系列标签化数据。Prometheus监控采用OpenMetrics的标准数据格式描述指标。

其他相关操作 您可以对已安装UniAgent的主机执行如下相关操作： 表6 相关操作 操作 说明 搜索主机 在主机列表上方的搜索框，可以通过主机IP、导入IP、主机名称、安装机名称和代理IP来搜索对应主机。 刷新主机列表 单击主机列表右上角的按钮，可刷新主机列表信息。 设置虚机展示列 单击主机列表右上角的按钮，可对已接入的虚机展示列进行设置。 过滤主机信息 在主机列表的表头，单击各列的，可按特定类型过滤显示主机的信息。 切换主机排序 在主机列表的表头，单击“UniAgent心跳时间”列的可切换主机的排序。为默认排序，为按时间正序排序（即最新的UniAgent心跳时间显示在最后方），为按时间倒序排序（即最新的UniAgent心跳时间显示在最前方）。 删除主机 当主机的UniAgent状态为异常、未安装或安装失败时，可删除主机。 单击主机名称及IP地址右侧对应的“删除”。 删除主机需要注意以下事项： 安装中/升级中/卸载中的机器不能直接删除，请刷新页面等待状态更新后，再执行删除操作。 运行中的机器需要先卸载UniAgent才能删除。 安装机/代理机不能直接删除，请先取消相关设置。 设置安装机 通过如下操作可以设置安装机的名称。 单击主机名称及IP地址右侧对应的“设置安装机”，输入安装机的名称。 取消安装机 当主机已设置了安装机，通过如下操作可取消设置。 单击主机名称及IP地址右侧对应的“ 取消安装机”，可取消原有的安装机。 修改安装机名称 当主机已设置了安装机，通过如下操作可以修改安装机的名称。 单击安装机名称，在弹出的对话框中重命名安装机的名称。

安装方式说明 AOM支持对主机安装UniAgent，UniAgent支持的安装方式：Excel导入安装、手动安装和远程安装。您可以按照实际场景进行选择。 表1 安装方式 方式 适用场景 手动安装UniAgent 适用于首次安装、单机安装UniAgent场景。登录待安装的UniAgent的主机，手动执行安装命令去安装UniAgent。 首次安装UniAgent时，必须使用手动安装方式。 远程安装UniAgent 适用于批量安装UniAgent场景。将一台已经安装了UniAgent的主机设置为安装机，然后通过该安装机对其他机器进行远程安装UniAgent。（在安装页面直接输入待安装UniAgent的主机信息。） Excel导入安装UniAgent 适用于批量安装UniAgent场景。将一台已经安装了UniAgent的主机设置为安装机，然后通过该安装机对其他机器进行远程安装UniAgent。（在安装页面通过Excel导入待安装UniAgent的主机信息。） 当前通过Excel导入安装方式受限开放，如有需求可以通过提交工单，为您开放此功能。

查看UniAgent状态 在“虚机接入”页面在查看目标主机的UniAgent状态。详细请参见表9 UniAgent状态说明。 表5 UniAgent状态 状态 说明 运行中 表示服务器安装的UniAgent运行正常。 离线 表示服务器安装的UniAgent功能异常。 安装中 表示该服务器正在安装UniAgent。安装UniAgent预计需要1分钟左右，请耐心等待。 安装失败 表示服务器安装UniAgent失败，请卸载UniAgent后，并重新安装。 未安装 表示服务器未安装UniAgent。 主机成功安装完UniAgent后，UniAgent会在本地启动查询端口“39338”和“39339”，用于查询日志级别，采集任务等。

云审计支持的AOM操作列表 资源类型为pe的事件，其实际执行服务为AOM，但操作入口位于云容器引擎（CCE）或应用管理与运维平台（ServiceStage）。 表1 云审计服务支持的AOM操作列表 功能类别 操作名称 资源类型 事件名称 全局配置 添加AccessCode icmgr icmgrAddAccessCode 删除AccessCode icmgr icmgrDelAccessCode 应用资源管理 创建应用 application createApp 更新应用 application updateApp 删除应用 application deleteApp 创建应用（供其他服务调用） application createAomApp 修改应用的EPSID（供EPS服务调用） application updateAppEpsId 新增子应用 sub_application createSubApp 删除子应用 sub_application deleteSubApp 更新子应用 sub_application updateSubApp 创建子应用（供其他服务调用） sub_application createAomSubApp 转移子应用 sub_application transferSubApp 新增组件 component createComponent 转移组件 component transferComponent 更新组件 component updateComponent 删除组件 component deleteComponent 创建组件（供其他服务调用） component createAomComponent 创建环境 environment createEnvironment 修改环境 environment updateEnvironment 删除环境 environment deleteEnvironment 创建环境（供其他服务调用） environment createAomEnv 创建环境标签 tag createTag 更新标签 tag updateTag 删除环境标签 tag deleteTag 更新环境标签 tag updateEnvTag 新增多云账户 cloud_account addCloudAccount 修改多云账户 cloud_account updateCloudAccount 删除多云账户 cloud_account deleteCloudAccount 创建工作负载 workload createWorkload 删除工作负载 workload deleteWorkload 更新工作负载 workload updateWorkload 上报ECS主机信息 ecs aomImportECS 资源监控 创建仪表盘 dashboard updateDashboard 删除仪表盘 dashboard deleteDashboard 更新仪表盘 dashboard updateDashboard 创建仪表盘分组 dashboard_folder addDashboardFolder 更新仪表盘分组 dashboard_folder updateDashboardFolder 删除仪表盘分组 dashboard_folder deleteDashboardFolder 创建/更新告警规则 audit_v4_alarm_rule addOrUpdateAlarm 删除告警规则 audit_v4_alarm_rule delAlarmRule 创建进程发现规则 appDiscoveryRule addAppDiscoveryRule 更新进程发现规则 appDiscoveryRule updateAppDiscoveryRule 删除进程发现规则 appDiscoveryRule delAppDiscoveryRule 创建数据订阅规则 apminventory createSubscribeRule 验证dms连通性 apminventory verifyConnect 删除数据订阅规则 apminventory deleteSubscribeRule 新增告警模板 audit_v4_alarm_rule addAlarmRuleTemplate 修改告警模板 audit_v4_alarm_rule modAlarmRuleTemplate 删除告警模板 audit_v4_alarm_rule delAlarmRuleTemplate 新增分组规则 groupRule addGroupRule 修改分组规则 groupRule updateGroupRule 删除分组规则 groupRule delGroupRule 新增抑制规则 inhibitRule addInhibitRule 修改抑制规则 inhibitRule updateInhibitRule 删除抑制规则 inhibitRule delInhibitRule 新增静默规则 muteRule addMuteRule 修改静默规则 muteRule updateMuteRule 删除静默规则 muteRule delMuteRule 新增告警通知规则 actionRule addActionRule 修改告警通知规则 actionRule updateActionRule 删除告警通知规则 actionRule delActionRule 新增消息模板 notificationTemplate addNotificationTemplate 修改消息模板 notificationTemplate updateTemplate 删除消息模板 notificationTemplate delTemplate 自动化运维 开通自动化运维服务 function functionRegister 更新用户信息 function functionRegister 更新任务定时触发器 workflow operateCronTriggerFlow 创建任务 workflow createWorkflow 更新任务 workflow updateWorkflow 执行任务 execution execute 终止任务 execution terminateWorkflow 删除任务 workflow deleteWorkflow 创建作业执行方案 template createTemplate 发布作业执行方案 template publishTemplate 删除作业执行方案 template deleteTemplate 创建账号 account createAccount 更新账号 account updateAccount 删除账号 account deleteAccount 创建全局参数 param createParams 删除全局参数 param deleteParams 创建文件 package createPack 更新文件 package updateBasicPack 删除文件 package deletePack 创建作业 job createJob 更新作业 job updateJob 删除作业 job deleteJobByJobId 创建审批 approve createApprove 保存审批 approve saveApprove 创建脚本版本 script createScriptAndVersion 更新脚本版本 script updateVersionByVersionId 删除脚本版本 script deleteVersionByVersionId 上线服务场景 serviceScenario onboardToolMarketTenantInfo 收藏服务场景 serviceScenario serviceScenarioFavorites 更新脚本 script updateScript 执行脚本 ecs runScript

安装方式说明 AOM支持对主机安装UniAgent。UniAgent有以下几种安装方式，您可以按照实际场景进行选择。 表1 安装方式 方式 适用场景 脚本快速安装（推荐） 适用于首次安装、单机安装UniAgent场景。使用远程登录工具，登录待安装UniAgent的服务器，手动执行安装命令去安装UniAgent，详情请参见： 脚本快速安装UniAgent（本Region内） 脚本快速安装UniAgent（本Region外） 控制台手动安装 适用于在AOM控制台批量安装UniAgent场景。同一虚拟私有云中，在AOM控制台中通过中转机（一台已安装UniAgent的服务器）批量为其他 ECS云服务器 安装UniAgent。详情请参见：控制台手动安装UniAgent（本Region内）。 该场景必须有一台已经装了UniAgent的服务器，如果是首次安装UniAgent，需要通过脚本快速安装方式进行安装。 中转机脚本安装 适用于通过在中转机上执行脚本安装UniAgent场景。使用远程登录工具，登录中转机（一台已成功安装UniAgent的服务器），然后在该中转机上执行脚本，为一个或多个服务器安装UniAgent： 通过中转机执行脚本安装UniAgent（单机安装） 通过中转机执行脚本安装UniAgent（批量安装） 该场景必须有一台已经装了UniAgent的服务器，如果是首次安装UniAgent，需要通过脚本快速安装方式进行安装。