drtool规则引擎 内容精选

  • 回源到ECS 如果您的源站服务器直接部署在华为云ECS上,请参考以下操作步骤设置安全组规则,放行独享模式回源IP。 登录管理控制台。 单击管理控制台左上角的,选择区域或项目。 单击页面左上方的,选择“区域”,选择“安全与合规 > Web应用防火墙”,进入“安全总览”页面。 在左侧导航树中,选择“系统管理 > 独享引擎”,进入“独享引擎”页面。 图1 独享引擎列表 在独享引擎列表的“子网IP地址”栏,获取所有创建的独享引擎对应的子网IP地址,如图2所示。 图2 获取独享引擎实例对应的子网IP地址 单击页面左上方的,选择“计算 > 弹性云服务器 ECS”。 在目标ECS所在行的“名称/ID”列中,单击目标ECS实例名称,进入ECS实例的详情页面。 选择“安全组”页签,单击“更改安全组”。 在“更改安全组”对话框中,选择目标安全组或新建安全组。 单击安全组名称,进入安全组基本信息页面。 选择“入方向规则”页签,单击“添加规则”,进入“添加入方向规则”页面,如图3所示,参数配置说明如表1所示。 图3 添加入方向规则 表1 入方向规则参数配置说明 参数 配置说明 协议端口 安全组规则作用的协议和端口。选择“自定义TCP”后,在TCP框下方输入源站的端口。 源地址 逐一添加5中获取的所有独享引擎实例的子网IP地址。 说明: 一条规则配置一个IP。单击“增加1条规则”,可配置多条规则,最多支持添加10条规则。 单击“确定”,安全组规则添加完成。 成功添加安全组规则后,安全组规则将允许独享引擎回源IP地址的所有入方向流量。 您可以使用Telnet工具测试已接入WAF防护的源站IP对应的业务端口是否能成功建立连接验证配置是否生效。 例如,执行以下命令,测试已接入WAF防护的源站IP对外开放的443端口是否能成功建立连接。如果显示端口无法直接连通,但网站业务仍可正常访问,则表示安全组规则配置成功。 Telnet 源站IP 443
  • 为什么规则引擎的数据目的端未收到设备发送的消息? 数据目的端未收到设备发送的消息主要有以下原因: 可能是您的安全组没有添加正确的入方向规则。 请您进入“实例信息”界面,找到您的安全组。单击安全组名称进入安全组详情页面,然后根据表1添加相应的入方向规则。 表1 安全组参数 参数 端口 MQS 内网访问端口 9092 MQS 内网SSL模式访问端口 9093 MQS 公网访问端口 9094、9095、9096 MQS 公网SSL模式访问端口 9095、9096、9097 MQS RESTful接口访问端口 9292 可能是配置的Topic有误。 您需要使用有发布权限的Topic进行消息的发布,请检查您的Topic是否有发布权限。您可以在“Topic名称”这一栏中找到出现问题的Topic名称,然后在“Topic类型”中查看该Topic是否为“发布”类型。如果Topic没有发布权限,设备就无法发送消息到规则引擎的数据目的端。 您可以在设备涉配置使用“发布”类型的Topic,使设备能够发送消息到数据目的端,从而解决上述问题。 可能是安全组第一条默认规则被删除了。 在创建安全组时,系统会自动生成一条入方向规则,允许规则引擎的数据目的端接收所有设备发送的消息。如果您在没有创建其他入方向规则的情况下删除了这条规则,会让整个安全组缺少入方向规则,导致规则引擎的数据目的端不能收到设备发送的消息。 您可以通过添加入方向规则解决这个问题。如果业务场景需要规则引擎接收特定设备发送的信息,您可以添加入方向规则,将“端口范围”限定为特定设备的端口。如果业务场景需要规则引擎接收所有设备发送的信息,您可以添加入方向规则,将“端口范围”设置为“全部”。 可能是topic被删除。 规则引擎在转发消息时,需要将消息转发到指定的topic上。如果topic因意外被删除,则无法进行消息的转发。 您可以通过创建一个topic,并在规则引擎中配置该topic。创建该topic时需要为topic指定发布或者订阅的权限。
  • 云审计服务支持的CSE 2.0操作列表 CSE 2.0通过云审计服务(Cloud Trace Service,简称CTS)为您提供云服务资源的操作记录,记录内容包括您从华为云管理控制台或者API发起的云服务资源操作请求以及每次请求的结果,供您查询、审计和回溯使用。 如果您需要收集、记录或者查询CSE 2.0服务的操作日志,需要先开通云审计服务。通过云审计服务可查看的CSE 2.0最近7天的操作记录,支持记录的操作日志见表1。 表1 云审计服务支持的CSE 2.0操作列表 操作类型 资源类型 事件名称 创建引擎 engine createEngine 删除引擎 engine deleteEngine 升级或变更引擎 engine upgradeOrModifyEngine 创建引擎备份任务 engine createEngine_backup 删除引擎备份任务 engine deleteEngine_backup 创建引擎恢复任务 engine createEngine_recovery 创建引擎备份策略 engine createEngine_backup_strategy 删除引擎备份策略 engine deleteEngine_backup_strategy 更新引擎备份策略 engine updateEngine_backup_strategy 更新灰度发布规则 engine ModifyDarklaunch 删除灰度发布 engine DeleteDarklaunch 修改配置项 engine ModifyConfig 新增配置项 engine CreateConfig 删除配置项 engine DeleteConfig 更新治理规则 engine ModifyGovern_policy 更新微服务 engine modifyMicroservice 创建微服务 engine createMicroservice 删除微服务 engine deleteMicroservice 创建微服务标签 engine createMicroserviceTag 更新微服务标签 engine updateMicroserviceTag 删除微服务标签 engine deleteMicroserviceTag 创建微服务规则 engine createMicroserviceRule 更新微服务规则 engine updateMicroserviceRule 删除微服务规则 engine deleteMicroserviceRule 创建微服务契约 engine createMicroserviceSchema 更新微服务契约 engine updateMicroserviceSchema 删除微服务契约 engine deleteMicroserviceSchema 更新微服务依赖关系 engine updateMicroserviceDependency 更新微服务属性 engine updateMicroserviceProperty 更新微服务 engine updateMicroservice 更新监控阈值 engine updateThreshold 更新自定义规则 engine updateItem_meta 删除自定义规则 engine DeleteItem_meta 执行配置项清理 engine executeConfig_cleanup 更新微服务实例状态 engine updateInstanceStatus 更新微服务实例属性 engine updateInstanceProperty 创建微服务实例 engine createInstance 删除微服务实例 engine deleteInstance
  • 创建业务场景 登录微服务引擎控制台。 在页面上方“微服务引擎”下拉列表,选择已部署了待治理微服务的微服务引擎。 单击“微服务治理”。 未开启安全认证的微服务引擎,请执行5。 开启安全认证的微服务引擎,请执行4。 在弹出的“安全认证”对话框输入帐号名及其密码,单击“确定”。 首次连接微服务引擎,请输入root帐号名及创建微服务引擎时输入的密码。 创建帐号请参考新增帐号。 选择“业务场景 > 创建业务场景”,参考下表设置参数。 参数名称 参数说明 业务场景名称 输入业务场景名称。 所属环境 选择微服务环境。 所属应用 选择待创建业务场景所属的应用。 匹配规则 单击“添加匹配规则”,设置流量标记: Method:选择流量的请求特征标记方法,支持GET、PUT、POST、DELETE、PATCH请求。 Path:单击“添加Path规则”,设置流量请求URI所包含的特征。 Headers:单击“添加Headers规则”,设置流量请求头所包含的特征。 说明: Method规则必配。 Path或Headers规则需要至少配置一条。 单击“确定”,完成业务场景创建。 单击业务场景所在行的,可查看匹配规则详情。 单击业务场景所在行“操作”列的“编辑”,可对业务场景进行编辑。 单击业务场景所在行“操作”列的“删除”,可删除该业务场景。
  • 灰度发布 登录ServiceStage控制台,选择“基础设施 > 微服务引擎”。 单击微服务引擎的“查看控制台”。 未开启安全认证的微服务引擎专享版或微服务引擎专业版,请执行4。 开启安全认证的微服务引擎专享版,请执行3。 在弹出的“安全认证”对话框输入帐号名及密码,单击“确定”。 首次进入微服务控制台,请输入root帐号名及创建微服务引擎专享版时输入的密码。 创建帐号请参考新增帐号。 选择“服务目录”。 单击微服务名称,进入详情页面,单击“灰度发布”。 单击“添加发布规则”。 按照权重方式添加灰度规则。 选择“权重”,显示权重规则设置页签。 图1 权重规则设置页签 对权重规则进行设置,权重规则配置项如下表所示。 配置项 说明 规则名称 自定义规则名称。 作用域 选择规则作用的版本。 勾选“是否添加自定义版本”,根据界面提示添加新版本。 规则配置 配置所选版本的引流权重,流量会按照配置的百分比比率平均分配给所选择的服务版本。 单击“确定”,完成权重规则配置和灰度发布。 按照自定义方式添加灰度规则。 选择“自定义”,显示自定义规则设置页签。 图2 自定义规则设置页签 对自定义规则进行设置,自定义规则配置项如下表所示。 配置项 说明 规则名称 自定义规则名称。 作用域 选择规则作用的版本。 勾选“是否添加自定义版本”,根据界面提示添加新版本。 规则配置 参数名 根据契约的Key,自定义参数名。 这个参数名key必须是契约里面存在的。有可能服务端接口写的是String paramA,加了注解实际生成的是paramB,所以这里应该是写paramB。 规则 契约的Key对应的Value。 说明: 当匹配符选~时,可使用*或者?字符的模糊匹配规则自定义规则值,*表示任意长度字符,?表示一个字符。比如,字段Name的规则值配置为*1000时,表示Name后4位为1000的都能匹配上。 当匹配符没有选~时,*或者?字符只是普通字符,没有模糊匹配的作用。 单击“确定”,完成自定义规则配置和灰度发布。
  • 数据流转规则管理 数据流转规则管理为应用服务器提供物联网平台的数据流转规则引擎功能,通过设置规则实现数据的流转。 规则引擎包含条件、动作两部分。规则引擎接收规则条件中的资源事件,满足规则配置的条件后触发相应动作。 条件:表示规则触发依赖相关的条件。 动作:表示当条件成立后,需要执行的转发动作。 查询规则条件列表 创建规则触发条件 查询规则条件 修改规则触发条件 删除规则触发条件 查询规则动作列表 创建规则动作 查询规则动作 修改规则动作 删除规则动作
  • 设备联动规则 设备联动规则管理为应用服务器提供物联网平台的规则引擎功能,通过设置规则实现业务的联动变化。 规则引擎包含触发源、条件、动作三部分。规则引擎接收触发源事件,满足规则配置的条件后触发相应动作。 触发源:表示触发规则的事件源,当前支持的触发源有设备数据上报和时间。 条件:表示规则触发依赖相关的条件,支持多个条件组合。当前支持的条件数据源有设备数据、定时任务。 动作:表示当条件成立后,需执行的动作,支持多个动作组合。当前支持的动作有设备命令下发、上报告警、发送SMN消息。 查询规则列表 创建规则 查询规则 修改规则 删除规则 修改规则状态
  • 设置黑白名单 基于公钥认证机制,微服务引擎提供了黑白名单功能。通过黑白名单,可以控制微服务允许其他哪些服务访问。 只有启用了公钥认证,设置的黑白名单才能生效,请参考公钥认证。 登录ServiceStage控制台,选择“基础设施 > 微服务引擎”。 单击微服务引擎的“查看控制台”。 未开启安全认证的微服务引擎专享版或微服务引擎专业版,请执行4。 开启安全认证的微服务引擎专享版,请执行3。 在弹出的“安全认证”对话框输入帐号名及密码,单击“确定”。 首次进入微服务控制台,请输入root帐号名及创建微服务引擎专享版时输入的密码。 创建帐号请参考新增帐号。 选择“服务治理”。 单击需要治理的微服务。 单击“黑白名单”。 单击“新增”,为应用添加黑白名单,黑白名单配置项如下表所示。 图8 设置黑白名单 配置项 配置项说明 类型 黑名单:表示根据匹配规则匹配到的微服务都不允许访问当前服务。 白名单:表示根据匹配规则匹配到的微服务允许访问当前服务。 匹配规则 使用正则表达式表示。 例如“匹配规则”设置为data*,指在黑名单下匹配到的名称以data开头的服务不允许访问当前服务,或者在白名单下匹配到的名称以data开头的服务允许访问当前服务。 单击“确定”,保存配置。
  • WAF引擎检测机制 Web应用防火墙内置的防护规则,可帮助您防范常见的Web应用攻击,包括XSS攻击、SQL注入、爬虫检测、Webshell检测等。同时,您也可以根据自己网站防护的需要,灵活配置防护规则,Web应用防火墙根据您配置的防护规则更好的防护您的网站业务。WAF引擎内置防护规则的检测流程如图1所示,自定义规则的检测顺序如图2所示。 图1 WAF引擎检测图 图2 自定义防护规则的检测顺序 响应动作: pass:命中规则后无条件放行当前请求。 block:命中规则后拦截当前请求。 captcha:命中规则后执行人机验证动作。 redirect:命中规则后通知客户端执行重定向动作。 log:命中规则后仅记录攻击信息。 mask:命中规则后对相关敏感信息进行脱敏处理。
  • 创建角色 登录ServiceStage控制台,选择“基础设施 > 微服务引擎”。 进入微服务引擎页面,选择待创建角色的微服务引擎,单击“查看控制台”。 在弹出的“安全认证”对话框输入该微服务引擎下关联了admin角色权限的帐号名及其密码,单击“确定”。 首次连接微服务引擎,请输入root帐号名及创建微服务引擎专享版时输入的密码。 创建帐号请参考新增帐号。 选择“系统管理 > 角色管理”,单击“创建角色”。 输入新角色名称。 角色创建后,角色名称不可修改。 对权限进行配置。 设置“服务组” 选择“全部服务” 可以对该微服务引擎的所有微服务资源实施相应的权限动作。 选择“自定义服务组”,可按照表2进行设置。 表2 自定义服务组操作 操作名称 操作说明 新增匹配规则 单击“添加服务组匹配规则”,根据实际业务需要,选择“应用”、“环境”、“服务”三个参数值来匹配规则过滤该角色可以实施权限动作的微服务。 说明: 应用名称、环境名称和服务名称是微服务的三个参数: 如果单条匹配规则只设置了一个参数,则角色对与该参数值相匹配的微服务有操作权限。 例如添加匹配规则“环境:production”,那么该角色只对环境名称是“production”的微服务有操作权限。 如果单条匹配规则设置了多于一个参数,则角色对与所有参数值都相匹配的微服务有操作权限。 例如添加匹配规则“环境:production”“应用:abc”,那么该角色对环境名称是“production”且应用名称是“abc”的微服务有操作权限。 在启用自动发现的情况下,微服务会通过注册中心查询注册中心、配置中心、仪表盘等服务的实例地址。对微服务授予查询权限时,需要包含应用default的权限,添加匹配规则“应用:default”。 设置微服务匹配规则后,单击“确定”。 编辑匹配规则 单击待编辑的匹配规则后的“”,即可根据实际业务需要,重新设置该条匹配规则的“服务组”和“权限动作”。 重新设置服务组匹配规则后,单击“确定”。 删除匹配规则 单击待删除的匹配规则后的“”,即可根据实际业务需要,删除该条服务组匹配规则。 自定义服务组最多可以同时设置20条微服务匹配规则。 当自定义服务组设置了多条匹配规则时,只要微服务满足其中任意一条匹配规则,角色就对该微服务有操作权限。 设置“权限动作” 按照实际的业务需求,设置角色对选择的服务组可实施的权限动作,可以勾选多个。 全选:对该服务组资源可实施增加、删除、修改和查询四种动作。 增加:对该服务组资源可实施增加的动作。 删除:对该服务组资源可实施删除的动作。 如果只勾选了删除,将无法通过界面对服务组资源进行删除,必须同时勾选查询。 修改:对该服务组资源可实施修改的动作。 如果只勾选了修改,将无法通过界面对服务组资源进行修改操作,必须同时勾选查询。 查询:对该服务组资源可实施查询的动作。 单击“创建”,创建角色。
  • 创建角色 登录微服务引擎控制台。 在页面上方“微服务引擎”下拉列表,选择待操作的开启了安全认证的微服务引擎。 单击“系统管理”。 在弹出的“安全认证”对话框输入该微服务引擎下关联了admin角色权限的帐号名及其密码,单击“确定”。 首次连接微服务引擎,请输入root帐号名及创建微服务引擎时输入的密码。 创建帐号请参考新增帐号。 在“角色管理”页签,单击“创建角色”。 输入新角色名称。 角色创建后,角色名称不可修改。 对权限进行配置。 设置“服务组” 选择“全部服务” 可以对该微服务引擎的所有微服务资源实施相应的权限动作。 选择“自定义服务组”,可按照表2 自定义服务组操作进行设置。 表2 自定义服务组操作 操作名称 操作说明 新增匹配规则 单击“添加服务组匹配规则”,根据实际业务需要,选择“应用”、“环境”、“服务”三个参数值来匹配规则过滤该角色可以实施权限动作的微服务。 说明: 应用名称、环境名称和服务名称是微服务的三个参数: 如果单条匹配规则只设置了一个参数,则角色对与该参数值相匹配的微服务有操作权限。 例如添加匹配规则“环境:production”,那么该角色只对环境名称是“production”的微服务有操作权限。 如果单条匹配规则设置了多于一个参数,则角色对与所有参数值都相匹配的微服务有操作权限。 例如添加匹配规则“环境:production”“应用:abc”,那么该角色对环境名称是“production”且应用名称是“abc”的微服务有操作权限。 在启用自动发现的情况下,微服务会通过注册中心查询注册中心、配置中心、仪表盘等服务的实例地址。对微服务授予查询权限时,需要包含应用default的权限,添加匹配规则“应用:default”。 设置微服务匹配规则后,单击“确定”。 编辑匹配规则 单击待编辑的匹配规则后的“”,即可根据实际业务需要,重新设置该条匹配规则的“服务组”和“权限动作”。 重新设置服务组匹配规则后,单击“确定”。 删除匹配规则 单击待删除的匹配规则后的“”,即可根据实际业务需要,删除该条服务组匹配规则。 自定义服务组最多可以同时设置20条微服务匹配规则。 当自定义服务组设置了多条匹配规则时,只要微服务满足其中任意一条匹配规则,角色就对该微服务有操作权限。 设置“权限动作” 按照实际的业务需求,设置角色对选择的服务组可实施的权限动作,可以勾选多个。 全选:对该服务组资源可实施增加、删除、修改和查询四种动作。 增加:对该服务组资源可实施增加的动作。 删除:对该服务组资源可实施删除的动作。 如果只勾选了删除,将无法通过界面对服务组资源进行删除,必须同时勾选查询。 修改:对该服务组资源可实施修改的动作。 如果只勾选了修改,将无法通过界面对服务组资源进行修改操作,必须同时勾选查询。 查询:对该服务组资源可实施查询的动作。 单击“创建”,创建角色。
  • 前提条件 微服务引擎专享版运行于虚拟私有云,创建微服务引擎前,需保证有可用的虚拟私有云和子网。 创建虚拟私有云和子网,请参考创建虚拟私有云和子网。 如果引擎创建帐号为子帐号,且其权限为创建引擎的最小权限,如权限管理的“cse:engine:create”所示。则需要由主帐号为其预置VPC默认安全组cse-engine-default-sg,并添加如表1所示规则。 添加安全组规则,请参考添加安全组规则。 表1 默认安全组cse-engine-default-sg规则说明 方向 优先级 策略 协议端口 类型 源地址 入方向 1 允许 ICMP : 全部 IPv6 ::/0 1 允许 TCP : 30100-30130 IPv6 ::/0 1 允许 全部 IPv6 cse-engine-default-sg 1 允许 TCP : 30100-30130 IPv4 0.0.0.0/0 1 允许 ICMP : 全部 IPv4 0.0.0.0/0 1 允许 全部 IPv4 cse-engine-default-sg 出方向 100 允许 全部 IPv4 0.0.0.0/0 100 允许 全部 IPv6 ::/0
  • 前提条件 微服务引擎专享版运行于虚拟私有云,创建微服务引擎前,需保证有可用的虚拟私有云和子网。 创建虚拟私有云和子网,请参考创建虚拟私有云和子网。 如果引擎创建帐号为子帐号,且其权限为创建引擎的最小权限,如权限管理的“cse:engine:create”所示。则需要由主帐号为其预置VPC默认安全组cse-engine-default-sg,并添加如表1所示规则。 添加安全组规则,请参考添加安全组规则。 表1 默认安全组cse-engine-default-sg规则说明 方向 优先级 策略 协议端口 类型 源地址 入方向 1 允许 ICMP : 全部 IPv6 ::/0 1 允许 TCP : 30100-30130 IPv6 ::/0 1 允许 全部 IPv6 cse-engine-default-sg 1 允许 TCP : 30100-30130 IPv4 0.0.0.0/0 1 允许 ICMP : 全部 IPv4 0.0.0.0/0 1 允许 全部 IPv4 cse-engine-default-sg 出方向 100 允许 全部 IPv4 0.0.0.0/0 100 允许 全部 IPv6 ::/0
  • 操作步骤 登录微服务引擎控制台。 单击页面上方的“购买微服务引擎”。 每个项目默认最多可以创建5个微服务引擎专享版,如果您想创建更多,可以提交工单申请扩大配额。 关于项目,请参考项目。 参考下表设置参数,参数前面带*号的是必须设置的参数。 参数 说明 *计费模式 选择计费方式,目前支持: 包年/包月 按需计费 *企业项目 选择微服务引擎所在的项目。 *规格 选择引擎规格。 须知: 微服务引擎创建成功后,不支持规格变更。 *可用区 选择可用区。 说明: 已创建的微服务引擎不支持更换可用区。 同一个区域内的可用区内网互通。 *网络 选择已创建的虚拟私有云及子网。 虚拟私有云可以为您的引擎构建隔离的、用户自主配置和管理的虚拟网络环境。 *引擎名称 输入微服务引擎的名称。 引擎创建后名称不能修改。 *安全认证 选择“开启安全认证”: 根据业务需要确认需开启安全认证后,勾选“我已知晓:开启安全认证后,需要在微服务的配置文件中添加对应用户的帐号密码,否则服务无法注册到引擎。”。 输入“密码”和“再次输入密码”。 密码请妥善保管,以免遗失或者泄露。 开启安全认证后,需要在微服务的配置文件中添加对应的帐号密码,否则服务无法注册到引擎。 选择“关闭安全认证”: 无需配置帐户名、密码即可将服务注册到引擎,效率性能更高,建议用于VPC内访问时使用。 描述 单击,输入引擎描述信息。 购买时长 计费模式选择“包年/包月”时需要设置。 单击“立即购买”,进入引擎信息确认界面。 单击“提交”,等待引擎创建完毕。 微服务引擎创建完成,大约需要31分钟。 微服务引擎创建成功后,“状态”为“可用”。查看微服务引擎状态,请参考查看微服务引擎信息。 如果微服务引擎创建失败,可在创建失败页面上查看失败原因并处理后可进行以下操作: 可在“微服务引擎信息”区域,单击“重试”重新创建。 删除创建失败的微服务引擎,请参考删除微服务引擎专享版。
  • 前提条件 已开通企业项目。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 微服务引擎运行于虚拟私有云,创建微服务引擎前,需保证有可用的虚拟私有云和子网。 创建虚拟私有云和子网,请参考创建虚拟私有云和子网。 如果引擎创建帐号为子帐号,且其权限为创建引擎的最小权限,如微服务引擎细粒度权限依赖说明中的“cse:engine:create”所示。则需要由主帐号为其预置VPC默认安全组cse-engine-default-sg,并添加如表1所示规则。 添加安全组规则,请参考添加安全组规则。 表1 默认安全组cse-engine-default-sg规则说明 方向 优先级 策略 协议端口 类型 源地址 入方向 1 允许 ICMP : 全部 IPv6 ::/0 1 允许 TCP : 30100-30130 IPv6 ::/0 1 允许 全部 IPv6 cse-engine-default-sg 1 允许 TCP : 30100-30130 IPv4 0.0.0.0/0 1 允许 ICMP : 全部 IPv4 0.0.0.0/0 1 允许 全部 IPv4 cse-engine-default-sg 出方向 100 允许 全部 IPv4 0.0.0.0/0 100 允许 全部 IPv6 ::/0
  • CSE错误码 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 表1 引擎管理类错误码 状态码 错误码 错误信息 描述 处理措施 400 SVCSTG.00501134 The engine type is left blank. 引擎类型不合法 引擎类型字段为请求query的specType字段,将其设置为一个合法值(比如CSE2)后重试请求。例如,查询CSE引擎支持规格时将specType设置为CSE2。 400 SVCSTG.00501111 Duplicate engine instance name. 引擎实例名称重复 更换引擎名称。 400 SVCSTG.00501112 Insufficient engine instance quota. 引擎实例配额不足 联系技术支持工程师扩大对应引擎实例配额,或者删除不用的引擎实例。 400 SVCSTG.00501133 The number of engines has reached the upper limit of the site. 引擎数量达到局点上限 联系技术支持工程师处理。 400 SVCSTG.00501103 Engine payment is empty or is invalid. 引擎的计费方式为空或无效 传入引擎的计费方式参数,同时确认用户能否创建该计费方式的引擎。 400 SVCSTG.00501104 Incorrect format of the engine instance specifications. 引擎实例的规格格式错误 规格无效,请填写符合要求的规格。 400 SVCSTG.00501105 Incorrect AZ format. 可用区格式错误 请求参数中指定合法有效的可用区,可用区字段的类型为字符串数组,不能为空,且可用区名称层级数量范围是1-3。 400 SVCSTG.00501117 The engine in the current state cannot be deleted. 无法删除此状态的引擎 等待引擎状态变为可用、不可用、创建失败等状态时再重试。 400 SVCSTG.00501152 Incorrect task ID format. 任务ID格式错误 传入创建引擎,删除引擎等接口返回的job_id。 400 SVCSTG.00501153 No task found. 找不到任务 传入创建引擎,删除引擎等接口返回的job_id。 400 SVCSTG.00501149 Abnormal node status. 引擎节点状态异常 请稍后重试或联系技术支持工程师。 400 SVCSTG.00501116 Failed to find the engine instance. 找不到引擎实例 无需特别处理,只需要检查传入的引擎ID是否正确。可以使用租户的用户名密码登录到微服务引擎控制台页面,查看当前租户下面是否有对应引擎ID的引擎。 400 SVCSTG.00501201 The name must contain 3 to 24 characters, including letters, digits, and hyphens (-). It must start with a letter but not end with a hyphen (-). The name cannot be default or the current engine name. 同步引擎实例名称格式错误须为字母开头,字母、数字、-组成且不能以-结尾,3-24个字符,不能命名default,不能与引擎名称相同。 对等引擎实例名称须为字母开头,字母、数字、-组成且不能以-结尾,3-24个字符,不能命名为default,同时不能与当前引擎实例名称相同。 400 SVCSTG.00501202 An HA engine can be the peer engine. 同步引擎必须为高可用引擎。 同步引擎的规格必须是高可用引擎,请重新传入引擎规格。 400 SVCSTG.00501203 The peer engine must be in a single AZ. 同步引擎必须在单可用区下。 同步引擎的可用区必须为单可用区,请重新传入可用区列表。 500 SVCSTG.00500400 Internal service request parameter error. 服务内部请求参数错误 检查报错error_message内容,如参数不合法,则检查输入参数是否正确;其他错误可联系技术支持工程师协助解决。 表2 动态配置类错误码 状态码 错误码 错误信息 描述 处理措施 400 SVCSTG.00400649 Key/value length exceeds the upper limit. 配置项键/值长度超出限制 请填写符合格式要求:配置项支持数字、字母和.-_:[]六个字符,支持长度1-2048位值支持中文、数字、字母和括号内的特殊字符('~!@#$%^&*()_\{}|:"<>?`-[],./=),支持长度1-131072位。 400 SVCSTG.00400650 Invalid configuration file. 无效的配置文件 上传的文件非法。 400 SVCSTG.00400651 The file is empty or in an incorrect format. 文件为空或者格式错误 上传的文件内容为空或者文件名不是以json结尾。 400 SVCSTG.00400652 Configuration item key/value is null or not a string. 配置项键/值为空或者不是字符串 上传的配置项键/值为空或者不是字符串,请输入正确的键/值重试 400 SVCSTG.00400653 Invalid label or body. 无效的label或者body 下载文件时传入的body体或者query参数label不符合规范。 400 SVCSTG.00400100 Invalid parameter(s) 非法参数 根据错误提示中的规则,修改提示中的参数。 404 SVCSTG.00400106 Record does not exist 该资源不存在。 输入正确的查找条件。 409 SVCSTG.00400107 ecord already exist 该资源已存在。 请勿创建相同的记录。
  • 支持的授权项 策略包含系统策略和自定义策略,如果系统策略不满足授权要求,管理员可以创建自定义策略,并通过给用户组授予自定义策略来进行精细的访问控制。 权限:允许或拒绝某项操作。 授权项:自定义策略中支持的Action,在自定义策略中的Action中写入授权项,可以实现授权项对应的权限功能。 权限 授权项 IAM项目(Project) 企业项目(Enterprise Project) 查询防敏感信息泄漏规则 waf:antiLeakageRule:get √ √ 查询网页防篡改规则 waf:antiTamperRule:get √ √ 查询CC攻击防护规则 waf:ccRule:get √ √ 查询精准访问防护规则 waf:preciseProtectionRule:get √ √ 查询全局白名单(原误报屏蔽)规则 waf:falseAlarmMaskRule:get √ √ 查询隐私屏蔽规则 waf:privacyRule:get √ √ 查询黑白名单规则 waf:whiteBlackIpRule:get √ √ 查询地址位置访问控制规则 waf:geoIpRule:get √ √ 查询证书 waf:certificate:get √ √ 修改WAF证书 waf:certificate:put √ √ 应用证书到域名 waf:certificate:apply √ √ 查询防护事件 waf:event:get √ √ 查询防护域名 waf:instance:get √ √ 查询防护策略 waf:policy:get √ √ 查询用户套餐信息 waf:bundle:get √ √ 查询防护事件下载链接 waf:dumpEventLink:get √ √ 查询页面配置信息 waf:consoleConfig:get √ √ 查询回源IP段 waf:sourceIp:get √ √ 更新防敏感信息泄漏规则 waf:antiLeakageRule:put √ √ 更新网页防篡改规则 waf:antiTamperRule:put √ √ 更新CC攻击防护规则 waf:ccRuleRule:put √ √ 更新精准访问防护规则 waf:preciseProtectionRule:put √ √ 更新全局白名单(原误报屏蔽)规则 waf:falseAlarmMaskRule:put √ √ 更新隐私屏蔽规则 waf:privacyRule:put √ √ 更新黑白名单规则 waf:whiteBlackIpRule:put √ √ 更新地址位置访问控制规则 waf:geoIpRule:put √ √ 更新防护域名 waf:instance:put √ √ 更新防护策略 waf:policy:put √ √ 删除防敏感信息泄漏规则 waf:antiLeakageRule:delete √ √ 删除网页防篡改规则 waf:antiTamperRule:delete √ √ 删除CC攻击防护规则 waf:ccRule:delete √ √ 删除精准访问防护规则 waf:preciseProtectionRule:delete √ √ 删除全局白名单(原误报屏蔽)规则 waf:falseAlarmMaskRule:delete √ √ 删除隐私屏蔽规则 waf:privacyRule:delete √ √ 删除黑白名单规则 waf:whiteBlackIpRule:delete √ √ 删除地址位置访问控制规则 waf:geoIpRule:delete √ √ 删除防护域名 waf:instance:delete √ √ 删除防护策略 waf:policy:delete √ √ 创建防敏感信息泄漏规则 waf:antiLeakageRule:create √ √ 创建网页防篡改规则 waf:antiTamperRule:create √ √ 创建CC攻击防护规则 waf:ccRule:create √ √ 创建精准访问防护规则 waf:preciseProtectionRule:create √ √ 创建全局白名单(原误报屏蔽)规则 waf:falseAlarmMaskRule:create √ √ 创建隐私屏蔽规则 waf:privacyRule:create √ √ 创建黑白名单规则 waf:whiteBlackIpRule:create √ √ 创建地址位置访问控制规则 waf:geoIpRule:create √ √ 创建证书 waf:certificate:create √ √ 创建防护域名 waf:instance:create √ √ 创建防护策略 waf:policy:create √ √ 查询防敏感信息泄漏规则列表 waf:antiLeakageRule:list √ √ 查询网页防篡改规则列表 waf:antiTamperRule:list √ √ 查询CC攻击防护规则列表 waf:ccRuleRule:list √ √ 查询精准访问防护规则列表 waf:preciseProtectionRule:list √ √ 查询全局白名单(原误报屏蔽)规则列表 waf:falseAlarmMaskRule:list √ √ 查询隐私屏蔽规则列表 waf:privacyRule:list √ √ 查询黑白名单规则列表 waf:whiteBlackIpRule:list √ √ 查询地址位置访问控制规则列表 waf:geoIpRule:list √ √ 查询防护域名列表 waf:instance:list √ √ 查询防护策略列表 waf:policy:list √ √ 查询云模式计费资源 waf:subscription:get √ √ 查询告警通知配置 waf:alert:get √ √ 更新告警通知配置 waf:alert:put √ √ 查询云日志配额 waf:ltsConfig:get √ √ 更新云日志配额 waf:ltsConfig:put √ √ 创建云模式包周期订单 waf:prepaid:create √ √ 查询独享引擎实例列表 waf:premiumInstance:list √ √ 查询独享引擎 waf:premiumInstance:get √ √ 创建独享引擎实例 waf:premiumInstance:create √ √ 删除独享引擎实例 waf:premiumInstance:delete √ √ 更新独享引擎 waf:premiumInstance:put √ √ 查看WAF实例组详情 waf:pool:get √ √ 修改WAF实例组配置 waf:pool:put √ √ 创建WAF实例组 waf:pool:create √ √ 删除WAF实例组 waf:pool:delete √ √ 查看WAF实例组列表 waf:pool:list √ √ 查询WAF实例组绑定详情 waf:poolBinding:get √ √ 绑定WAF实例组 waf:poolBinding:create √ √ 取消绑定WAF实例组 waf:poolBinding:delete √ √ 查询WAF实例组绑定详情 waf:poolBinding:list √ √ 查询WAF实例组健康检查配置 waf:poolHealthMonitor:get √ √ 修改WAF实例组健康检查配置 waf:poolHealthMonitor:put √ √ 创建WAF实例组健康检查配置 waf:poolHealthMonitor:create √ √ 删除WAF实例组健康检查配置 waf:poolHealthMonitor:delete √ √ 查询WAF实例组健康检查配置列表 waf:poolHealthMonitor:list √ √
  • 切换独享引擎实例安全组 当“实例类别”为“资源租户类”时,您可以切换独享引擎所属的安全组。切换安全组后,实例将受到该安全组访问规则的保护。 登录管理控制台。 单击管理控制台左上角的,选择区域或项目。 单击页面左上方的,选择“区域”,选择“安全与合规 > Web应用防火墙”,进入“安全总览”页面。 在左侧导航树中,选择“系统管理 > 独享引擎”,进入“独享引擎”页面。 图7 独享引擎列表 在目标实例所在行的“操作”列,单击“更多 > 切换安全组”。 在弹出的对话框中,选择目标安全组后,单击“确定”,切换独享引擎实例安全组。 图8 切换独享引擎实例安全组
  • 相较于微服务引擎1.0,微服务引擎2.0版本底层架构、功能、安全及性能全面升级,提供了独立的服务注册发现中心和配置中心,支持基于用户业务场景的定义和治理。两个版本的特性比对请参见表1。 表1 微服务引擎2.0和微服务引擎1.0特性比对 功能 特性 2.0 1.0 备注 引擎管理 安全性 支持安全认证 √ √ - 可靠性 3AZ高可靠 √ √ - 微服务管理 基础能力 注册发现 √ √ - 多框架接入 √ √ 支持Spring Cloud、ServiceComb Java Chassis、Dubbo、Go Chassis。 无实例版本自动清理 √ x 保留最近3个微服务版本,并自动清理无实例版本。 性能 实例变化毫秒级推送 √ √ - 配置管理 基础能力 管理配置 √ √ - 配置格式多样化 √ 仅支持文本 2.0新增支持配置格式有:YAML、JSON、TEXT、Properties、INI、XML。 导入导出 √ √ 2.0新增支持设置导入相同配置策略 高级特性 历史版本 √ x - 版本对比 √ x - 一键回滚 √ x - 配置标签 √ x - 性能 秒级下发 √ x - 微服务治理 业务场景化治理 业务场景定义 √ x - 基于请求Method的匹配规则 √ x - 基于请求Path的匹配规则 √ x - 基于请求Headers的匹配规则 √ x - 治理策略-流量控制 服务端的令牌桶限流 √ √ - 治理策略-重试 客户端通过重试来保证用户业务的可用性、容错性、一致性 √ √ - 治理策略-熔断 服务端通过熔断故障业务,防止故障蔓延到整个服务,发生大规模故障 √ √ - 治理策略-隔离仓 服务端基于信号量控制请求并发能力 √ x - 开发工具 本地轻量化引擎 本地一键启动,方便开发者离线开发微服务 √ √ -
  • 功能特性 云防火墙提供了“云防火墙基础版”、“云防火墙标准版”、“云防火墙专业版”供您使用,包括访问控制、入侵防御、流量分析以及日志审计等功能。 表1 功能特性 功能项 功能描述 概览 提供已开启和未开启的防火墙状态总览。 资产管理 查看和管理弹性公网IP的相关数据及信息。 访问控制 支持互联网边界流量的访问控制。 入侵防御 提供对互联网流量的入侵检测与防护,可选择防护模式及是否开启基础防御。 基础防御包括威胁检测及漏洞扫描,主要检测以下两点: 检测流量中是否含有网络钓鱼、特洛伊木马、蠕虫、黑客工具、间谍软件、密码攻击、漏洞攻击、SQL注入攻击、XSS跨站脚本攻击、Web攻击。 检测是否存在协议异常、缓冲区溢出、访问控制、可疑DNS活动及其他可疑行为。 流量分析 为您展示互联网业务访问流量统计数据和已检测出的入侵攻击风险统计数据。 互联网出入口流量统计:展示最近1小时、最近24小时、最近7天的数据。 入侵攻击事件统计:展示最近1小时、最近24小时、最近7天的数据。 日志审计 支持入侵攻击事件日志、访问控制日志、流量日志。其中: 攻击事件日志:入侵攻击事件的详细信息。 访问控制日志:可以查看哪些访问放行,哪些访问被阻断的详细信息。 流量日志:可以查看具体某个业务的访问流量信息。 表2 华为旁路拦截引擎支持的功能 一级菜单 二级菜单 三级菜单 功能描述 访问控制 防护规则 规则列表:操作 支持设置优先级。 添加单条规则 支持指定优先级。 添加多条规则 协议类型:只支持TCP协议。 黑名单 添加黑名单 协议类型:只支持TCP协议。 白名单 添加白名单 协议类型:只支持TCP协议。 说明: 目前,华为旁路拦截引擎默认为放行。 表3 山石引擎和华为旁路引擎 名称 主要功能描述 支持协议 支持场景 山石引擎 用户流量先经过防火墙直路引擎,进行安全检测与防护后,再将流量送至终目标ECS。检测功能丰富,阻断策略灵活。 TCP协议。 可以支持互联网边界和VPC边界的防护。 华为旁路引擎 防火墙引擎旁路部署,将用户流量镜像一份传至引擎分析,通过下发策略阻断威胁会话。旁路模式不改变客户业务流量走向,对客户业务无任何影响。 TCP、UDP、ICMP、Any、ICMPV6 可支持互联网边界的防护。
  • 操作步骤 登录管理控制台。 单击左上角的,选择区域或项目。 在左侧导航树中,单击,选择“安全与合规 > 威胁检测服务”,进入威胁检测服务界面,如图1所示。 图1 威胁检测服务首页 单击“立即购买”,进入购买页面。 在“购买威胁检测服务”界面,选择“区域”、“版本规格”和“购买时长”,如图2所示。 图2 购买威胁检测服务 选择“区域”。 MTD不支持跨区域使用,请选择需要进行威胁检测的目标区域。 选择“版本规格”。 可选“入门包”、“初级包”、“基础包”和“高级包”四种规格的检测包,不同的检测包每月所支持检测的日志量存在差异如表 版本规格说明所示。威胁检测服务有两种日志检测量计算方式,检测DNS和VPC服务日志按流量计算,检测CTS、IAM和OBS服务日志按事件(一个日志为一个事件)计算。 表1 版本规格说明 版本规格 DNS和VPC日志检测量 CTS日志检测事件数 IAM日志检测事件数 OBS日志检测事件数 入门包 1G/月 0.05百万/月 0.05百万/月 0.5百万/月 初级包 70G/月 1百万/月 0.5百万/月 30百万/月 基础包 230G/月 20百万/月 2百万/月 300百万/月 高级包 600G/月 50百万/月 5百万/月 700百万/月 “叠加包”说明。 无需主动购买,当月检测用量超出购买的版本规格时,系统自动根据检测量购买对应叠加包,自动按需计费。 选择“购买时长”。 单击时间轴的点,选择购买时长 ,可以选择1个月~3年的时长。 如有备案需求请购买3个月及以上时长。 选择购买时长后,可勾选自动续费选框开启自动续费。 扣款规则:从可用余额扣款,自动续费规则详情请参见自动续费规则说明。 续费时长:如果按月购买,单次续费为一个月,次数不限;如果按年购买,单次续费为一年,次数不限。 阅读并勾选《华为威胁检测服务免责声明》和“叠加包使用规则”。 单击页面右下角的“立即购买”,进入“订单信息确认”页面。 确认购买信息无误,单击右下角“去支付”,进入“付款”页面。 选择付款方式完成付款,进入“订单支付成功”页面。 单击“返回控制台”,跳转至主控制台,按照步骤3重新进入威胁检测服务总览页,“流程引导”显示如图3所示,表示已购买成功,但还需要您在该区域创建检测引擎,威胁检测服务才会开始检测日志数据。 图3 购买成功 单击“创建检测引擎”下的“立即创建”,创建区域检测引擎,单击后待页面运行结束,页面右上角会提示“检测引擎创建成功”,页面会自动刷新一次,单击页面左上方流程引导的展开流程引导,显示如图4所示,表示检测引擎创建成功,在页面右上角会显示您购买的规格包。 图4 创建检测引擎成功 首次创建默认开启所有日志检测。
  • 响应消息 响应参数 表3 响应参数 名称 类型 描述 destKey string 规则引擎目的端。 instanceId string 实例ID。 ruleDestOid integer 规则引擎目的端ID。 ruleOid integer 规则ID。 server string 连接地址。 sslPassword string SSL密码。 sslUser string SSL用户。 topicName string 主题名。 响应示例 { "ruleDestOid": 29, "ruleOid": 600071, "topicName": "topic02", "destKey": "ROMA_MQS", "instanceId": "8f3b9416-3f73-44e2-a32d-**********", "server": "192.168.0.x:9092,192.x.0.10:9092,192.168.0.x:9092", "sslUser": null, "sslPassword": "" }
  • 操作步骤 登录ServiceStage控制台,选择“基础设施 > 微服务引擎(CSE)”。 单击“购买微服务引擎” 。 每个项目默认最多可以创建5个微服务引擎专享版,如果您想创建更多,可以提交工单申请扩大配额。 关于项目,请参考项目。 填写参数,其中带“*”标志的参数为必填参数,参数说明如表2所示。 表2 参数说明 参数 说明 计费模式 选择付费方式,支持“按需付费”和“包月/包年”。 *企业项目 选择微服务引擎所在的企业项目。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 开通企业项目,创建并启用新的企业项目后可以使用,默认选择default。 *规格 选择微服务引擎规格。 须知: 引擎创建成功后,不支持规格变更。 引擎类型 选择微服务引擎的类型。 集群 集群模式部署,主机级容灾。 *引擎名称 输入微服务引擎的名称,引擎创建后不能修改名称。 “引擎类型”选择“集群”时,输入“引擎名称”。 *可用区 选择可用区。 “引擎类型”选择“集群”时,根据环境可用区数量,为引擎选择1个或者3个可用区。 选择1个可用区,可提供主机级别容灾能力。 选择3个可用区,可提供可用区级别容灾能力。 *网络 为引擎选择已创建的虚拟私有云及其子网,可以为您的引擎构建隔离的、自主配置和管理的虚拟网络环境。 “引擎类型”选择“集群”时,为引擎选择虚拟私有云及其子网。 描述 输入引擎描述信息。 单击,输入引擎描述信息。 单击,保存描述。 安全认证 开启了“安全认证”的微服务引擎专享版,通过微服务控制台提供了基于RBAC(Role-Based Access Control,基于角色的访问控制)的系统管理功能。 选择“开启安全认证”: 根据业务需要确认需开启安全认证后,勾选“我已知晓: 开启安全认证后,需要在微服务的配置文件中添加对应用户的帐号密码,否则服务无法注册到引擎。”。 输入“密码”和“再次输入密码”。 密码请妥善保管,以免遗失。 选择“关闭安全认证”: 无需配置帐户名、密码即可将服务注册到引擎,效率性能更高,建议用于VPC内访问时使用。 购买时长 计费模式选择“包月/包年”时需要设置。 单击“下一步”,进入确认微服务引擎规格的页面。确认无误后,勾选“我已阅读并同意《华为云用户协议》和《免责声明》”。 如果“计费模式”选择的是“按需付费”,单击“提交”,开始创建微服务引擎。 如果“计费模式”选择的是“包月/包年”,单击“去支付”,开始创建微服务引擎。 创建微服务引擎专享版大约需要31分钟。 创建成功后,微服务引擎的“状态”为“可用”。 如果创建失败,可单击,在弹出菜单选择“重试”,重新创建。
  • 计费项 图引擎服务对您选择的图规格(边数)、数据存储空间和公网流量收费。 表1 GES计费项说明 计费项 计费说明 图规格(边数) 根据您选择的边数大小计费。 针对边数提供预付费实例和按需(小时)两种计费模式。 数据存储空间 GES的数据通过对象存储服务(OBS)上传或导出,存储计费按照OBS的计费规则,详情可参考对象存储服务价格详情。 公网流量 GES支持绑定公网IP,所需费用按照虚拟私有云(VPC)服务的EIP计费规则进行计费;GES在华为云内部网络产生的流量不计费。 图引擎服务计费详情及样例,请参见产品价格详情。您可以通过图引擎服务提供的价格计算器,选择您需要的图规格,快速计算出创建图的参考价格。
  • 操作步骤 登录ServiceStage控制台,选择“微服务引擎 CSE”。 单击“购买微服务引擎” 。 每个项目默认最多可以创建5个微服务引擎专享版,如果您想创建更多,可以提交工单申请扩大配额。 关于项目,请参考项目。 填写参数,其中带“*”标志的参数为必填参数,参数说明如表2所示。 表2 参数说明 参数 说明 计费模式 选择付费方式,支持“按需付费”和“包月/包年”。 *企业项目 选择微服务引擎所在的企业项目。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 开通企业项目,创建并启用新的企业项目后可以使用,默认选择default。 *规格 选择微服务引擎规格。 须知: 引擎创建成功后,不支持规格变更。 引擎类型 选择微服务引擎的类型。 集群 集群模式部署,主机级容灾。 *引擎名称 输入微服务引擎的名称,引擎创建后不能修改名称。 “引擎类型”选择“集群”时,输入“引擎名称”。 *可用区 选择可用区。 “引擎类型”选择“集群”时,根据环境可用区数量,为引擎选择1个或者3个可用区。 选择1个可用区,可提供主机级别容灾能力。 选择3个可用区,可提供可用区级别容灾能力。 *网络 为引擎选择已创建的虚拟私有云及其子网,可以为您的引擎构建隔离的、自主配置和管理的虚拟网络环境。 “引擎类型”选择“集群”时,为引擎选择虚拟私有云及其子网。 描述 输入引擎描述信息。 单击,输入引擎描述信息。 单击,保存描述。 安全认证 开启了“安全认证”的微服务引擎专享版,通过微服务控制台提供了基于RBAC(Role-Based Access Control,基于角色的访问控制)的系统管理功能。 选择“开启安全认证”: 根据业务需要确认需开启安全认证后,勾选“我已知晓: 开启安全认证后,需要在微服务的配置文件中添加对应用户的帐号密码,否则服务无法注册到引擎。”。 输入“密码”和“再次输入密码”。 密码请妥善保管,以免遗失。 选择“关闭安全认证”: 无需配置帐户名、密码即可将服务注册到引擎,效率性能更高,建议用于VPC内访问时使用。 购买时长 计费模式选择“包月/包年”时需要设置。 单击“下一步”,进入确认微服务引擎规格的页面。确认无误后,勾选“我已阅读并同意《华为云用户协议》和《免责声明》”。 如果“计费模式”选择的是“按需付费”,单击“提交”,开始创建微服务引擎。 如果“计费模式”选择的是“包月/包年”,单击“去支付”,开始创建微服务引擎。 创建微服务引擎专享版大约需要31分钟。 创建成功后,微服务引擎的“状态”为“可用”。 如果创建失败,可单击,在弹出菜单选择“重试”,重新创建。
  • 回源到ELB 如果您的源站服务器使用华为云ELB进行流量分发,请参考以下操作步骤设置访问控制(白名单)策略,只放行独享模式回源IP。 登录管理控制台。 单击页面左上方的,选择“区域”,选择“安全与合规 > Web应用防火墙”,进入“安全总览”页面。 在左侧导航树中,选择“系统管理 > 独享引擎”,进入“独享引擎”页面。 图4 独享引擎列表 在独享引擎列表的“子网IP地址”栏,获取所有创建的独享引擎对应的子网IP地址,如图5所示。 图5 获取独享引擎实例对应的子网IP地址 单击页面左上方的,选择“网络 > 弹性负载均衡 ELB”。 在独享引擎绑定的ELB所在行的“名称”列中,单击ELB名称,进入ELB的详情页面。 选择“监听器”页签,单击“设置访问控制”,如图6所示。 图6 设置访问控制 在弹出的对话框中,“访问策略”选择“白名单”,将4中独享引擎实例的回源IP地址添加到“IP地址组”中,如图7所示。 图7 配置白名单访问控制 单击“创建IP地址组”, 您可以将独享引擎实例的回源IP地址添加到IP地址组中。 单击“确定”,白名单访问控制策略添加完成。 成功配置访问控制策略后,访问控制策略将允许独享引擎回源IP地址的所有入方向流量。 您可以使用Telnet工具测试已接入WAF防护的源站IP对应的业务端口是否能成功建立连接验证配置是否生效。 例如,执行以下命令,测试已接入WAF防护的源站IP对外开放的443端口是否能成功建立连接。如果显示端口无法直接连通,但网站业务仍可正常访问,则表示安全组规则配置成功。 Telnet 源站IP 443
  • 接入设备 EdgeShell是用于采集边缘侧设备端数据,并发送到ROMA Connect的边缘网关程序。Modbus协议接入设备操作步骤如下: 创建产品。 在“产品管理”页面单击“创建产品”,产品类型选择“普通产品”,协议类型选择“Modbus”。 创建设备。 在“设备管理”页面单击“创建设备”,所属产品选择上一步创建的产品。 下载EdgeShell安装包。 点击设备名称,进入设备详情页,在基础信息页签中,单击的“EdgeShell”项的“下载安装包”,下载EdgeShell安装包。 启动EdgeShell。 EdgeShell支持运行在Windows和Linux环境中,根据不同的环境执行不同的启动脚本。 EdgeShell依赖于java11运行环境,运行前需要先确保java运行环境已安装,并且JAVA_HOME环境变量已设置。 解压下载的edge-shell.zip,解压后目录结构如下图。 bin:启动停止脚本。 config:配置参数。 lib:依赖的jar包。 edge-shell-1.0.0.jar:运行的主程序。 在设备详情页的“基本信息”页签中拷贝“边缘连接配置(IPV4)”到config目录下的mqtt.properties文件中。 执行启动脚本。 Windows下执行bin/windows/start.bat。 Linux下执行bin/linux/start.sh。 正常启动后,EdgeShell会连接上LINK,此时在会显示设备在线,设备详情页中的边缘详情会有数据上报。 启动脚本后会生成log目录,该目录下会记录启动和运行日志。该目录下会有edge-shell-error.log和edge-shell-info.log两个文件,如果启动后设备没有连接上,可以通过查看error日志快速定位。 Windows下如果点击启动后,log目录没有生成,可以修改start.bat下列语句: 修改前: start edge-shell %JAVA_OPT% -jar edge-shell-1.0.0.jarpause 修改后: java %JAVA_OPT% -jar edge-shell-1.0.0.jar 插件下载。 在插件管理页面中,单击“下载插件”,在弹出框中单击“下载并部署”。 插件安装成功后,点击操作栏中的启动键启动插件。 配置Modbus连接点和采集策略。 当创建的设备是Modbus类型设备时,设备详情页中显示的是“Modbus配置”,Modbus插件支持TCP/IP和串口两种连接方式。具体创建配置如下: 创建Modbus TCP/IP连接点时,配置参数如下图。 创建Modbus串口连接点时,配置参数如下图。 在已创建的连接点下创建采集策略,配置参数如下图。 下发采集策略到边缘EdgeShell。 在设备详情页中的“Modbus配置”页签,勾选需要下发的Modbus连接点,单击“下发策略”按钮。 配置规则引擎。 配置普通设备采集上来的数据转发到MQS。 在规则引擎界面单击“创建规则”按钮,规则引擎所属应用需要与普通产品相同。 · 点击规则引擎名称进入规则引擎详情页面,配置数据源端和数据目的端。 数据源端选择之前创建的产品和设备。 数据目的端选择同实例下的MQS。
  • 接入设备 创建产品。 在“产品管理”页面单击“创建产品”,产品类型选择“普通产品”,协议类型选择“OPC UA”。 创建设备。 在“设备管理”页面单击“创建设备”,所属产品选择上一步创建的产品。 下载EdgeShell安装包。 点击设备名称,进入设备详情页,在基础信息页签中,单击的“EdgeShell”项的“下载安装包”,下载EdgeShell安装包。 启动EdgeShell。 EdgeShell支持运行在Windows和Linux环境中,根据不同的环境执行不同的启动脚本。 EdgeShell依赖于java11运行环境,运行前需要先确保java运行环境已安装,并且JAVA_HOME环境变量已设置。 解压下载的edge-shell.zip,解压后目录结构如下图。 bin:启动停止脚本。 config:配置参数。 lib:依赖的jar包。 edge-shell-1.0.0.jar:运行的主程序。 在设备详情页的“基本信息”页签中拷贝“边缘连接配置(IPV4)”到config目录下的mqtt.properties文件中。 执行启动脚本。 Windows下执行bin/windows/start.bat。 Linux下执行bin/linux/start.sh。 正常启动后,EdgeShell会连接上LINK,此时在会显示设备在线,设备详情页中的边缘详情会有数据上报。 启动脚本后会生成log目录,该目录下会记录启动和运行日志。该目录下会有edge-shell-error.log和edge-shell-info.log两个文件,如果启动后设备没有连接上,可以通过查看error日志快速定位。 Windows下如果点击启动后,log目录没有生成,可以修改start.bat下列语句: 修改前: start edge-shell %JAVA_OPT% -jar edge-shell-1.0.0.jarpause 修改后: java %JAVA_OPT% -jar edge-shell-1.0.0.jar 插件下载。 在插件管理页面中,单击“下载插件”,在弹出框中单击“下载并部署”。 插件安装成功后,点击操作栏中的启动键启动插件。 配置OPC UA连接点和采集策略。 创建OPC UA连接点,OPC UA采集模式支持定时采集和订阅,安全策略目前支持None, Basic128Rsa15, Basic256, Basic256Sha256, Aes128_Sha256_RsaOaep, Aes256_Sha256_RsaPss,安全模式支持None和用户名/密码。 图1 采集模式为定时采集 图2 采集模式为订阅 在已创建的连接点下创建节点,输入需要采集的节点的路径。 下发采集策略。 在设备详情页中的“OPC UA配置”页签,勾选需要下发的OPC UA连接点,单击“下发策略”按钮。 配置规则引擎。 配置普通设备采集上来的数据转发到MQS。 在规则引擎界面单击“创建规则”按钮,规则引擎所属应用需要与普通产品相同。 点击规则引擎名称进入规则引擎详情页面,配置数据源端和数据目的端。 数据源端选择之前创建的产品和设备。 数据目的端选择同实例下的MQS。
  • 操作步骤 登录管理控制台。 单击管理控制台左上角的,选择区域或项目。 单击页面左上方的,选择“安全与合规 > Web应用防火墙 WAF”。 在左侧导航树中,选择“网站设置”,进入“网站设置”页面。 (旧版)在目标域名所在行的“防护策略”栏中,单击“配置防护策略”,进入“防护策略”页面。 (新版)在目标域名所在行的“防护策略”栏中,单击“已开启N项防护”,进入“防护策略”页面。 图3 域名列表 在“网站反爬虫”配置框中,用户可根据自己的需要参照图4更改网站反爬虫的“状态”,单击“网站反爬虫设置”,进入网站反爬虫规则配置页面。 图4 网站反爬虫配置框 选择“特征反爬虫”页签,根据您的业务场景,开启合适的防护功能,如图5所示,检测项说明如表1所示。 特征反爬虫规则提供了两种防护动作: 拦截 发现攻击行为后立即阻断并记录。 仅记录 默认防护动作,发现攻击行为后只记录不阻断攻击。 默认开启“扫描器”防护检测,用户可根据业务需要,配置防护动作并开启其他需要防护的检测类型。 图5 特征反爬虫防护 表1 特征反爬虫检测项说明 检测项 说明 功能说明 搜索引擎 搜索引擎执行页面内容爬取任务,如Googlebot、Baiduspider。 开启后,WAF将检测并阻断搜索引擎爬虫。 说明: 如果不开启“搜索引擎”,WAF针对谷歌和百度爬虫不会拦截,如果您希望拦截百度爬虫的POST请求,可参照配置示例-搜索引擎进行配置。 扫描器 执行漏洞扫描、病毒扫描等Web扫描任务,如OpenVAS、Nmap。 开启后,WAF将检测并阻断扫描器爬虫。 脚本工具 用于执行自动化任务、程序脚本等,如httpclient、okhttp、python程序等。 开启后,WAF将检测并阻断执行自动化任务、程序脚本等。 说明: 如果您的应用程序中使用了httpclient、okhttp、python程序等脚本工具,建议您关闭“脚本工具”,否则,WAF会将使用了httpclient、okhttp、python程序等脚本工具当成恶意爬虫,拦截该应用程序。 其他爬虫 各类用途的爬虫程序,如站点监控、访问代理、网页分析等。 说明: “访问代理”是指当网站接入WAF后,为避免爬虫被WAF拦截,爬虫者使用大量IP代理实现爬虫的一种技术手段。 开启后,WAF将检测并阻断各类用途的爬虫程序。 选择“JS脚本反爬虫”页签,用户可根据业务需求更改JS脚本反爬虫的“状态”和“防护模式”。 默认关闭JS脚本反爬虫,单击,在弹出的“警告”提示框中,单击“确定”,开启JS脚本反爬虫。 JS脚本反爬虫依赖浏览器的Cookie机制、JavaScript解析能力,如果客户端浏览器不支持Cookie,此功能无法使用。 如果您的业务接入了CDN服务,请谨慎使用JS脚本反爬虫。 由于CDN缓存机制的影响,JS脚本反爬虫特性将无法达到预期效果,并且有可能造成页面访问异常。 根据业务配置JS脚本反爬虫规则,相关参数说明如表2所示。 JS脚本反爬虫规则提供了“防护所有路径”和“防护指定路径”两种防护动作。 除了指定路径以外,防护其他所有路径 选择“防护所有路径”,在JS脚本反爬虫规则的配置页面左上角,单击“添加排除防护路径”,配置防护路径后,单击“确定”。 图6 添加排除防护路径 只防护指定路径时 选择“防护指定路径”,在JS脚本反爬虫规则的配置页面左上角,单击“添加防护路径”,配置防护路径后,单击“确定”。 图7 添加指定防护路径 表2 JS脚本反爬虫防护规则参数说明 参数 参数说明 示例 规则名称 自定义规则名称。 wafjs 路径 设置JS脚本反爬虫的URL链接中的路径(不包含域名)。 URL用来定义网页的地址。基本的URL格式如下: 协议名://域名或IP地址[:端口号]/[路径名/…/文件名]。 例如,URL为“http://www.example.com/admin”,则“路径”设置为“/admin”。 说明: 该路径不支持正则。 路径里不能含有连续的多条斜线的配置,如“///admin”,WAF引擎会将“///”转为“/”。 /admin 逻辑 在“逻辑”下拉列表中选择需要的逻辑关系。 包含 规则描述 规则备注信息。 -
  • 操作步骤 登录管理控制台。 单击左上角的,选择区域或项目。 在左侧导航树中,单击,选择“安全与合规 > 威胁检测服务”,进入威胁检测服务界面,如图1所示。 图1 威胁检测服务首页 单击“立即购买”,进入购买页面,如图2所示,相关参数说明如表1所示。 图2 购买威胁检测服务 表1 购买参数说明 参数名称 参数说明 取值样例 区域 当前购买威胁检测服务的目标区域。 华北-北京四 版本规格 提供按需选择版本规格包: 入门包 初级包 基础包 高级包 规格包内的容量、事件均为被检测的日志数据源容量和事件。 高级包 叠加包 版本规格包内检测单项的单价。 无需主动购买,当月用量超出购买的版本规格时,系统自动根据检测量购买对应叠加包,自动按需计费。 - 购买时长 提供自主选择购买时长,可选择: 1个月 2个月 3个月 4个月 5个月 6个月 7个月 8个月 9个月 1年 2年 3年自动 选择时长后,可勾选自动续费选框开启自动续费。自动续费时,从可用余额扣款,自动续费规则详情请参见自动续费规则说明。 须知: 单次购买时长满足1年及以上可享受折扣优惠。 如有备案需求请购买3个月及以上时长。 选择购买时长后,可勾选自动续费选框开启自动续费。 扣款规则:从可用余额扣款,自动续费规则详情请参见自动续费规则说明。 续费时长:如果按月购买,单次续费为一个月,次数不限;如果按年购买,单次续费为一年,次数不限。 1年 选择购买信息后,单击页面右下角的“立即购买”,页面跳转至支付页面,确认购买信息,相关参数说明如表2所示。 表2 购买信息确认 参数名称 参数说明 取值样例 产品类型 购买的服务名称。 威胁检测服务 产品规格 购买产品的使用区域和版本规格。 区域:华北-北京四 版本规格:高级包 计费模式 选择付费周期的显示。 包年/包月 购买时长 本次购买威胁检测服务的时长。 1个月 数量 当前购买的服务数量,目标区域只能购买一次。 1 价格 当前购买威胁检测服务的总价。 - 确认购买信息无误,单击右下角“去支付”跳转至付款页面,相关参数说明如表3所示。 表3 确认支付信息及方式 参数名称 参数说明 取值样例 订单号 随机生成的订单编号,单击编号可跳转至费用中心查看订单详情。 CS2107081002RSWIN 商品名称 购买的服务名称。 威胁检测服务 订单金额 生成的订单金额。 - 应付金额 订单需要支付的金额。 - 选择支付方式 提供订单支付的方式,可选择的方式有: 余额支付 在线支付 余额支付 已经创建的订单需在3天内完成付款,超过时间订单将会自动取消。 购买后如需要合同, 可单击“申请线上合同请款”,跳转至“申请合同”页面填写相关信息进行创建申请。 选择付款方式后,单击页面右下角“确认付款”,显示“订单支付成功”,完成购买。 在订单支付成功页面,单击“查看订单详情”,查看已支付订单详细信息。单击“返回控制台”,跳转至主控制台,按照步骤3重新进入威胁检测服务总览页,“流程引导”显示如图3所示,表示已购买成功,但还需要您在该区域创建检测引擎,威胁检测服务才会开始检测日志数据。 图3 购买成功 单击“创建检测引擎”下的“立即创建”,创建区域检测引擎,单击后待页面运行结束,页面右上角会提示“检测引擎创建成功”,页面会自动刷新一次,单击页面左上方流程引导的展开流程引导,显示如图4所示,表示检测引擎创建成功,在页面右上角会显示您购买的规格包。 图4 创建检测引擎成功 首次创建默认开启所有日志检测。
  • 一、安装容器引擎 首先,您需要准备一台虚拟机并安装容器引擎,请确保容器引擎为1.11.2及以上版本。 参考购买并登录Linux弹性云服务器创建一台带有弹性公网IP的Linux弹性云服务器。 作为演示,弹性云服务器和公网IP的规格不需要太高,例如弹性云服务器的规格为“1vCPUs | 2GB”、公网IP带宽为“1 Mbit/s”即可,操作系统以选择“CentOS 7.5”为例。 您也可以使用其他机器安装容器引擎,不创建弹性云服务器。 如果您使用的操作系统为EulerOS,请参考EulerOS操作系统下安装。 如果您使用的是Centos操作系统,建议选择CentOS7、CentOS7.2、CentOS7.3、CentOS7.4、CentOS7.5、CentOS7.6操作系统版本,否则可能导致安装异常。 创建完成后返回弹性云服务器列表,单击操作列的“远程登录”,以root用户登录弹性云服务器。 使用如下命令快速安装容器引擎。 curl -fsSL get.docker.com -o get-docker.shsh get-docker.shsudo systemctl daemon-reloadsudo systemctl restart docke
  • 微服务引擎服务数限制说明 微服务引擎分为微服务引擎专业版和微服务引擎专享版两种规格: 微服务引擎专业版:专业版引擎Cloud Service Engine是ServiceStage提供的免费体验引擎。专业版引擎可以体验ServiceStage的所有产品能力,比如服务治理、配置管理等。引擎资源为所有租户共享,性能可能会受其他租户影响;专业版引擎不支持升级到专享版。 微服务引擎专享版:专享版引擎,是可支持大规模微服务应用管理的商用引擎。您可根据业务需要选择不同规格,不支持规格变更;专享版引擎资源独享,性能不受其他租户影响。 每种规格支持最大服务数说明如下。 表2 微服务引擎最大服务限制说明 引擎类型 规格(微服务实例数) 微服务引擎专业版 20 微服务引擎专享版 100 200 500 2000
  • 操作步骤(旧版) 登录管理控制台。 单击管理控制台左上角的,选择区域或项目。 单击页面左上方的,选择“安全与合规 > Web应用防火墙 WAF”。 首次购买WAF时,在界面左侧,单击“立即购买WAF”。 再次购买WAF时,请在界面右上角,单击“购买WAF/升级规格”。 (可选)在“企业项目”下拉列表中选择您所在的企业项目。 企业项目针对企业用户使用,只有开通了企业项目的客户,或者权限为企业主帐号的客户才可见。如需使用该功能,请开通企业管理功能。企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 “default”为默认企业项目,帐号下原有资源和未选择企业项目的资源均在默认企业项目内。 只有注册的华为云帐号购买WAF时,“企业项目”下拉列表中才可以选择到“default”。 在“购买Web应用防火墙”界面,选择“独享模式”。 配置WAF实例参数,如图2所示,相关参数说明如表2所示。 图2 配置WAF独享引擎实例 表2 WAF独享引擎实例参数说明 参数名称 说明 区域 支持购买WAF独享模式的区域说明,请参见Web应用防火墙支持防护哪些区域?。 原则上,在任何一个区域购买的WAF支持防护所有区域的Web业务。但是为了提高WAF的转发效率,建议您在购买WAF时,根据防护业务的所在区域就近选择购买的WAF区域。 可用区 选择区域中的可用区。 WAF实例名称前缀 设置WAF实例名称前缀,购买多个实例时,实例前缀名称相同。 WAF实例数量 设置购买的WAF实例个数。 建议至少购买2个WAF实例,并将业务分别部署到WAF实例上。当业务部署多个WAF实例时,如果某个WAF实例发生故障时,WAF会自动将流量切换到其它正在运行的WAF实例上,确保业务正常运行。 WAF实例规格 选择实例的规格,支持“WI-500”和“WI-100” 。 WAF实例创建类别 选择实例的资源类型,仅支持“资源租户类” WAF实例通过弹性网卡接入用户网络,如果使用ELB接入,仅支持独享型ELB。 CPU架构 选择实例的CPU架构。 ECS规格 选择实例的ECS规格。 虚拟私有云 选择源站所在的VPC。 子网 选择VPC中已配置的子网。 安全组 选择区域中已有的安全组,或者单击“管理安全组”,跳转到VPC管理控制台创建新的安全组。选择安全组后,该实例将受到该安全组访问规则的保护。 须知: 安全组建议配置以下访问规则: 入方向规则 根据业务需求添加指定端口入方向规则,放通指定端口入方向网络流量。例如,需要放通“80”端口时,您可以添加“策略”为“允许”的“TCP”、“80”协议端口规则。 出方向规则 默认。放通全部出方向网络流量。 有关添加安全组规则的详细操作,请参见添加安全组规则。 如果WAF独享引擎实例与源站不在同一个VPC中,需要在安全组中设置实例与源站的子网互通。 标签 如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下选择同一标签,建议在TMS中创建预定义标签。 服务授权 首次购买WAF时,可配置此参数。勾选后,WAF将代您在IAM中创建委托,开通相关权限。 确认参数配置无误后,在页面右下角单击“立即购买”。 确认订单详情无误并阅读《华为云Web应用防火墙免责声明》后,勾选“我已阅读并同意《华为云Web应用防火墙免责声明》”,单击“去支付”,完成购买操作。 进入“付款”页面,选择付款方式进行付款。 成功付款后,单击“返回独享引擎列表”,在独享引擎实例列表界面,可以查看实例的创建情况。
  • 操作步骤(新版) 登录管理控制台。 单击管理控制台左上角的,选择区域或项目。 单击页面左上方的,选择“安全与合规 > Web应用防火墙 WAF”。 在页面的左上角,单击“创建WAF实例”。 (可选)在“企业项目”下拉列表中选择您所在的企业项目。 企业项目针对企业用户使用,只有开通了企业项目的客户,或者权限为企业主帐号的客户才可见。如需使用该功能,请开通企业管理功能。企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 “default”为默认企业项目,帐号下原有资源和未选择企业项目的资源均在默认企业项目内。 只有注册的华为云帐号购买WAF时,“企业项目”下拉列表中才可以选择到“default”。 在“购买Web应用防火墙”界面,“WAF模式”选择“独享模式”。 配置WAF实例参数,如图1所示,相关参数说明如表1所示。 图1 配置WAF独享引擎实例 表1 WAF独享引擎实例参数说明 参数名称 说明 区域 支持购买WAF独享模式的区域说明,请参见Web应用防火墙支持防护哪些区域?。 原则上,在任何一个区域购买的WAF支持防护所有区域的Web业务。但是为了提高WAF的转发效率,减少网络时延,提高网络速度,建议您在购买WAF时,根据防护业务的所在区域就近选择购买的WAF区域。 可用区 选择区域中的可用区。 WAF实例名称前缀 设置WAF实例名称前缀,购买多个实例时,实例前缀名称相同。 WAF实例数量 设置购买的WAF实例个数。 建议至少购买2个WAF实例,并将业务分别部署到WAF实例上。当业务部署多个WAF实例时,如果某个WAF实例发生故障时,WAF会自动将流量切换到其它正在运行的WAF实例上,确保业务正常运行。 WAF实例规格 选择实例的规格,支持“WI-500”和“WI-100” 。 WAF实例创建类别 选择实例的资源类型,仅支持“资源租户类”。 WAF实例通过弹性网卡接入用户网络,如果使用ELB接入,仅支持独享型ELB。 CPU架构 选择实例的CPU架构。 ECS规格 选择实例的ECS规格。 虚拟私有云 选择源站所在的VPC。 子网 选择VPC中已配置的子网。 安全组 选择区域中已有的安全组,或者单击“管理安全组”,跳转到VPC管理控制台创建新的安全组。选择安全组后,该实例将受到该安全组访问规则的保护。 须知: 安全组建议配置以下访问规则: 入方向规则 根据业务需求添加指定端口入方向规则,放通指定端口入方向网络流量。例如,需要放通“80”端口时,您可以添加“策略”为“允许”的“TCP”、“80”协议端口规则。 出方向规则 默认。放通全部出方向网络流量。 有关添加安全组规则的详细操作,请参见添加安全组规则。 如果WAF独享引擎实例与源站不在同一个VPC中,需要在安全组中设置实例与源站的子网互通。 标签 如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下选择同一标签,建议在TMS中创建预定义标签。 服务授权 首次购买WAF时,可配置此参数。勾选后,WAF将代您在IAM中创建委托,开通相关权限。 确认参数配置无误后,在页面右下角单击“立即购买”。 确认订单详情无误后,阅读并勾选《华为云Web应用防火墙免责声明》后,单击“去支付”,完成购买操作。 进入“付款”页面,选择付款方式进行付款。 成功付款后,单击“返回独享引擎列表”,在独享引擎实例列表界面,可以查看实例的创建情况。
  • sql_beta_feature 参数说明:标识开启的可选SQL引擎Beta特性,其中包括对行数估算、查询等价估算等优化。 开启它们可以对特定的场景进行优化,但也可能会导致部分没有被测试覆盖的场景发生性能劣化。在特定的客户场景中,通过此GUC参数对查询重写规则进行设置,使得查询效率最优。 此参数可以控制SQL引擎Beta特性的组合,比如有多个Beta特性:feature1、feature2、feature3、feature4。可以设置: --启用SQL引擎Beta特性feature1。set sql_beta_feature=feature1;--启用SQL引擎Beta特性feature2和feature3。set sql_beta_feature=feature2,feature3;--关闭所有可选SQL引擎Beta特性。set sql_beta_feature=none; 该参数属于USERSET类型参数,请参考表1中对应设置方法进行设置。 取值范围:字符串 none:不使用任何Beta优化器特性。 sel_semi_poisson:使用泊松分布对等值的半连接和反连接选择率进行校准。 sel_expr_instr:使用字符串匹配的行数估算方法对instr(col, 'const') > 0, = 0, = 1进行更准确的估算。 param_path_gen:生成更多可能的参数化路径。 rand_cost_opt:对小数据量表的随机读取代价进行优化。 param_path_opt:利用表的膨胀系数优化索引analyze信息。 page_est_opt:优化对非列存表索引analyze信息的relpages估算。 no_unique_index_first:关闭主键索引扫描路径优先的优化。 join_sel_with_cast_func:估算join行数的时候支持类型转换函数。 canonical_pathkey:正则化pathkey生成置后。(pathkey:标记数据有序性键值的集合) index_cost_with_leaf_pages_only:估算索引代价时考虑索引叶子结点。 partition_opfusion:开启分区表优化。 a_style_coerce:开启Decode类型转换规则兼容O,详见对于case,在ORA兼容模式下的处理。 partition_fdw_on:支持基于分区表创建postgres foreign table下的相关SQL。 predpush_same_level:开启predpush hint控制同层参数化路径的功能。 enable_plsql_smp:开启存储过程中的查询支持并行执行的功能。目前在同一时刻仅支持一条query使用并行执行,且cursor相关操作、自治事务、exception中的查询不会生成并行执行计划。 disable_bitmap_cost_with_lossy_pages:关闭bitmap路径代价中对lossy pages代价的计算。 默认值:"sel_semi_poisson,sel_expr_instr,rand_cost_opt,param_path_opt,page_est_opt"
  • 设备集成面板首页 设备集成LINK入门 介绍ROMA Connect的服务集成LINK功能,以及LINK的业务使用流程。 LINK简介 LINK业务使用流程 接入设备 设备Topic说明 规则引擎 SQL解析 常见问题 设备集成支持哪些通信协议? 为什么我的设备不能接入设备集成? 为什么我的设备接入设备集成后,规则引擎的数据目的端未收到设备发送的消息? 使用MQTTBox客户端连接ROMA Connect失败
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 total Integer 训练作业引擎规格总数。 items Array of items objects 引擎规格参数列表。 表3 items 参数 参数类型 描述 engine_id String 引擎规格的ID。如“caffe-1.0.0-python2.7”。 engine_name String 引擎规格的名称。如“Caffe”。 engine_version String 引擎规格的版本。对一个引擎名称,有多个版本的引擎,如使用python2.7的"Caffe-1.0.0-python2.7"等。 v1_compatible Boolean 是否为v1兼容模式。 run_user String 引擎默认启动用户uid。 image_info image_info object 引擎具体信息。 表4 image_info 参数 参数类型 描述 cpu_image_url String cpu规格下对应镜像。 gpu_image_url String gpu或者Ascend规格下对应镜像。 image_version String 镜像版本。
  • WAF攻击日志attack_log字段说明 字段 类型 字段说明 描述 category string 日志分类 值为“attack”。 time string 日志时间 - time_iso8601 string 日志的ISO 8601格式时间 - policy_id string 防护策略ID - level string 防护策略层级 表示Web基础防护策略级别。 1:宽松 2:中等 3:严格 attack string 发生攻击的类型 发生攻击的类型,仅在攻击日志中出现。 default:默认 sqli:SQL注入攻击 xss:跨站脚本攻击 webshell:WebShell攻击 robot:恶意爬虫 cmdi:命令注入攻击 rfi:远程文件包含 lfi: 本地文件包含 illegal:非法请求 vuln:漏洞攻击 cc:命中CC防护规则 custom_custom:命中精准防护规则 custom_whiteip:命中IP黑白名单规则 custom_geoip:命中地理位置控制规则 antitamper: 命中网页防篡改规则 anticrawler:命中JS挑战反爬虫规则 leakage:命中敏感信息泄露规则 followed_action:攻击惩罚,详见配置攻击惩罚标准。 action string 防护动作 WAF防护攻击动作。 block:拦截 log:仅记录 captcha:人机验证 sub_type string 爬虫的子类型 当attack为robot时,该字段不为空。 script_tool:脚本工具 search_engine:搜索引擎 scaner:扫描工具 uncategorized:其他爬虫 rule string 触发的规则ID或者自定义的策略类型描述 - location string 触发恶意负载的位置 - hit_data string 触发恶意负载的字符串 - resp_headers string 响应头 - resp_body string 响应体 - backend string 请求转发的后端服务器地址 - status string 请求的响应状态码 - reqid string 随机ID标识 - id string 攻击ID 攻击的ID标识。 method string 请求方法 - sip string 客户端请求IP - sport string 客户端请求端口 - host string 请求的服务器域名 - http_host string 请求的服务器域名 - hport string 请求的服务器端口 - uri string 请求URL 不包括域名。 header json string,decode后为json table 请求header信息 - multipart json string,decode后为json table 请求multipart header 用于文件上传。 cookie json string,decode后为json table 请求Cookie信息 - params json string,decode后为json table 请求URI后的参数信息 - body_bytes_sent string 发送给客户端的响应体字节数 WAF发送给客户端的响应体字节数。 upstream_response_time string 后端服务器响应时间 - process_time string 引擎的检测用时 - engine_id string 引擎的唯一标识 - group_id string 日志组ID 对接LTS服务的日志组ID。 attack_stream_id string 日志流ID 与“group_id”相关,是日志组下用户的 access_stream的ID。 hostid string 防护域名ID(upstream_id) - tenantid string 防护域名的租户ID - projectid string 防护域名的项目ID -
  • 概述 阈值告警相关概念: 告警规则:告警规则由告警规则名称,告警规则描述,规则绑定集群列表,告警策略触发关系,告警策略项构成。一条告警规则可绑定某个指定集群或所有集群,拥有一个或多个告警策略。其中,告警策略之间组合关系由“策略触发关系”选项描述。告警规则的阈值触发和抑制条件由每条告警策略描述。 告警策略:为某个告警指标指定的触发条件,抑制条件,告警级别的组合称为告警策略。 告警指标:数据库集群的某个指标项,一般是一个时间序列数据,例如:节点CPU使用率,查询触发下盘量等。 告警规则分类: 默认规则:GaussDB(DWS)阈值告警模块的最佳实践。 自定义规则:用户可自由选择或组合监控指标形成个性化的告警规则。目前版本仅支持用户自定义schema使用率告警规则。 告警规则操作: 修改:修改告警规则的选项。所有告警规则都可以修改编辑,但默认告警规则只能修改部分选项,而自定义告警规则可以修改全部选项。 启用/停用:启用或停用告警规则。所有的告警规则都可以启用/停用,启用后告警规则会被告警引擎纳入检查列表,可以正常触发。停用后的告警规则将被告警引擎移出检查列表,不会触发该规则检查。 删除:删除告警规则。只有自定义告警规则可以被删除,用户无法删除默认告警规则。
  • 操作步骤 登录管理控制台。 单击管理控制台左上角的,选择区域或项目。 在左侧导航树中,单击左上方的,选择“安全与合规 > 云防火墙”,进入云防火墙的概览页面,如图1所示。 图1 概览 单击“购买云防火墙”,进入“购买云防火墙”页面,相关参数如表1所示。 图2 购买云防火墙 表1 购买云防火墙的参数说明 参数名称 参数说明 取值样例 区域 购买互联网边界防火墙的区域。 须知: 购买的云防火墙只能在当前选择的区域使用,如需在其它区域使用,请切换到对应区域进行购买。 华东-上海一 版本规格 选择版本: 基础版 标准版 专业版 说明: 各版本之间的具体差异请参见服务版本差异。 目前仅“华东-上海一”支持专业版功能。 标准版 引擎类型 选择引擎类型: 山石引擎:直路部署。具备精细化应用管控,可为用户提供灵活的安全访问控制,包括策略阻止、会话限制等。同时,还具备入侵防御、病毒过滤、攻击防护等功能,满足客户安全访问、攻击防护以及应用识别和控制等需求。 华为旁路引擎:旁路部署。提供旁路流量检测,不影响已有业务组网架构,提供基于华为云多年攻防实践经验的攻击库和防护规则,并支持根据策略设置可以对已知攻击流量(连接型协议如TCP)进行旁路阻断功能,以防止网络的入侵。 山石引擎 扩展防护公网IP数 选择需扩展的防护公网IP数,可选择范围:0~2000个 说明: 此处为套餐外购买数量,例如标准版防护公网IP数默认20个(套餐内费用包含),如果您的公网IP是65个,那么只需要填写45个。 45个 扩展防护流量峰值 选择需扩展的防护流量峰值,可选择范围:0~2000Mbps/月(需为5的整数倍) 说明: 此处为套餐外购买流量值,例如标准版防护互联网边界流量峰值默认10Mbps/月(套餐内费用包含),如果您的防护流量是200Mbps/月,那么只需要填写190Mbps/月。 扩展防护流量峰值是所有eip防护带宽叠加的峰值。 200Mbps/月 扩展VPC数 选择需扩展的VPC数,可选择范围:0~2000个。 说明: 此处为套餐外购买数量,例如专业版防护VPC数默认2个(套餐内费用包含),如果您的VPC是3个,那么只需要填写1个。 1个 购买时长 自主选择购买时长。 选择时长后,可勾选“自动续费”若您勾选并同意自动续费,则在服务到期前,系统会自动按照购买周期生成续费订单并进行续费,无需手动续费。自动续费规则请参见自动续费规则说明。 1年 确认购买信息无误后,单击“立即购买”。 确认订单详情,并单击右下角“去支付”。 在“付款”页面,选择付款方式进行付款。
  • 告警类型详情 威胁检测服务目前支持3种检测方式,分别是威胁情报、规则基线、AI引擎,详情如表2所示。涵盖71种告警类型。 单条告警根据计算方式和风险系数结果存在单个告警等级或多个告警等级。 表2 检测方式详情 检测方式 检测描述 检测数据源及数量 AI引擎 利用机器学习挖掘陌生访问行为来发现陌生行为是否存在潜在威胁。 IAM日志:8种; DNS日志:2种。 规则基线 遵循已有标准的、固定的规则对日志进行检测。 OBS日志:11种。 威胁情报 基于三方收集的历史有效情报对日志信息进行关联性分析检测,三方情报每天更新一次。 IAM日志: 22种; CTS日志:5种; VPC日志:12种; DNS日志:11种。
  • 最佳使用案例 您在创建作业类型节点之前可以通过以下操作来获取该帐号所支持的训练资源规格列表以及引擎规格列表: from modelarts.session import Sessionfrom modelarts.estimatorV2 import TrainingJobfrom modelarts.workflow.client.job_client import JobClient# 若您在本地IDEA环境中开发工作流,则Session初始化使用如下方式session = Session( access_key="***", # 账号的AK信息 secret_key="***", # 账号的SK信息 region_name="***", # 账号所属的region project_id="***" ,# 账号的项目ID)# 若您在Notebook环境中开发工作流,则Session初始化使用如下方式session = Session()# 公共资源池规格列表查询spec_list = TrainingJob(session).get_train_instance_types(session) # 返回的类型为list,可按需打印查看# 运行中的专属资源池列表查询pool_list = JobClient(session).get_pool_list() # 返回专属资源池的详情列表pool_id_list = JobClient(session).get_pool_id_list() # 返回专属资源池ID列表GPU/NPU专属资源池规格ID列表如下,根据所选资源池的实际规格自行选择: 1. modelarts.pool.visual.xlarge 对应1卡 2. modelarts.pool.visual.2xlarge 对应2卡 3. modelarts.pool.visual.4xlarge 对应4卡 4. modelarts.pool.visual.8xlarge 对应8卡# 引擎规格查询engine_dict = TrainingJob(session).get_engine_list(session) # 返回的类型为dict,可按需打印查看
  • 创建应用级配置 登录微服务引擎控制台。 在页面上方“微服务引擎”下拉列表,选择已部署了待配置应用的微服务引擎。 单击“配置管理”。 未开启安全认证的微服务引擎,请执行5。 开启安全认证的微服务引擎,请执行4。 在弹出的“安全认证”对话框输入帐号名及其密码,单击“确定”。 首次连接微服务引擎,请输入root帐号名及创建微服务引擎时输入的密码。 创建帐号请参考新增帐号。 单击“新建配置”,参考下表设置配置参数。参数前面带*号的是必须设置的参数。 参数名称 参数说明 *配置项 输入配置项。 配置项为该配置的全局ID,在编码阶段通过配置项对配置进行索引及操作。建议采用类Java包命名方式(如cse.service.registry.address)的命名规则来保证配置项的可读性和唯一性。 配置范围 选择“应用级配置”。 *应用 选择或输入应用名称。 选择环境。 配置格式 选择配置格式。 *配置内容 输入配置内容。 是否启用 选择是否启用配置: 现在启用:创建成功后,配置立即生效。 暂不启用:创建成功后,配置暂不生效。 单击“立即创建”,启用该配置项。
  • 参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法请参见Session鉴权。 train_instance_count 是 Int 训练作业计算节点个数。 code_dir 否 String 训练作业的代码目录,如“/bucket/src/”。当填入model_name时不需要填写。 boot_file 否 String 训练作业的代码启动文件,需要在代码目录下,如“/bucket/src/boot.py”。当填入model_name时不需要填写。 model_name 否 String 训练作业的内置算法模型名称。填入model_name后app_url与boot_file_url不需填写,framework_type和framework_version也不需要填写。“model_name”请从查询预置算法 接口中获取。 output_path 是 String 训练作业的输出位置。 hyperparameters 否 JSON Array 训练作业的运行参数,为label-value格式,其中lable和value的值均为String类型;当为自定义镜像训练作业的时候,此参数为容器环境变量。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/log/”。 train_instance_type 是 String 训练作业选择的资源规格。若选择在训练平台训练,请从查询资源规格列表接口获取。 framework_type 否 String 训练作业选择的引擎规格。请从查询引擎规格列表接口获取引擎规格。当填入model_name时不需要填写。 framework_version 否 String 训练作业选择的引擎版本。请从查询引擎规格列表接口获取引擎版本。当填入model_name时不需要填写。 job_description 否 String 训练作业的描述。 user_image_url 否 String 自定义镜像训练作业的自定义镜像的SWR-URL。如:“100.125.5.235:20202/jobmng/custom-cpu-base:1.0”。 user_command 否 String 自定义镜像训练作业的自定义镜像的容器的启动命令。形式为:“bash /home/work/run_train.sh python /home/work/user-job-dir/app/train.py {python_file_parameter}” 。 pool_id 否 String 训练作业选择的资源池ID,可在ModelArts管理控制台,单击左侧“专属资源池”,在专属资源池列表中查看资源池ID。 表2 fit请求参数说明 参数 是否必选 参数类型 描述 inputs 是 String 训练作业的数据存储位置。 inputs和(dataset_id、dataset_version_id)、data_source三者不可同时出现,但必须有其一。 本地训练只支持该参数。 dataset_id 否 String 训练作业的数据集ID。获取数据集ID,请参见查看数据集的基本信息。 应与dataset_version_id同时出现,但不可与inputs同时出现。 dataset_version_id 否 String 训练作业的数据集版本ID。获取数据集版本ID,请参见查看数据集的基本信息。 应与dataset_id同时出现,但不可与inputs同时出现。 wait 否 Boolean 是否等待训练作业结束,默认为False。 job_name 否 String 训练作业的名称,支持[a-zA-Z0-9_-]{1,64}。若不填,则会动态生成一个job_name。 表3 训练平台训练的成功响应说明 参数 类型 描述 TrainingJob Object 训练对象。该对象包含job_id、version_id等属性,对训练作业的查询、更新、删除等操作,如可通过job_instance.job_id获取训练作业ID。
  • Distributed表引擎 Distributed表引擎本身不存储任何数据,而是作为数据分片的透明代理,能够自动路由数据到集群中的各个节点,分布式表需要和其他本地数据表一起协同工作。分布式表会将接收到的读写任务分发到各个本地表,而实际上数据的存储在各个节点的本地表中。 图1 Distributed原理图 Distributed表引擎的创建模板: ENGINE = Distributed(cluster_name, database_name, table_name, [sharding_key]) Distributed表参数解析如下: cluster_name:集群名称,在对分布式表执行读写的过程中,使用集群的配置信息查找对应的ClickHouse实例节点。 database_name:数据库名称。 table_name:数据库下对应的本地表名称,用于将分布式表映射到本地表上。 sharding_key:分片键(可选参数),分布式表会按照这个规则,将数据分发到各个本地表中。 Distributed表引擎使用示例: --先创建一个表名为test的ReplicatedMergeTree本地表CREATE TABLE default.test ON CLUSTER default_cluster_1( `EventDate` DateTime, `id` UInt64)ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/default/test', '{replica}')PARTITION BY toYYYYMM(EventDate)ORDER BY id--基于本地表test创建表名为test_all的Distributed表CREATE TABLE default.test_all ON CLUSTER default_cluster_1( `EventDate` DateTime, `id` UInt64)ENGINE = Distributed(default_cluster_1, default, test, rand()) 分布式表创建规则: 创建Distributed表时需加上on cluster cluster_name,这样建表语句在某一个ClickHouse实例上执行一次即可分发到集群中所有实例上执行。 分布式表通常以本地表加“_all”命名。它与本地表形成一对多的映射关系,之后可以通过分布式表代理操作多张本地表。 分布式表的表结构尽量和本地表的结构一致。如果不一致,在建表时不会报错,但在查询或者插入时可能会抛出异常。
  • Distributed表引擎 Distributed表引擎本身不存储任何数据,而是作为数据分片的透明代理,能够自动路由数据到集群中的各个节点,分布式表需要和其他本地数据表一起协同工作。分布式表会将接收到的读写任务分发到各个本地表,而实际上数据的存储在各个节点的本地表中。 图1 Distributed原理图 Distributed表引擎的创建模板: ENGINE = Distributed(cluster_name, database_name, table_name, [sharding_key]) Distributed表参数解析如下: cluster_name:集群名称,在对分布式表执行读写的过程中,使用集群的配置信息查找对应的ClickHouse实例节点。 database_name:数据库名称。 table_name:数据库下对应的本地表名称,用于将分布式表映射到本地表上。 sharding_key:分片键(可选参数),分布式表会按照这个规则,将数据分发到各个本地表中。 Distributed表引擎使用示例: --先创建一个表名为test的ReplicatedMergeTree本地表CREATE TABLE default.test ON CLUSTER default_cluster_1( `EventDate` DateTime, `id` UInt64)ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/default/test', '{replica}')PARTITION BY toYYYYMM(EventDate)ORDER BY id--基于本地表test创建表名为test_all的Distributed表CREATE TABLE default.test_all ON CLUSTER default_cluster_1( `EventDate` DateTime, `id` UInt64)ENGINE = Distributed(default_cluster_1, default, test, rand()) 分布式表创建规则: 创建Distributed表时需加上on cluster cluster_name,这样建表语句在某一个ClickHouse实例上执行一次即可分发到集群中所有实例上执行。 分布式表通常以本地表加“_all”命名。它与本地表形成一对多的映射关系,之后可以通过分布式表代理操作多张本地表。 分布式表的表结构尽量和本地表的结构一致。如果不一致,在建表时不会报错,但在查询或者插入时可能会抛出异常。
  • 2021年9月 序号 功能名称 功能描述 阶段 相关文档 1 微服务引擎2.0 微服务引擎2.0提供微服务引擎专享版。微服务引擎专享版是可支持大规模微服务应用管理的商用引擎。您可根据业务需要选择不同规格,支持规格扩容;引擎资源独享,性能不受其他租户影响。 微服务引擎2.0版本底层架构、功能、安全及性能全面升级,提供了独立的服务注册发现中心和配置中心,支持基于用户业务场景的定义和治理。 商用 微服务引擎 CSE
  • 登录微服务引擎控制台。 单击“引擎实例”。 在页面上方“微服务引擎”下拉列表,选择待操作的微服务引擎。 在“微服务引擎信息”区域,查看如表1所示的微服务引擎信息。 表1 引擎详细信息说明 引擎信息名称 信息说明 引擎名称 创建微服务引擎时输入的引擎名称。 引擎ID 引擎的ID,单击可复制。 状态 引擎的状态,包括: 创建中 可用 不可用 删除中 升级中 变更中 创建失败 删除失败 升级失败 变更失败 已冻结 引擎版本 引擎的版本号。 规格 创建微服务引擎时选择的引擎规格。 企业项目 创建微服务引擎时选择的企业项目。 可用区 创建微服务引擎时选择的可用区。 描述 创建微服务引擎时输入的引擎描述信息。
  • 操作步骤 登录微服务引擎控制台。 单击“引擎实例”。 在页面上方“微服务引擎”下拉列表,选择待操作的微服务引擎。 在“微服务引擎信息”区域,查看如表1所示的微服务引擎信息。 表1 引擎详细信息说明 引擎信息名称 信息说明 引擎名称 创建微服务引擎时输入的引擎名称。 引擎ID 引擎的ID,单击可复制。 状态 引擎的状态,包括: 创建中 可用 不可用 删除中 升级中 变更中 创建失败 删除失败 升级失败 变更失败 已冻结 引擎版本 引擎的版本号。 规格 创建微服务引擎时选择的引擎规格。 企业项目 创建微服务引擎时选择的企业项目。 可用区 创建微服务引擎时选择的可用区。 描述 创建微服务引擎时输入的引擎描述信息。
  • 创建自定义配置 登录微服务引擎控制台。 在页面上方“微服务引擎”下拉列表,选择待创建自定义配置的微服务引擎。 单击“配置管理”。 未开启安全认证的微服务引擎,请执行5。 开启安全认证的微服务引擎,请执行4。 在弹出的“安全认证”对话框输入帐号名及其密码,单击“确定”。 首次连接微服务引擎,请输入root帐号名及创建微服务引擎时输入的密码。 创建帐号请参考新增帐号。 单击“新建配置”,参考下表设置配置参数。参数前面带*号的是必须设置的参数。 参数名称 参数说明 *配置项 输入配置项。 配置项为该配置的全局ID,在编码阶段通过配置项对配置进行索引及操作。建议采用类Java包命名方式(如cse.service.registry.address)的命名规则来保证配置项的可读性和唯一性。 配置范围 选择“自定义配置”。 *标签 当应用级配置、微服务级配置不能满足使用需求,可通过标签创建自定义配置。 配置格式 选择配置格式。 *配置内容 输入配置内容。 是否启用 选择是否启用配置: 现在启用:创建成功后,配置立即生效。 暂不启用:创建成功后,配置暂不生效。 单击“立即创建”,启用该配置项。
  • 微服务引擎(Cloud Service Engine,CSE),是用于微服务应用的云中间件,为用户提供注册发现、服务治理、配置管理等高性能和高韧性的企业级云服务能力;CSE可无缝兼容Spring Cloud、ServiceComb等开源生态;用户也可结合其他云服务,快速构建云原生微服务体系,实现微服务应用的快速开发和高可用运维。 微服务引擎分为微服务引擎1.0、微服务引擎2.0两个版本。 微服务引擎2.0提供微服务引擎专享版。微服务引擎专享版是可支持大规模微服务应用管理的商用引擎。您可根据业务需要选择不同规格,支持规格扩容;引擎资源独享,性能不受其他租户影响。
  • 参数说明 表1 Environment参数说明 参数 是否必选 类型 说明 name 是 String 环境名称。 conda 否 CondaDependencies conda环境,具体请参见表2。 表2 CondaDependencies参数说明 参数 是否必选 类型 说明 channels 否 List python包的下载源。 pip_packages 否 List conda虚拟环境需要使用的python包,如tensorflow,pillow等。 conda_packages 否 List conda虚拟环境需要使用的conda包,如指定python版本。 表3 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法请参见Session鉴权。 train_instance_count 是 Int 训练作业计算节点个数。 code_dir 否 String 训练作业的代码目录,如“/bucket/src/”。当填入model_name时不需要填写。 boot_file 否 String 训练作业的代码启动文件,需要在代码目录下,如“/bucket/src/boot.py”。当填入model_name时不需要填写。 model_name 否 String 训练作业的内置算法模型名称。填入model_name后app_url与boot_file_url不需填写,framework_type和framework_version也不需要填写。“model_name”请从查询预置算法 接口中获取。 output_path 是 String 训练作业的输出位置。 hyperparameters 否 JSON Array 训练作业的运行参数,为label-value格式,其中lable和value的值均为String类型;当为自定义镜像训练作业的时候,此参数为容器环境变量。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/log/”。 train_instance_type 是 String 训练作业选择的资源规格。若选择在训练平台训练,请从查询资源规格列表接口获取。 framework_type 否 String 训练作业选择的引擎规格。请从查询引擎规格列表接口获取引擎规格。当填入model_name时不需要填写。 framework_version 否 String 训练作业选择的引擎版本。请从查询引擎规格列表接口获取引擎版本。当填入model_name时不需要填写。 job_description 否 String 训练作业的描述。 user_image_url 否 String 自定义镜像训练作业的自定义镜像的SWR-URL。如:“100.125.5.235:20202/jobmng/custom-cpu-base:1.0”。 user_command 否 String 自定义镜像训练作业的自定义镜像的容器的启动命令。形式为:“bash /home/work/run_train.sh python /home/work/user-job-dir/app/train.py {python_file_parameter}” 。 pool_id 否 String 训练作业选择的资源池ID,可在ModelArts管理控制台,单击左侧“专属资源池”,在专属资源池列表中查看资源池ID。 表4 fit请求参数说明 参数 是否必选 参数类型 描述 inputs 是 String 训练作业的数据存储位置。 inputs和(dataset_id、dataset_version_id)、data_source三者不可同时出现,但必须有其一。 本地训练只支持该参数。 dataset_id 否 String 训练作业的数据集ID。获取数据集ID,请参见查看数据集的基本信息。 应与dataset_version_id同时出现,但不可与inputs同时出现。 dataset_version_id 否 String 训练作业的数据集版本ID。获取数据集版本ID,请参见查看数据集的基本信息。 应与dataset_id同时出现,但不可与inputs同时出现。 wait 否 Boolean 是否等待训练作业结束,默认为False。 job_name 否 String 训练作业的名称,支持[a-zA-Z0-9_-]{1,64}。若不填,则会动态生成一个job_name。
  • 创建微服务级配置 登录微服务引擎控制台。 在页面上方“微服务引擎”下拉列表,选择已部署了待配置微服务的微服务引擎。 单击“配置管理”。 未开启安全认证的微服务引擎,请执行5。 开启安全认证的微服务引擎,请执行4。 在弹出的“安全认证”对话框输入帐号名及其密码,单击“确定”。 首次连接微服务引擎,请输入root帐号名及创建微服务引擎时输入的密码。 创建帐号请参考新增帐号。 单击“新建配置”,参考下表设置配置参数。参数前面带*号的是必须设置的参数。 参数名称 参数说明 *配置项 输入配置项。 配置项为该配置的全局ID,在编码阶段通过配置项对配置进行索引及操作。建议采用类Java包命名方式(如cse.service.registry.address)的命名规则来保证配置项的可读性和唯一性。 配置范围 选择“微服务级配置”。 *微服务 选择或者输入微服务名称。 选择或输入应用名称。 选择环境。 配置格式 选择配置格式。 *配置内容 输入配置内容。 是否启用 选择是否启用配置: 现在启用:创建成功后,配置立即生效。 暂不启用:创建成功后,配置暂不生效。 单击“立即创建”,启用该配置项。
  • 响应参数 状态码: 200 表3 响应Body体 参数 参数类型 描述 id String 微服务引擎专享版ID。 name String 微服务引擎专享版名称。 projectId String 微服务引擎专享版所属项目ID。 enterpriseProjectId String 微服务引擎专享版引擎所属企业项目ID。 enterpriseProjectName String 微服务引擎专享版引擎所属企业项目名称。 type String 引擎的类型,CSE为微服务引擎专享版。 description String 微服务引擎专享版描述。 beDefault Boolean 微服务引擎专享版是否是默认引擎。 flavor String 微服务引擎专享版规格。 cse.s1.small2:高可用100实例引擎。 cse.s1.medium2:高可用200实例引擎。 cse.s1.large2:高可用500实例引擎。 cse.s1.xlarge2:高可用2000实例引擎。 payment String 微服务引擎专享版计费方式,0表示包周期,1表示按需,2表示免费。 authType String 微服务引擎专享版认证方式,RBAC为安全认证,NONE为无认证。 status String 微服务引擎专享版当前状态。 cceSpec Object 微服务引擎专享版CCE规格。 externalEntrypoint Object 微服务引擎专享版接入地址。 publicAddress String 微服务引擎专享版公网访问地址,需要开启公网访问。 version String 微服务引擎专享版当前版本。 latestVersion String 微服务引擎专享版最新版本。 createTime Integer 微服务引擎专享版创建时间。 createUser String 微服务引擎专享版创建者。 latestJobId Integer 微服务引擎专享版最近的任务ID。 engineAdditionalActions Array of String 微服务引擎专享版允许的附加操作。 Delete:删除。 ForceDelete:强制删除。 Upgrade:升级。 Retry:重试。 specType String 微服务引擎专享版部署类型。固定值:CSE2。 reference Object 微服务引擎专享版附加信息。 vmIds Array of String 当前微服务引擎专享版在资源租户侧使用的虚拟机id列表。 表4 EngineReference 参数 参数类型 描述 vpc String vpc名称。 vpcId String vpc的id,长度不超过64位。 azList Array of String 微服务引擎专享版部署可用区列表。 networkId String 微服务引擎专享版子网网络ID。 subnetCidr String 微服务引擎专享版ipv4子网划分。 subnetCidrV6 String 微服务引擎专享版ipv6子网划分。 subnetGateway String 微服务引擎专享版子网网关。 publicIpId String 微服务引擎专享版公网地址ID,需要开启公网访问。 serviceLimit Integer 套餐可支持的微服务总数。 instanceLimit Integer 套餐可支持的实例总数。 inputs Map 微服务引擎专享版附加参数。 表5 Spec 参数 参数类型 描述 id Integer 微服务引擎专享版CCE规格ID。 engineId String 微服务引擎专享版ID。 specType String 微服务引擎专享版CCE集群部署类型 cluster String 微服务引擎专享版CCE集群信息,目前为null。 clusterId String 微服务引擎专享版CCE集群ID。 clusterNodes Object 微服务引擎专享版CCE节点列表。 flavor String 微服务引擎专享版CCE集群规格。 region String 微服务引擎专享版CCE集群所在局点。 version String 微服务引擎专享版CCE集群版本。 extendParam String 微服务引擎专享版CCE集群附加参数。 表6 SpecClusterNode 参数 参数类型 描述 clusterNodes Array of ClusterNode objects 微服务引擎专享版CCE节点信息。 表7 ClusterNode 参数 参数类型 描述 id String 微服务引擎专享版CCE节点ID。 az String 微服务引擎专享版CCE节点所属可用区。 ip String 微服务引擎专享版CCE节点IP。 label String 微服务引擎专享版CCE节点标签。 status String 微服务引擎专享版CCE节点状态。 表8 EngineExternalEntrypoint 参数 参数类型 描述 externalAddress String 微服务引擎专享版租户侧VPC内访问地址。 publicAddress String 微服务引擎专享版公网访问地址,需要开启公网访问。 serviceEndpoint Object 微服务引擎专享版组件租户侧VPC内访问地址。 publicServiceEndpoint Object 微服务引擎专享版组件公网访问地址,需要开启公网访问。 表9 Endpoint 参数 参数类型 描述 kie Object 配置中心Endpoint信息 serviceCenter Object 服务中心Endpoint信息 表10 EntryPoint 参数 参数类型 描述 masterEntrypoint String 微服务引擎专享版组件VPC内ipv4主访问地址。 masterEntrypointIpv6 String 微服务引擎专享版组件VPC内ipv6主访问地址。 slaveEntrypoint String 微服务引擎专享版组件VPC内ipv4备访问地址。 slaveEntrypointIpv6 String 微服务引擎专享版组件VPC内ipv6备访问地址。 type String 微服务引擎专享版组件类型。 CSE:专享版引擎。 状态码: 400 表11 响应Body参数 参数 参数类型 描述 errorCode String 错误代码。 errorMessage String 错误信息。 detail String 详细定位信息。 状态码: 500 表12 响应Body参数 参数 参数类型 描述 errorCode String 错误代码。 errorMessage String 错误信息。 detail String 详细定位信息。
  • 接入设备 设备可以使用开源Eclipse paho MQTT Client与ROMA Connect进行连接。您也可以使用MQTTX客户端进行设备接入的调测验证。 获取MQTT客户端。 根据您所使用的编程语言获取对应的Eclipse paho MQTT Client。 获取设备的接入信息。 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“设备集成 LINK > 设备管理”。 获取设备的连接信息。 MQTT/MQTTS连接地址:在设备管理页面上方获取设备的接入地址,如果使用MQTT接入,则获取“MQTT连接地址”;如果使用MQTTS接入,则获取“MQTTS连接地址”,并下载SSL证书。 客户端ID/用户名/密码:在设备页签下找到对应的设备,并获取设备的“客户端ID”、“用户名”和“密码”。 获取设备的Topic信息。 单击设备的名称进入设备详情页面,在Topic列表页签下,获取设备上报(发布)和接收(订阅)消息的Topic信息。 设备创建成功后系统会自动生成5个基础Topic,Topic说明见表1,具体使用方法请参考MQTT协议Topic规范。 表1 基础Topic说明 Topic名称 Topic类 说明 {产品标识}/out/{设备标识} 发布 用于设备发布消息,消息处理按照规则引擎配置进行,用户可灵活使用。 {产品标识}/in/{设备标识} 订阅 用于设备订阅消息,消息处理按照规则引擎配置进行,用户可灵活使用。 /v1/devices/{设备标识}/datas 发布 用于设备上报基于MQTT的配电物联网通信协议的消息,消息处理先按照此协议处理过滤一遍,再按照规则引擎配置进行。在开启设备影子功能时,该topic上报的数据将会被记录影子。 /v1/devices/{设备标识}/command 订阅 用于设备订阅平台下发的命令消息。平台下发的命令消息默认发布至此Topic。 /v1/devices/{设备标识}/commandResponse 发布 用于设备发布回应消息。设备接收到平台下发的命令消息后,通过此Topic回应平台下发的命令。 设备集成MQTT客户端。 设备开发集成Eclipse paho MQTT Client,并在集成过程中写入设备的接入信息。具体开发集成过程请参考设备集成开发。 设备接入ROMA Connect。 设备完成集成开发后,上电并联网,接入ROMA Connect。
  • 2020年06月 序号 功能名称 功能描述 阶段 相关文档 1 优化网站反爬虫功能 开启网站反爬虫后,弹出“警告”提示框,说明网站反爬虫功能使用限制,提升使用体验。 商用 配置网站反爬虫防护规则 2 独享版正式上线 独享引擎部署在虚拟私有云VPC内,网络链路时延低,且独享引擎资源由用户独享,可以满足业务大规模流量攻击防护需求。 商用 云模式、独享模式和ELB模式说明 3 云模式检测版正式上线 检测版可以满足个人网站防护需求。 商用 服务版本差异
  • 设备集成API错误码 更多服务错误码请参见API错误中心。 状态码 错误码 错误信息 描述 处理措施 400 RML.0001 The input parameter is null. 输入的参数不能为空 检查输入参数是否为空 400 RML.0002 The input parameter is invalid. 输入的参数无效 检查输入的参数 400 RML.0003 The input parameter is not in JSON format or the format is invalid. 输入的参数格式不是JSON或者格式不对 检查输入的参数格式 400 RML.0004 The project ID is null or invalid. ProjectId为空或者无效 检查ProductId有效性 400 RML.0005 The request body is null. 请求参数不能为空 检查请求参数内容 400 RML.0006 The request parameter is not in JSON format. 请求参数不是JSON格式 检查请求参数格式 400 RML.0007 The query parameter is invalid. 查询参数无效 检查查询参数有效性 400 RML.0008 No operation permission. 没有更新该资源的权限 更换具有该权限的用户或角色进行操作 400 RML.0009 No CSV found. 请导入CSV格式文件 选择CSV文件进行导入 400 RML.0010 Failed to write data into the CSV file. 导入数据到CSV文件失败 检查CSV文件是否存在 400 RML.0011 Failed to export data. 导出数据失败 检查是否存在数据 400 RML.0012 Failed to download ssl certificate. 下载SSL证书失败 检查网络连接是否正常 400 RML.0013 The input parameter oid is null. 输入的唯一标识不能为空 请输入非空的标识 400 RML.0014 The Topic field in the CSV file is incorrect. Check product serial number and device name in Topic. 导入的CSV文件中,Topic字段有误 修改Topic字段后重试 400 RML.0015 Incorrect file extension. 文件名格式不对(CSV) 修改文件名格式后重试 400 RML.0100 Invalid instance ID. 实例ID不合法 修改实例ID 400 RML.0101 The instance is not running. 实例状态异常 检查实例状态后重试 400 RML.0102 The instance does not exist. 实例不存在 创建实例后重试 400 RML.0103 The instance ID is null. 实例ID不能为空 添加实例ID 400 RML.0104 Invalid instance parameter. 实例参数不合法 检查实例参数合法性 400 RML.0105 Failed to reset the instance password. 重置实例密码失败 检查实例是否存在 400 RML.0106 Invalid instance number. instanceNo无效 检查instanceNo的正确性 400 RML.0200 The device ID is null or invalid. 设备ID为空或者无效 检查设备ID的有效性 400 RML.0201 The device name is null or invalid. 设备名称为空或者无效 检查设备名称的有效性 400 RML.0202 The device name already exists. 设备名称已存在 修改设备名称后重试 400 RML.0203 The device does not exist. 设备不存在 创建设备后重试 400 RML.0204 The device status is null or invalid. 设备状态为空或者无效 检查设备状态的有效性 400 RML.0205 The device description is longer than 200 characters. 设备描述长度超出200个字符 修改设备描述长度 400 RML.0206 The client ID of the device is null or invalid. 设备ClientID为空或者无效 检查设备ClientID的有效性 400 RML.0207 Duplicated device names exist during device adding in batches. 批量创建时设备名称重复 修改重复的设备名称 400 RML.0208 The device quota is not enough. 设备配额不足 联系管理员申请增加配额 400 RML.0209 The number of devices to be imported to the CSV file is over 1000. 导入CSV文件中设备数量超出1000条 修改导入CSV文件中的设备数量 400 RML.0210 The number of batch added devices exceeds 100. 批量创建设备时,设备数目不能超出100个 修改批量创建的设备数目 400 RML.0212 The topic name is null or invalid. 设备Topic名称为空或者无效 检查设备Topic名称的有效性 400 RML.0213 The topic already exists. 设备Topic已存在 修改设备Topic后重试 400 RML.0214 The topic does not exist. Topic不存在 创建Topic后重试 400 RML.0215 The permission name of the device topic is incorrect. 设备Topic的权限命名不对 修改设备Topic的权限名称 400 RML.0216 The device topic description cannot exceed 200 characters. 设备Topic描述长度超出200个字符 修改设备Topic描述长度 400 RML.0217 The topic name already exists. 设备Topic名称重复 修改设备Topic名称 400 RML.0218 The topic quota is not enough. 设备Topic的配额不足 联系管理员申请增加配额 400 RML.0219 Incorrect title format for the device CSV file. 导入的设备CSV文件中,标题行书写格式不对 修改标题行书写格式 400 RML.0220 The number of devices to be exported exceeds 1000. 导出所有设备数量超出1000条 修改导出的设备数量 400 RML.0221 Choose at least one device when exporting data. 导出时至少有一条设备数据 选择至少一条设备数据进行导出 400 RML.0222 The device parameter is null. 设备参数不能为空 检查设备参数是否为空 400 RML.0223 Duplicate client IDs exist during device adding in batches. 批量创建设备时,设备的ClientID重复 修改重复的ClientID 400 RML.0224 The device client ID already exists in the local database. 设备ClientID本地已存在 修改设备ClientID 400 RML.0225 Failed to reset the device password. 重置设备密码失败 检查设备是否存在 400 RML.0226 Invalid user name of the device. CSV文件中设备用户名不合法 检查设备用户名合法性 400 RML.0227 Invalid password of the device. CSV文件中设备密码不合法 检查设备密码的合法性 400 RML.0228 The number of devices to be exported exceeds 500. 选择导出的设备不能超过500条 修改选择导出的设备数量 400 RML.0229 The device name is invalid or duplicated. 导入的CSV文件中设备名称不合法 检查导入的CSV文件中设备名称 400 RML.0230 The device status is invalid. 导入的CSV文件中设备状态不合法 检查导入的CSV文件中设备状态 400 RML.0231 All the uploaded devices already exist. 导入的CSV文件中设备都已存在 修改导入的CSV文件中存在的设备 400 RML.0232 The client ID is invalid or duplicated. 导入的CSV文件中设备ClientID不合法 检查导入的CSV文件中设备ClientID 400 RML.0233 The topic name does not exist. 设备Topic不存在 检查设备Topic 400 RML.0234 Invalid topic ID. 设备Topic ID无效 检查设备Topic 400 RML.0235 Deleting online devices is not allowed. 删除在线设备被禁止 下线设备后重试 400 RML.0236 The device is offline. 设备离线 上线设备后重试 400 RML.0237 The device is not a gateway. 不是网关设备 修改为网关设备后重试 400 RML.0238 The mqtt node does not exist. 找不到MQTT节点 创建MQTT节点后重试 400 RML.0300 The product ID is null or invalid. 产品ID为空或者无效 检查产品ID 400 RML.0301 The product name is invalid. 产品名称不合法 检查产品名称 400 RML.0302 The product does not exist. 产品不存在 创建产品后重试 400 RML.0303 The product description is longer than 200 characters. 产品描述的长度超出200个字符 修改产品描述长度 400 RML.0304 The product already exists. 产品已存在 修改产品后重试 400 RML.0305 The product quota is not enough. 产品配额不足 联系管理员申请增加配额 400 RML.0306 The product name does not exist. 产品名称不存在 添加产品名称 400 RML.0308 The product attribute does not exist. 产品属性不存在 添加产品属性 400 RML.0309 The product attribute already exists. 产品属性已存在 修改产品属性后重试 400 RML.0310 The product attribute identifier is invalid. 产品属性标识不合法 检查产品属性标识 400 RML.0311 The product attribute identifier already exists. 产品属性标识已存在 修改产品属性标识后重试 400 RML.0312 Import a product before importing a device. 导入设备前请先导入产品 导入产品后重试 400 RML.0313 The product list is null. 导出时至少有一条产品数据 选择至少一条产品数据 400 RML.0314 Invalid product serial number. 导入产品的时候,产品的序列号有错误 检查产品序列号 400 RML.0315 All the uploaded products already exist. 导入的CSV文件中,产品都已存在 修改已存在的产品后重试 400 RML.0316 Incorrect field in the title of the product CVS file. 导入的产品CSV文件中,标题行有字段不对 检查CSV文件中的标题行 400 RML.0317 The product name already exists. 产品名称已存在 修改产品名称后重试 400 RML.0318 The product attribute name already exists. 产品属性名称已存在 修改产品属性名称后重试 400 RML.0319 Invalid product name. 导入产品的时候,产品的名称不合法 检查产品名称 400 RML.0320 Failed to reset the product password. 重置产品密码失败 检查产品是否存在 400 RML.0321 A product with devices attached cannot be deleted. 不能删除有设备的产品 删除该产品下的所有设备后重试 400 RML.0322 The number of products to be exported exceeds 500. 选择导出的产品不能超过500条 修改导出产品的数量 400 RML.0323 The product user name in the CSV file is invalid. CSV文件中产品的用户名不合法 检查产品用户名 400 RML.0324 The product password in the CSV file is invalid. CSV文件中产品的密码不合法 检查CSV文件中产品的密码 400 RML.0400 The model name already exists. 产品模板名称已存在 修改产品模板名称后重试 400 RML.0401 Unable to edit the attribute when the model is in disabled state. 产品模板停用时不能编辑属性 启用产品模板后重试 400 RML.0402 The model attribute does not exist. 产品模板属性不存在 添加产品模型属性 400 RML.0403 The model attribute name already exists. 产品模板属性名称已存在 修改产品模板属性名称后重试 400 RML.0404 The model attribute identifier already exists. 产品模板属性标识已存在 修改产品模板属性标识后重试 400 RML.0405 A model with products attached cannot be deleted. 不能删除有产品的产品模板 删除产品后重试 400 RML.0406 Invalid model ID. 产品模板ID无效 检查产品模板ID 400 RML.0407 The model ID does not exist. 产品模板ID不存在 创建产品模板ID 400 RML.0408 The model does not exist. 产品模板不存在 创建产品模板 400 RML.0409 Invalid model name. 产品模板名称不合法 检查产品模板名称 400 RML.0410 The model description is longer than 200 characters. 产品模板描述长度超出200个字符 修改产品模板描述长度 400 RML.0411 The model already exists. 产品模板已存在 修改产品模板后重试 400 RML.0412 Invalid attribute identifier. 属性标识不合法 检查属性标识 400 RML.0413 Invalid attribute data unit. 产品模板属性单位不合法 检查产品模板属性单位 400 RML.0414 Invalid attribute default data type. 产品模板属性默认值不合法 检查产品模板属性默认值 400 RML.0415 The attribute description is longer than 200 characters. 产品模板属性描述长度超出200个字符 修改产品模板属性描述长度 400 RML.0416 Invalid attribute name. 属性名称不合法 检查属性名称 400 RML.0417 The model status is null or invalid. 产品模板状态无效 检查产品模板状态 400 RML.0500 The data source of the rule engine is invalid. 规则引擎源端数据不合法 检查规则引擎源端数据 400 RML.0501 The rule engine does not exist. 规则引擎不存在 添加规则引擎 400 RML.0502 Invalid rule engine ID. 规则引擎ID无效 检查规则引擎ID 400 RML.0503 The level of the rule engine should be 0 or 1. 规则引擎源端数据只有产品或设备级别 修改规则引擎源端数据级别 400 RML.0504 The rule engine source does not exist. 规则引擎源端不存在 添加规则引擎源端 400 RML.0505 Invalid rule name. 规则名称不合法 检查规则名称 400 RML.0506 The topic is already added to the source. topic在源端已经添加过 修改源端topic 400 RML.0507 Only one topic can be added to the source rule. 源端规则只允许添加一个topic 修改源端规则Topic数量 400 RML.0508 The source rule is not supported. 源端规则不支持 修改源端规则 400 RML.0509 Only one topic can be added to the destination rule. 目的端规则只允许添加一个topic 修改目的端规则Topic数量 400 RML.0510 The topic quota is not enough. 规则配额达到上限 联系管理员申请扩大配额 400 RML.0511 Invalid destination address. 连接地址不合法 检查连接地址是否合法 400 RML.0512 The topic of the MQS destination is invalid. MQS Topic不合法 修改MQS Topic 400 RML.0513 The destination MQS user name or password is null. MQS 用户名或密码为空 检查MQS用户名或密码是否为空 400 RML.0514 The level of the rule engine should be device or product. 规则引擎源端数据只有产品或设备级别 修改规则引擎源端数据级别 400 RML.0515 The rule engine already exists. 规则引擎已经存在 修改规则引擎后重试 400 RML.0516 The rule engine status is invalid. 规则引擎状态不合法 修改规则引擎状态 400 RML.0517 The rule engine description is too long. 规则引擎描述太长 修改规则引擎描述长度 400 RML.0518 The rule name already exists. 规则引擎名称已经存在 修改规则引擎名称 400 RML.0519 Invalid rule source ID. 规则引擎源端id不合法 修改规则引擎源端id 400 RML.0520 Invalid rule destination ID. 规则引擎目的端id不合法 修改规则引擎目的端id 400 RML.0521 Invalid rule destination type. 规则引擎目的端类型不合法 修改规则引擎目的端类型 400 RML.0522 Rule destination device topic exists. 规则引擎目的端设备topic问题 修改规则引擎目的端设备topic 400 RML.0523 Rule destination connection failed. 规则引擎目的端连接失败 检查规则引擎目的端状态,若不正常请联系技术支持求助 400 RML.0524 Rule already has javascript express. 规则引擎已存在js规则 删除js规则后重试 400 RML.0525 The sql field is invalid. SQL字段不合法 修改SQL字段 400 RML.0526 Rule already has sql express. 规则引擎已存在SQL表达式 删除SQL后重试 400 RML.0527 Product does not belong to the app. 产品不属于该app 选择该app下的产品 400 RML.0528 The rule and product belong to different apps. 规则引擎和产品属于不同app 选择相同app下的规则引擎和产品 400 RML.4038 The input parameters of the interface used for query are incorrect. judge the error information according to the prompt. Fill in the correct parameters again. 查询参数{x}非法。 根据页面提示,检查输入参数是否符合规则。 400 RML.4039 The input parameters of the interface used for requesting are incorrect, and the error information is judged according to the prompt. Enter the correct parameters again 请求参数{x}非法。 根据页面提示,检查输入参数是否符合规则。 400 RML.4040 The input parameter format of the interface used for requesting is incorrect. judge the error information according to the prompt and fill in the parameter that complies with the rule again. 参数{x}格式错误.它必须是{1}。 根据页面提示,检查输入参数是否符合规则。 400 ROMA.00110001 The parameter does not meet verification rules: {0} 参数不符合校验规则: {0} 根据页面提示,检查输入参数是否符合规则。 401 RML.4101 The token carried in the request interface is invalid. The login page may time out. You need to refresh the page for login. Token无效。 可能是登录页面超时,需要刷新页面登录。重新登录后再操作。 403 RML.4303 The currently logged in user or role does not have permission to perform the operation. 角色没有操作权限,无法执行此操作。 需要更换登录具有该操作权限的用户或角色进行操作。 403 ROMA.00110005 You do not have the {0} permission on the application to which the resource belongs. 当前用户没有该资源所属应用的操作权限: {0} 请在“应用授权管理”下授予相应权限。 403 ROMA.00110007 You do not have the permission to view any application resources. Choose Integration Applications > Authorize User, and check whether you have been granted the corresponding permission. 当前用户没有任何应用资源的查看权限,请到集成应用-》用户管理下检查是否授予相应权限 请在“应用授权管理”下授予相应权限。 403 ROMA.00110008 You do not have the {0} permission on the resource. Check whether you have been granted the corresponding permission in the related service. 当前用户没有该资源的操作权限: {0}, 请到相关权限服务下检查是否授予了相应权限 请在“应用授权管理”下授予相应权限。 403 ROMA.00110014 The current login account has limited rights and no op _ service rights. 帐号不是op_service帐号,没有权限执行当前操作 更换具有op_service权限的帐号进行登录再操作。 403 ROMA.00110015 The current account has limited rights and does not have the right to operate the current instance. 当前帐号没有操作当前实例:{x}的权限 更换具有操作该实例权限的帐号进行登录再操作。 403 ROMA.00110016 The current login account has been frozen. 帐号已被冻结 更换未被冻结的帐号进行登录并操作。 404 RML.4041 The interface input parameter for the request is missing a field, and an error message is judged according to the prompt. Fill in the correct parameters again. 缺少参数{x}。 根据页面提示,添加该字段参数。 404 RML.4402 Failed to create the instance. failed to query the instance. Database error. querying database failed. LINK实例不存在 请联系技术支持工程师协助解决。 404 ROMA.00110006 The resource does not exist. Check whether the resource ID {0} is correct. 资源不存在,请检查资源ID是否正确:{0} 检查资源ID是否真实存在。 500 ROMA.00110000 Internal Error. 内部错误 请联系技术支持工程师协助解决。 500 ROMA.00110002 The instance does not exist. project_id: {0}, instance_id: {1} 实例不存在!project_id: {0}, instance_id: {1} 新建实例或者更换其他实例。 500 ROMA.00110003 An error occurs when reading data from or writing data to Redis on the data plane. 向数据面redis读取或写入数据发生错误 检查网络、实例状态是否正常,如果仍无法解决,请联系技术支持工程师协助解决。 500 ROMA.00110004 The quota exceeds the upper limit, {0}. Increase the quota. 超出配额上限: {0},请扩大配额 联系管理员申请扩大配额。 500 ROMA.00110009 The request body is empty. 请求参数体为空 传入正确的body体。 500 ROMA.00110010 Failed to call the MQS interface. MQS接口调用失败 检查MQS服务是否可用,如果仍无法解决,请联系技术支持工程师协助解决。 500 ROMA.00110011 Invalid encoding format. Check whether the encoding format of the file is UTF8. 编码格式非UTF8,请检查文件编码格式 检查文件编码格式,若不是UTF8格式的文件,将文件修改为UTF8格式。 500 ROMA.00110012 The maximum number of products to be deleted at a time cannot exceed {0}. 单次批量删除产品最大数量不能超过: {0} 减少单次批量删除产品的数量。 500 ROMA.00110013 The maximum number of devices to be deleted at a time cannot exceed {0}. 单次批量删除设备最大数量不能超过: {0} 减少单次批量删除设备的数量。 500 ROMA.00110201 The product template name {0} already exists. Change the name and try again. 产品模板名称已存在: {0}, 请更换名称后重试 更换产品模板名称后重试。 500 ROMA.00110202 The product template corresponding to the ID {0} does not exist. Select an existing product template and try again. 该 id: {0} 对应的产品模板不存在,请选择存在的产品模板后重试 选择存在的产品模板后重试。 500 ROMA.00110203 The product template is being disabled. Enable the template first. 产品模板停用中,请先启用该模板 启用产品模板后重试。 500 ROMA.00110401 The command name {0} already exists. Change the name and try again. 命令名称已存在: {0}, 请更换名称后重试 更换命令名称后重试。 500 ROMA.00110402 The command name {0} does not exist. Select an existing command and try again. 命令名称不存在: {0},请选择存在的命令后重试 选择存在的命令后重试。 500 ROMA.00110403 The command delivery field name {0} already exists. Change the name and try again. 命令下发字段名已存在: {0}, 请更换名称后重试 更换名称后重试。 500 ROMA.00110404 The command delivery field name {0} does not exist. Select an existing command delivery field and try again. 命令下发字段名不存在: {0},请选择存在的命令下发字段后重试 选择存在的命令下发字段后重试。 500 ROMA.00110405 The command response field name {0} already exists. Change the name and try again. 命令响应字段名已存在: {0}, 请更换名称后重试 更换命令响应字段名称后重试。 500 ROMA.00110406 The service name {0} already exists. Change the name and try again. 服务名已存在: {0}, 请更换名称后重试 更换名称后重试。 500 ROMA.00110407 The attribute name {0} already exists. Change the name and try again. 属性名已存在: {0}, 请更换名称后重试 更换属性名称后重试。 500 ROMA.00110701 The product name {0} already exists. 产品名称已经存在,名称: {0} 更换产品名称。 500 ROMA.00110702 The product with ID {0} does not exist. 产品不存在, id: {0} 检查相应产品是否存在。 500 ROMA.00110703 The product named {0} contains devices. Delete all devices under the product and try again. 产品: {0} 已经存在设备,请删除该产品下的所有设备再重试 删除产品下的所有设备,再执行删除产品操作。 500 ROMA.00110704 The product has been used in a rule. 产品已经在规则中使用 请删除规则引擎中使用的产品。 500 ROMA.00110705 The topic name {0} of the product already exists. 产品topic名称已经存在,名称: {0} 修改输入的topic名称后重试。 500 ROMA.00110706 The manufacturer ID and product model already exist. 厂商id和产品型号已经存在,请检查并重新填写 更换厂商id和产品型号重新输入。 500 ROMA.00110707 The product topic has been used in the rule {0} and cannot be modified. Delete the product topic used in the rule and then modify the product topic. 产品主题已经在规则中使用,无法修改,请先删除规则中的使用的产品topic再做修改,规则名称:{0} 请删除规则引擎中使用的产品topic。 500 ROMA.00110708 Failed to create an MQS topic for product {0}. Check whether the number of MQS topic partitions exceeds the partition limit or whether the MQS service is normal, and try again. 产品: {0} 创建MQS Topic失败,请检查MQS的topic分区数量是否超过分区限制或MQS服务是否正常后重试,如仍未解决,请联系技术支持协助解决。 检查MQS服务是否可用,若无法解决,请联系技术支持协助解决。 500 ROMA.00110709 Failed to delete the MQS topic when deleting product {0}. Check whether the MQS service is available. 删除产品过程中,删除mqs topic过程失败,请检查mqs服务是否可用,产品名称: {0} 检查MQS服务是否可用,若无法解决,请联系技术支持工程师协助解决。 500 ROMA.00110710 The product protocol {0} is not supported. 不支持该产品协议: {0} 重新选择正确的产品协议。 500 ROMA.00110711 The topic has been bound to a connection point on the OPC UA device {0} and cannot be modified. Delete the connection point from the OPC UA device first. 产品主题已经在OPCUA设备中绑定连接,无法修改,请先删除OPCUA设备中连接,设备名称:{0} 先删除OPCUA设备中连接,再执行修改操作。 500 ROMA.00110712 The app ID does not exist. Enter a correct app ID. appId不存在,请填入正确的appId 更换正确的appId。 500 ROMA.00110713 Gateway products cannot be created on old instances. Create a common product. 老实例无法创建网关产品,请新建普通产品 新建普通产品。 500 ROMA.00110714 All products to be imported already exist. 所有要导入的产品都已存在 重新选择导入的产品。 500 ROMA.00110715 The title row contains incorrect fields. See the title: {0}. 标题行有错误字段,请参考标题:DeviceName,ProductSerial,ParentDeviceClient,ClientID,DeviceIdentifier,Username,Password,DeviceType,Remark,customTopic,Enable 请根据提示标题行信息,检查并修改文件中标题行字段。 500 ROMA.00110716 The product does not exist. Select at least one product to export. 产品不存在,请至少选择一个产品进行导出 检查用户下是否有产品,重新导出。 500 ROMA.00110717 The number of products to be exported cannot exceed 500. 导出的产品数不能超过500 选择导出的产品数不超过500。 500 ROMA.00110718 Failed to read the file stream. Check whether the file is normal or whether the network connection is normal. 读取文件流失败,检查文件是否异常或网络连接是否正常 检查网络连接是否正常; 检查文件是否损坏; 检查文件中是否包含大量空行数据。 500 ROMA.00110719 The app name does not exist. Check the app name {0}. AppName不存在,请检查AppName: {0} 根据错误信息,修改文件中的应用名称或新创建相同的应用。 500 ROMA.00110720 The file does not exist or the file format is incorrect. Import a CSV file. 文件不存在或文件格式不正确,请导入csv格式的文件 检查是否导入正确的csv文件。 500 ROMA.00110721 Failed to read the CSV file. Check the file content. 读取csv文件失败,请检查文件内容 检查csv文件内容是否正确。 500 ROMA.00110722 Failed to query the product. Check whether product data in the request exists. 产品查询失败,请检查请求中产品数据是否都存在 检查请求中产品数据是否都存在。 500 ROMA.00110723 Incorrect DeviceType field in the file: {0}. 文件中DeviceType字段不正确: {0} 根据提示,检查DeviceType字段是否正确。 500 ROMA.00110724 Incorrect ProductType field in the file: {0}. 文件中ProductType不正确: {0} 根据提示,检查ProductType字段是否正确。 500 ROMA.00110725 Incorrect DataFormat field in the file: {0}. 文件中DataFormat字段不正确: {0} 根据提示,检查DataFormat字段是否正确。 500 ROMA.00110726 The file is abnormal. Check the file content {0}. 文件异常,请检查文件内容:{0} 检查文件内容是否正确。 500 ROMA.00110727 Failed to obtain the service address of ROMA Server. Check whether this service address is configured in the environment. roma server 服务地址获取失败,请检查环境是否配置roma server服务地址 请联系技术支持工程师协助解决。 500 ROMA.00110728 Incorrect device type: {0}. Enter a correct device type or define a new device type in the data dictionary. 设备类型输入错误:{0}, 请输入正确的设备类型,或者在数字字典定义新的设备类型 调接口创建产品时输入正确的设备类型。 500 ROMA.00110729 Failed to request ROMA Server. Check whether ROMA Server is available. 请求roma server服务失败,请检查roma server服务是否正常可用 请联系技术支持工程师协助解决。 500 ROMA.00110730 Illegal product ID during export: {0}. 导出时存在非法的产品ID:{0} 检查输入的产品ID列表是否是数字类型的值,检查无误后重新导入。 500 ROMA.00111001 The product associated with the device does not belong to the specified application {0}. Check whether the app ID is correct. 设备关联的产品并不属于指定的应用:{0},请检查appId是否正确 检查appId是否正确。 500 ROMA.00111002 Invalid tag name: {0}. Enter a maximum of 64 characters, consisting of letters, digits, hyphens (-), and underscores (_). 非法的标签名称:{0},仅支持中文、英文大小写、数字、中划线和下划线,不超过64个字符 检查标签名称是否合法。 500 ROMA.00111003 The device ID {0} already exists. Change the device ID. 设备标识已经存在:{0},请更改设备标识 更改设备标识。 500 ROMA.00111004 Failed to forcibly bring device {0} offline. Possible cause: The data plane service is abnormal. 设备{0}强制下线失败,可能原因:数据面服务异常 检查管理面到数据面网络是否正常,检查实例是否正常运行。若无法解决请联系技术支持工程师协助解决。 500 ROMA.00111005 Commands cannot be delivered to a device in disconnected or offline state. Bring the device online first. 不支持下发命令给未连接状态或离线状态的设备,请先上线设备 上线设备后重试。 500 ROMA.00111006 Commands cannot be delivered to a device in disabled state. Enable the device first. 不支持下发命令给禁用状态的设备,请先启用设备 启用设备。 500 ROMA.00111007 Commands cannot be delivered to an offline device if the device shadow is disabled. Enable the device shadow first. 未开启设备影子时,不支持下发命令给离线的设备,请先开启设备影子 开启设备影子。 500 ROMA.00111008 Failed to deliver the command. Check whether the server status is normal. 命令下发失败,请检查服务端状态是否正常 检查设备是否连接;检查数据面网络连接是否正常;检查实例状态是否正常,若无法自行解决请联系技术支持工程师协助解决 500 ROMA.00111009 An online device cannot be deleted. Bring the device offline first. 不支持删除在线的设备,请先下线设备 检查设备是否处于在线状态,若在线,下线之后再执行删除设备操作。 500 ROMA.00111010 Failed to query the device. Check whether the device data in the request exists. 设备查询失败,请检查请求中设备数据是否都存在 检查请求中设备数据是否都存在。 500 ROMA.00111011 The device contains subdevices and cannot be deleted. Delete the subdevices under the device first. 该设备包含子设备,不支持删除,请先删除此设备下的子设备 先删除此设备下的子设备,再执行删除设备操作。 500 ROMA.00111012 Failed to deliver the command for deleting the subdevice. Check whether the gateway managing the subdevice exists. 下发子设备删除命令失败,请检查此子设备的网关设备是否存在 检查此子设备的网关设备是否存在。 500 ROMA.00111013 Failed to deliver the command for deleting the subdevice. Check whether the product to which the subdevice belongs exists. 下发子设备删除命令失败,请检查此子设备所属的产品是否存在 检查此子设备关联的产品是否存在。 500 ROMA.00111014 Failed to register the subdevice because the specified gateway does not exist. 子设备注册失败,指定的网关设备不存在 检查指定的网关设备id是否正确。 500 ROMA.00111015 Failed to register the subdevice because the specified gateway is invalid. 子设备注册失败,指定的不是一个合法的网关设备 更换正确的网关设备ID。 500 ROMA.00111016 Failed to register the subdevice because the product associated with the subdevice must be of the common type. 子设备注册失败,子设备关联的产品必须为普通类型 检查关联产品是否为普通产品。 500 ROMA.00111017 Failed to obtain the username and password of the device. Check whether the device data is correct. 读取不到设备的用户名、密码,请检查设备数据是否正常 查询设备关联的token_oid是否真实存在。 500 ROMA.00111018 Only a directly connected device can be added as a gateway subdevice. Check whether the type of the added device is correct. 只有直连设备才可以添加为网关子设备,请检查添加的设备类型是否正确 检查设备类型,选择直连设备作为网关子设备。 500 ROMA.00111019 An online device cannot be added as a gateway subdevice. Bring the device offline first. 在线设备不能添加为网关子设备,请先下线设备 检查设备状态,下线设备。 500 ROMA.00111020 The Modbus connection point does not exist. Device ID: {0}; connection point ID: {1}. ModBus连接点不存在, 设备ID:{0}, ModBus连接点ID:{1} 检查是否存在有ModBus连接点,如果不存在则创建连接点;存在则联系技术支持工程师协助解决; 500 ROMA.00111021 The Modbus policy does not exist. Device ID: {0}; connection point ID: {1}; policy ID: {2}. ModBus策略不存在, 设备ID:{0}, ModBus连接点ID:{1}, ModBus策略ID:{2} 检查是否对应存在ModBus策略,如果不存在则创建ModBus策略;存在则联系技术支持工程师协助解决; 500 ROMA.00111022 The Modbus policy name {2} (device ID: {0}; connection point ID: {1}) already exists. Change the Modbus policy name. ModBus策略名称重复, 设备ID:{0}, ModBus连接点ID:{1}, ModBus策略名称:{2},请修改ModBus策略名称 更换ModBus策略名称。 500 ROMA.00111023 All node paths in the imported file already exist. 导入文件中的所有节点路径都已经存在 更换导入文件中的节点路径。 500 ROMA.00111024 The OPC UA connection point does not exist. Device ID: {0}; connection point ID: {1}. OPCUA连接点不存在, 设备ID:{0}, OPCUA连接点ID:{1} 检查是否存在对应的Opcua连接点;如果不存在则创建连接点;存在则联系技术支持工程师协助解决; 500 ROMA.00111025 The OPC UA connection point name {1} (device ID: {0}) already exists. Change the OPC UA connection point name. OPCUA连接点名称重复, 设备ID:{0}, OPCUA连接点名称:{1},请修改OPCUA连接点名称 更换连接点名称。 500 ROMA.00111026 The OPC UA node does not exist. Device ID: {0}; connection point ID: {1}; node ID: {2}. OPCUA节点不存在,设备ID:{0}, OPCUA连接点ID:{1}, OPCUA节点ID:{2} 检查是否存在对应的Opcua节点;如果不存在则创建节点;存在则联系技术支持工程师协助解决; 500 ROMA.00111027 The OPC UA node does not belong to the current device. Node ID: {0}; device ID: {1}. OPCUA节点不属于当前设备,OPCUA节点ID:{0},设备ID:{1} 检查是否存在对应的Opcua节点;如果不存在则创建节点;存在则联系技术支持工程师协助解决; 500 ROMA.00111028 The node_path {2} (device ID: {0}; connection point ID: {1}) already exists. Change the node path of the OPC UA node. node_path重复,设备ID:{0}, OPCUA连接点ID:{1},OPCUA node_path:{2},请修改OPCUA节点的节点路径 修改设备下的Opcua配置中对应的连接点。 500 ROMA.00111029 The Modbus connection point (device ID: {0}; connection point name: {1}) already exists. Change the Modbus connection point name. ModBus连接点已经存在, 设备ID:{0}, ModBus连接点名称:{1},请修改ModBus连接点名称 更换ModBus连接点名称。 500 ROMA.00111030 The Modbus connection point name {1} (device ID: {0}) already exists. Change the Modbus connection point name. ModBus连接点名称重复,设备ID:{0}, ModBus连接点名称:{1},请修改ModBus连接点名称 根据提示信息修改ModBus连接点名称。 500 ROMA.00111031 Failed to deliver the command to Edgeshell. Edgeshell命令下发失败 检查Link实例是否有异常。若无法自行解决,请联系技术支持工程师协助解决。 500 ROMA.00111032 Failed to deliver commands to the offline Edgeshell. Bring Edgeshell online and try again. 不能向离线的Edgeshell下发命令,请在设备上线后重试 检查设备是否在线,若未在线,请上线设备。 500 ROMA.00111033 The specified service ID or command ID does not exist. Check whether the entered service ID or command ID is correct. 命令下发指定的服务ID、命令ID无效,请检查是否填写正确 检查服务ID、命令ID是否是此设备所属产品下真实存在的服务、命令。 500 ROMA.00111034 {0} OPC UA nodes to be exported, which exceeds the upper limit {1}. 导出的OPCUA节点数量:{0}超过允许的最大值:{1} 选择导出的OPCUA节点的数量超过允许导出的最大值,其中最大值会在页面提示中显示。 500 ROMA.00111035 {0} OPC UA nodes to be imported, which exceeds the upper limit {1}. 导入的OPCUA节点数量:{0}超过允许的最大值:{1} 选择导入的OPCUA节点的数量超过允许导入的最大值,其中最大值会在页面提示中显示。 500 ROMA.00111036 The imported OPC UA node file is empty. Select a valid file. 导入的OPCUA节点文件为空,请选择一个合法的文件 选择一个合法的文件。 500 ROMA.00111038 The total number of node paths exceeds the quota. Ensure that the total number of imported nodes and existing nodes under the same OPC UA connection point is less than the quota. 总的节点路径超过节点路径的配额,请确保同一个Opcua连接点下导入的节点数加上已经存在的节点数少于节点的配额 减少导入的节点数或联系管理员申请配额。 500 ROMA.00111039 The topic {0} used for command delivery does not meet the "%s/in/%s" rule. 命令下发使用的topic:{0}不满足"%s/in/%s"规则 检查命令下发使用的topic是否满足规则。 500 ROMA.00111040 The attribute value of the device shadow is invalid. Check the parameter and try again. 设备影子属性值不合法,请检查参数后重试 检查输入的设备影子属性值是否合法。 500 ROMA.00111041 The exported device data is empty. Export at least one device data record. 导出设备为空,请至少导出一条设备数据 至少选择一条设备数据导出。 500 ROMA.00111042 The number of exported devices cannot exceed the upper limit {0}. 导出设备数不能超过最大值:{0} 减少导出的设备数,重新执行导出操作。 500 ROMA.00111043 The customized topic {0} already exists. Change the topic name and try again. 设备自定义topic已存在:{0},请更换topic名称后重试 更换topic名称后重试。 500 ROMA.00111044 Devices using the Modbus or OPC UA protocol cannot be added as subdevices. ModBus和OPCUA协议设备不能添加为子设备 选择其它协议的设备。 500 ROMA.00111045 Subdevice registration does not support products using the Modbus or OPC UA protocol. 子设备注册不支持ModBus和OPCUA协议产品 注册子设备时,更换其他协议的产品。 500 ROMA.00111046 Connection point {0} can be created only for common devices. Check the device type. 只有普通设备才能创建{0}连接,请检查设备类型 检查设备类型是否是普通设备,若不是请修改。 500 ROMA.00111047 All the devices to be imported already exist or the devices do not have corresponding products. 所有要导入的设备都已存在或设备没有对应的产品 检查设备是否都已存在;检查设备是否存在对应的产品。 500 ROMA.00111048 The number of imported devices exceeds the upper limit {0}. 导入的设备数超过最大值:{0} 根据页面提示的允许导入设备的最大值,减少文件中设备数量。 500 ROMA.00111049 The imported field does not match the title. Import correct data based on the title {0}. 导入的字段与标题不匹配,请按照标题{0}导入正确的数据 请按照标题字段导入正确的数据。 500 ROMA.00111050 The device name {0} already exists in the product {1}. 设备名称:{0} 已经在产品:{1}中存在 更换设备名称。 500 ROMA.00111051 The device {0} does not exist. Check the parameters and try again. 设备:{0}不存在,请检查参数后重试 新注册设备或更换其他设备。 500 ROMA.00111052 Invalid topic permission. Change the permission to pub or sub and try again. 非法的topic权限,必须是pub或者sub,请更改之后重试 更改topic权限后重试。 500 ROMA.00111053 The device topic {0} does not exist. Check the parameters and try again. 设备Topic:{0}不存在,请检查参数后重试 检查Topic是否存在。 500 ROMA.00111054 The device password cannot be empty. Check information of the device ID {0}. 设备密码不能为空,请检查!设备标识:{0} 检查文件中的设备密码是否为空。 500 ROMA.00111055 Incorrect Enable field. Enter 0 (indicating that the device is enabled) or 1 (indicating that the device is disabled). Enable字段不正确,请填写0或1,其中0表示启动,1表示停止,请检查!您填写的Enable:{0} 检查文件中的设备Enable字段是否正确。 500 ROMA.00111056 The topic_perm field cannot be empty when devices with customized topics are exported. Log in to the database and check the device whose client ID is {0}. 导出带有自定义topic的设备时,不允许topic_perm字段为空,请登录数据库检查clientId为{0}的设备 根据提示的设备clientId,检查设备对应的自定义topic的topic_perm字段是否为空,并更改为pub或sub,重新执行导出操作。 500 ROMA.00111301 The group name {0} already exists. Change the name and try again. 分组名称已经存在: {0},请更换名称后重试 请更换名称后重试。 500 ROMA.00111302 The current group is associated with devices and cannot be deleted. Delete the devices first. 当前分组下关联了设备,无法被删除,请删除分组下关联的设备之后重试 删除分组下关联的设备之后重试。 500 ROMA.00111303 The parent group {0} does not exist. Change the parent group and try again. 父分组不存在:{0},请更换父分组后重试 更换父分组后重试。 500 ROMA.00111304 The group supports a maximum of five levels. Create subgroups under other groups. 分组最多只支持5个层级,请在其它分组下创建子分组。 更换父分组后重试。 500 ROMA.00111601 The rule name {0} already exists. Change the rule name and try again. 规则名称已经存在: {0},请更换规则名称后重试 更换规则名称后重试。 500 ROMA.00111602 The product at the source does not exist. Select an existing product and try again. 数据源中的产品不存在,请选择存在的产品后重试 选择存在的产品后重试。 500 ROMA.00111603 The device at the source does not exist. Select an existing device and try again. 数据源中的设备不存在,请选择存在的设备后重试 选择存在的设备后重试。 500 ROMA.00111605 Invalid data parsing parameter. If data parsing is enabled, the query field cannot be left blank. If data parsing is disabled, the query field and search criteria must be left blank. 规则数据解析参数不合法,当启用数据解析时,查询字段不能为空,当关闭数据解析时,查询字段和查询条件必须为空,请修正后重试 检查规则数据解析参数是否合法。 500 ROMA.00111606 If the destination type is KAFKA or ROMA_MQS and supports SSL connections, the value of mqs_sasl_ssl must be true and the username and password cannot be left empty. 当目标端KAFKA或ROMA_MQS支持SSL连接时,mqs_sasl_ssl值为true,且用户名和密码不能为空 检查参数是否满足规则,确保mqs_sasl_ssl值为true时,用户名和密码不为空。 500 ROMA.00111607 The topic {0} of the destination KAFKA or ROMA_MQS does not meet the rule. Enter 3 to 200 characters, including only digits, letters, underscores (_), and hyphens (-). 目标端KAFKA或ROMA_MQS的topic:{0}不满足"支持数字、字母、下划线、中划线,长度3-200"的规则,请修正后重试 检查topic是否满足规则,并进行修正。 500 ROMA.00111608 The connection address {0} of the destination does not meet the rule. Enter 10 to 200 characters, including digits, colons (:), periods (.), and commas (,). 目标端的连接地址:{0} 不满足"支持数字、冒号、点号、逗号,长度10-200"的规则,请修正后重试 检查连接地址是否满足规则。 500 ROMA.00111609 The application ID of the device is inconsistent with that of the rule. Enter a correct application ID. 设备的appId与规则appId不一致,请输入正确的appId 输入正确的设备appId。 500 ROMA.00111610 If the destination type is KAFKA or ROMA_MQS, the destination_type, app_id, server and topic fields must be specified. 目标端选择KAFKA或ROMA_MQS时,必须填写destination_type、app_id、server、topic,请检查参数后重试 检查参数后重试。 500 ROMA.00111611 Failed to connect to the destination {0}. Check whether the connection information is correct or whether the destination address is reachable. 目标端:{0}连接失败,请确认连接信息是否正确或目标端地址是否可达,其中用户名和密码分别对应topic所属应用的appKey和appSecret,请检查后重试 请确认连接信息是否正确或目标端地址是否可达,其中用户名和密码分别对应topic所属应用的appKey和appSecret,请检查后重试。 500 ROMA.00111612 The device-level topic {0} at the source does not meet the "/v1/devices/device ID/datas" or "product serial number/out/device ID" rule. 数据源中的设备级topic:{0}不满足"/v1/devices/设备标识/datas"或"产品序列号/out/设备标识"规则,请检查topic后重试 检查topic是否满足规则后重试。 500 ROMA.00111613 The product-level topic {0} at the source does not meet the "/v1/products/product serial number/datas" or "product serial number/out/+" rule. 数据源中的产品级topic:{0}不满足"/v1/products/产品序列号/datas"或"产品序列号/out/+"规则,请检查topic后重试 检查topic是否满足规则后重试。 500 ROMA.00111614 The topic {0} at the source already exists. Check the topic and try again. 数据源中的topic:{0}已被添加,请检查topic后重试 更换topic后重试。 500 ROMA.00111615 If the destination type is DEVICE, multiple destinations can be added. If not, only one destination can be added. Check the destination type and try again. 添加目标端报错,当目标端类型为DEVICE时,可以添加多条目标端,当目标端为非DEVICE类型时,仅支持添加一条目标端,请检查目标端类型后重试 检查目标端类型,并修改目标端添加条数。 500 ROMA.00111616 Failed to obtain the data source from FDI. Check whether the data source name and application name are correct and whether FDI is normal. 获取fdi中的数据源出错,请检查数据源名称、应用名称是否正确,fdi的服务是否正常,若仍未解决,请联系技术支持协助解决。 检查数据源名称、应用名称是否正确;检查fdi的服务是否正常。 500 ROMA.00111617 Failed to parse the application SQL. Enter the correct SQL field and try again. 应用SQL解析失败,请输入正确的SQL字段后重试 输入正确的SQL字段或SQL条件后重试。 500 ROMA.00111618 If the destination KAFKA or ROMA_MQS does not support SSL connections, the value of mqs_sasl_ssl must be false (default value), and the username and password must be left blank. 当目标端KAFKA或ROMA_MQS不支持SSL连接时,mqs_sasl_ssl值为false,且user_name和password为空,请检查参数后重试 检查目标端为KAFKA或ROMA_MQS时的参数后重试。 500 ROMA.00111619 If the destination type is MQS, the destination_type, app_id, server, token, and topic fields must be specified. 目标端为MQS时,必须填写destination_type、app_id、server、token、topic,请检查参数后重试 根据提示检查参数是否符合要求。 500 ROMA.00111620 If the destination type is DEVICE, the destination_type, server, token, topic, and tag fields must be specified. 目标端为DEVICE时,必须填写destination_type、server、token、topic、tag,其中server存储productName,tag存储deviceName,token存储clientId,请检查参数后重试 根据提示检查参数是否符合要求。 500 ROMA.00111621 If the destination type is DIS, the destination_type, tag, and topic fields must be specified. 目标端为DIS时,必须填写destination_type、tag、topic,其中tag存委托服务,topic存通道列表,请检查参数后重试 根据提示检查参数是否符合要求。 500 ROMA.00111622 The connection address {0} of the destination does not meet the rule. Enter 10 to 200 characters, consisting only digits, colons (:), periods (.), and semicolons (;). 目标端的连接地址:{0} 不满足"支持数字、冒号、点号、分号,长度10-200"的规则,请修正后重试 检查并修正目标端的连接地址。 500 ROMA.00111623 The Topic Level parameter at the source of the rule is invalid. If the device name is specified, Topic Level must be Device-level. If the device name is not specified, Topic Level must be Product-level. 数据源中规则的级别参数不合法,当设备名称非空,规则级别应为device,当设备名称为空,规则级别应为product,请检查参数后重试 检查级别参数后重试。 500 ROMA.00111624 The Topic Name parameter at the source of the rule is invalid. If the device name is specified, Topic Name must be specified. If the device name is left blank, Topic Name can be left blank. 数据源中规则的topic参数不合法,当设备名称非空,topic必填,当设备名称为空,topic不填,请检查参数后重试 检查topic参数合法性后重试。 500 ROMA.00111625 The application ID {0} is inconsistent with the ID of the application to which the rule {1} belongs. Check the rule name and application ID and try again. 应用ID:{0}和规则:{1}所属的应用ID不一致,请检查规则名称和应用ID后重试 检查规则名称所属的应用ID和请求中的应用ID是否一致,若不一致则修改请求中的应用ID或规则名称。 500 ROMA.00111626 The application ID is empty. When the rule does not exist, the application ID must be specified. 应用ID为空,当系统中规则不存在时,应用ID必填,请检查参数后重试 检查系统中规则是否存在,当规则不存在时,请求中填写正确的应用ID。 500 ROMA.00111627 The application ID of the product is inconsistent with that of the rule. Enter a correct application ID. 产品的appId与规则appId不一致,请输入正确的appId 输入正确的产品appId。 500 ROMA.00111637 当前数据面实例版本:{x}不支持此目的端数据源类型:{y},如需要使用此功能请将数据面升级到1.8.0或者更高版本 当前版本的数据面实例不支持配置此数据源类型为数据目的端。 当需要使用此功能时请将数据面实例升级到1.8.0或者更高版本支持此功能。 500 ROMA.00111901 The destination configuration of the subscription type already exists in the current application. Cancel the enabled destination configuration and try again. 当前应用下,该订阅类型的目标端配置已存在,请取消已启用的目标端配置后重试 取消已启用的目标端配置后重试。
  • 操作步骤 登录微服务引擎控制台。 登录华为云控制台。 单击,选择区域。 单击左上角,在服务列表选择“微服务引擎 CSE”,进入微服务引擎控制台。 单击页面上方的“购买微服务引擎” 。参考下表设置参数,参数前面带*号的是必须设置的参数。 参数 说明 *计费模式 选择“按需计费”。 *企业项目 选择微服务引擎所在的项目,使用默认值“default”即可。 *规格 使用默认值。 须知: 微服务引擎创建成功后,不支持规格变更。 *可用区 使用默认值。 *网络 选择已创建的虚拟私有云及子网。 *引擎名称 输入微服务引擎的名称,例如:cse-lhy-nodelete。 *安全认证 选择“关闭安全认证”。 描述 单击,输入引擎描述信息,例如:体验快速创建微服务引擎。 单击“立即购买”,进入引擎信息确认界面。 单击“提交”,等待引擎创建完毕。 微服务引擎创建完成,大约需要31分钟。 微服务引擎创建成功后,“状态”为“可用”。查看微服务引擎状态,请参考查看微服务引擎信息。 如果微服务引擎创建失败,可在操作日志页面上查看失败原因并处理后可进行以下操作: 可在“微服务引擎信息”区域,单击“重试”重新创建。 如果重试失败,可删除创建失败的微服务引擎,删除微服务引擎,请参考删除微服务引擎专享版。
  • sql_beta_feature 参数说明:标识开启的可选SQL引擎Beta特性,其中包括对行数估算、查询等价估算等优化。开启它们可以对特定的场景进行优化,但也可能会导致部分没有被测试覆盖的场景发生性能劣化。在特定的客户场景中,通过此GUC参数对查询重写规则进行设置,使得查询效率最优。 此参数可以控制SQL引擎Beta特性的组合,比如有多个Beta特性:feature1、feature2、feature3、feature4。可以设置: set sql_beta_feature=feature1; --启用SQL引擎Beta特性feature1set sql_beta_feature=feature2,feature3; --启用SQL引擎Beta特性feature2和feature3set sql_beta_feature=none; --关闭所有可选SQL引擎Beta特性 该参数属于USERSET类型参数,请参考重设参数中对应设置方法进行设置。 取值范围:字符串 none:不使用任何Beta优化器特性。 sel_semi_poisson:使用泊松分布对等值的半连接和反连接选择率进行校准。 sel_expr_instr:使用字符串匹配的行数估算方法对instr(col, 'const') > 0, = 0, = 1进行更准确的估算。 param_path_gen:生成更多可能的参数化路径。 rand_cost_opt:对小数据量表的随机读取代价进行优化。 param_path_opt:利用表的膨胀系数优化索引analyze信息。 page_est_opt:优化对非列存表索引analyze信息的relpages估算。 no_unique_index_first:关闭主键索引扫描路径优先的优化。 join_sel_with_cast_func:估算join行数的时候支持类型转换函数。 index_cost_with_leaf_pages_only:估算索引代价时考虑索引叶子结点。 默认值:"sel_semi_poisson,sel_expr_instr,rand_cost_opt,param_path_opt,page_est_opt"
  • 对话机器人服务 对话机器人服务(Conversational Bot Service)是高效、智能的对话机器人服务,为租户提供提供问答引擎、任务型对话引擎、质检引擎。其中,质检模块(Quality Inspection)基于高效、智能的对话分析技术,为租户提供全面、可靠的质检服务。QI全量覆盖所有对话数据,利用NLP技术、机器学习技术,智能分析租户提供的对话数据,提高租户质检效率,提升问题发现能力。 通过云审计服务,您可以记录与CBS服务相关的操作事件,便于日后的查询、审计和回溯。 表1 云审计服务支持的CBS操作列表 操作名称 资源类型 事件名称 开通服务 qi subscribeService 创建数据集 qi createDataset 修改数据集 qi modifyDataset 删除数据集 qi deleteDataset 创建规则 qi createRule 删除规则 qi deleteRule 执行任务 qi executeTask 复核结果 qi reviewResult 删除结果 qi deleteResult 创建话术模板 template createTemplate 更新话术模板 template updateTemplate 删除话术模板 template deleteTemplate 创建外呼机器人 voiceBot createVoiceBot 更新外呼机器人 voiceBot updateVoiceBot 删除外呼机器人 voiceBot deleteVoiceBot 创建Qabot qa createQabot 删除Qabot qa deleteQabot 导入QA对 qa importQaPair 添加QA对 qa addQaPair 删除QA对 qa deleteQaPair 更新QA对 qa updateQaPair 添加域 qa addDomain 删除域 qa deleteDomain 更新域 qa updateDomain 创建QQ对 qa addQQPair 更新QQ对 qa updateQQPair 删除QQ对 qa deleteQQPair 导入QQ对 qa importQQPair 新增词 qa addWords 删除词 qa deleteWords 更新词 qa updateWords 导入词库 qa importWords 未解决问题闭环 qa unsolvedQuestion 新增模型 qa createModel 模型发布 qa releaseModel 删除模型 qa deleteModel 模型阈值更新 qa modelThreshold
  • 操作步骤 登录管理控制台。 单击管理控制台左上角的,选择区域或项目。 在左侧导航树中,单击左上方的,选择“安全与合规 > 云防火墙”,进入云防火墙的概览页面,如图1所示。 图1 概览 查看云防火墙的运行状态、引擎类型、防护状态等信息。 图2 详细信息 表1 概览页面参数说明 参数名称 参数说明 EIP总数量 开启防护及关闭防护的弹性公网IP总数量。 VPC总数量 开启防护及关闭防护的VPC总数量。 防护数量 开启防护的弹性公网IP/VPC数量。 未防护数量 关闭防护的弹性公网IP/VPC数量。 覆盖率 开启防护的弹性公网IP数量占弹性公网IP总数量的百分比。 状态 目前云防火墙的状态。开通或退订防火墙大约需要5分钟更新状态。 引擎类型 引擎类型分为以下两种: 山石引擎:直路部署。具备精细化应用管控,可为用户提供灵活的安全访问控制,包括策略阻止、会话限制等。同时,还具备入侵防御、病毒过滤、攻击防护等功能,满足客户安全访问、攻击防护以及应用识别和控制等需求。 华为旁路引擎:旁路部署。提供旁路流量检测,不影响已有业务组网架构,提供基于华为云多年攻防实践经验的攻击库和防护规则,并支持根据策略设置可以对已知攻击流量(连接型协议如TCP)进行旁路阻断功能,以防止网络的入侵。 已使用/可防护EIP数 目前已开启防护的弹性公网IP数量。 已使用/可防护VPC数量 目前已开启防护的VPC数量。 可防护流量峰值 目前可防护的流量峰值。 计费模式 购买的计费模式及到期时间。
  • CCE对节点内存的预留规则v2 对于v1.21.4-r0和v1.23.3-r0以上版本集群,节点内存的预留规则优化为V2模型,且支持通过节点池配置管理参数(kube-reserved-mem和system-reserved-mem)动态调整,具体方法请参见管理节点池。 CCE节点内存V2模型的总预留值等于OS侧预留与CCE管理Pod所需预留值之和。 其中OS侧预留包括基础预留和随节点内存规格变动的浮动预留;CCE侧预留包括基础预留和随节点Pod数量的浮动预留。 预留类型 基础/浮动 预留公式 预留对象 OS侧预留 基础预留 固定400MB sshd、systemd-journald等操作系统服务组件占用 浮动预留(随节点内存) 25MB/GB 内核占用 CCE侧预留 基础预留 固定500MB 节点空载时, kubelet、kube-proxy等容器引擎组件占用。 浮动预留(随节点Pod数量) Docker:20MB/Pod Containerd:5MB/Pod Pod数量增加时,容器引擎组件的额外占用 V2模型在计算节点默认预留内存时,按照如下表格随内存估计节点Pod数量。 内存 Pod数量 4G 20 8G 40 16G 60 32G 80 64G及以上 110
  • 查看独享引擎实例信息 登录管理控制台。 单击管理控制台左上角的,选择区域或项目。 单击页面左上方的,选择“区域”,选择“安全与合规 > Web应用防火墙”,进入“安全总览”页面。 在左侧导航树中,选择“系统管理 > 独享引擎”,进入“独享引擎”页面。 图3 独享引擎列表 查看独享引擎实例信息,如表1所示。 表1 独享引擎实例信息说明 参数 说明 示例 实例名 创建实例时自动生成的名称。 - 防护网站 实例当前防护的网站。 www.example.com VPC 实例所在的VPC。 vpc-waf 子网 实例所在的子网。 subnet-62bb IP地址 实例所在业务VPC的子网IP地址。 192.168.0.186 接入状态 实例的接入状态。 已接入 运行状态 实例的运行状态。 运行中 模式 实例的部署模式。 标准模式(反向代理) 规格 实例的资源规格。 8vCPUs | 16GB
  • 功能总览 功能总览 全部 GaussDB(for MySQL) 计费模式 连接实例 设置安全组规则 开启公网访问 数据迁移 重置管理员密码 变更实例的CPU和内存规格 数据库代理 只读节点 备份与恢复 参数模板管理 查看日志 API GaussDB(for MySQL) 云数据库 GaussDB(for MySQL)是华为自研的最新一代企业级高扩展高性能分布式数据库,完全兼容MySQL。基于华为最新一代DFV存储,采用计算存储分离架构,128TB的海量存储,故障秒级切换,既拥有商业数据库的高可用和性能,又具备开源低成本效益。 采用计算与存储分离,日志即数据架构,性能提升至开源MySQL的7倍。 1写15只读节点,快速添加只读节点,满足高并发场景性能需求。 支持跨可用区、跨region部署,提升实例容灾能力。 100%兼容MySQL,应用无需改造即可轻松迁移上云。 产品优势 数据库引擎和版本 使用限制 计费模式 GaussDB(for MySQL)提供按小时、按月、按年的计费方式供您灵活选择,使用越久越便宜。 预付费(包年包月):这种购买方式相对于按需付费提供更大的折扣,对于长期使用者,推荐该方式。 按需付费(小时):这种购买方式比较灵活,可以即开即停,按实际使用时长计费,精确到秒。 计费方式更改:支持按需实例转包周期和包周期实例转按需。 计费说明 续费 按需实例转包周期 连接实例 GaussDB(for MySQL)提供使用内网、公网和数据管理服务(Data Admin Service,简称DAS)连接实例的方式。 通过DAS连接实例(推荐) 通过内网连接实例 通过公网连接实例 设置安全组规则 GaussDB(for MySQL)可以通过设置安全组规则,对IP访问进行控制。因为安全组的默认规则是在出方向上的数据报文全部放行,同一个安全组内的弹性云服务器和GaussDB(for MySQL)实例可互相访问。安全组创建后,您可以在安全组中定义各种访问规则,当GaussDB(for MySQL)实例加入该安全组后,即受到这些访问规则的保护。 设置内网访问安全组规则 设置公网访问安全组规则 开启公网访问 GaussDB(for MySQL)数据库实例创建成功后,支持用户绑定弹性公网IP,在公共网络访问数据库实例。 对于已绑定弹性公网IP的实例,需解绑后,才可重新绑定其他弹性公网IP。 绑定和解绑弹性公网IP 数据迁移 GaussDB(for MySQL)支持通过多种方式实现数据迁移,常见的数据迁移方式如下: 使用DRS迁移到GaussDB(for MySQL)数据。 使用mysqldump迁移到GaussDB(for MySQL)数据。 使用DRS迁移数据 使用mysqldump迁移数据 重置管理员密码 在使用GaussDB(for MySQL)过程中,如果忘记数据库帐号密码,可以重新设置密码。 如果root帐号自身出现问题,比如丢失或者删除,可以通过重置密码的方法恢复root帐号权限。 以下情况不可重置密码。 租户被冻结。 数据库端口变更中。 主实例状态为创建中、恢复中、重启中、端口修改中、规格变更中、只读升主中、异常。 重置管理员密码 变更实例的CPU和内存规格 可以根据业务需要对实例的规格进行变更,规格指实例的CPU/内存。 当实例的状态由“规格变更中”变为“正常”,则说明变更成功。 变更实例的CPU和内存规格 数据库代理 读写分离是指通过一个读写分离的连接地址实现读写请求的自动转发。创建实例后,您可以开通读写分离功能,通过GaussDB(for MySQL)的读写分离连接地址,写请求自动访问主节点,读请求按照读权重设置自动访问各个节点。目前支持创建4个代理实例,多个代理实例适用于有隔离需求的复杂业务,根据业务需要使用对应的连接地址连接到实例。 读写分离简介 开通读写分离 设置读写分离权重 只读节点 在对数据库有少量写请求,但有大量读请求的应用场景下,单个实例可能无法抵抗读取压力,甚至对主业务产生影响。为了实现读取能力的弹性扩展,分担数据库压力,您可以在某个区域中创建一个或多个只读节点,利用只读节点满足大量的数据库读取需求,以此增加应用的吞吐量。 只读节点简介 创建只读节点 只读节点升主节点 备份与恢复 GaussDB(for MySQL)支持数据库实例的备份和恢复,以保证数据可靠性。目前支持以下几种恢复方式: 将备份恢复至实例:支持将已有的自动备份和手动备份恢复到新实例、当前实例和已有实例。 将实例恢复到指定时间点:适用于实例级数据恢复场景,将数据还原至某个指定的时间点。支持恢复到新实例、当前实例和已有实例。 数据备份 数据恢复 参数模板管理 您可以使用数据库参数模板中的参数来管理数据库引擎配置。数据库参数模板就像是引擎配置值的容器,这些值可应用于一个或多个数据库实例。 创建数据库实例时可以指定数据库参数模板为默认参数模板或已有参数模板。实例创建成功后也可以变更实例关联的参数模板。 默认参数模板 默认模板包含针对运行的数据库实例进行优化的引擎默认值和数据库服务系统默认值。 自定义参数模板 如果希望数据库实例以客户自定义的引擎配置值运行,可轻松地创建一个新数据库参数模板,修改所需参数并应用到数据库实例,用以使用新数据库参数模板。 创建参数模板 编辑参数模板 应用参数模板 查看日志 GaussDB(for MySQL)管理控制台支持查看错误日志和慢日志。 错误日志:记录了数据库运行时的日志。您可以通过错误日志分析系统中存在的问题。 慢日志:用来记录执行时间超过当前慢日志阈值的语句,您可以通过慢日志的日志明细、统计分析情况,查找出执行效率低的语句,进行优化。 查看错误日志 查看慢日志 API 您可以使用GaussDB(for MySQL)提供的API对数据库实例进行相关操作。如创建、修改、备份恢复、查询、参数配置、删除等操作。 查询数据库引擎的版本 查询数据库规格 创建数据库实例
  • 关于图引擎服务 图引擎服务(Graph Engine Service,简称GES),是针对以“关系”为基础的“图”结构数据,进行查询、分析的服务。提供分布式、大规模、一体化的图查询和分析能力,内置丰富的图分析算法库,满足多领域应用需求。 支持多大规模的图数据 图引擎服务最大支持百亿节点千亿边的超大规模图。 性能 通过高性能的内核,满足高并发秒级多跳实时查询。拥有三大核心专利,支持多跳查询秒级响应。 应用场景 可以应用于社交网络、精准营销、信贷保险、网络/路径的设计等场景。 与Eywa的关系 Eywa是自研的图引擎内核,图引擎服务是基于Eywa的云服务。
  • 参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 train_instance_count 是 Long 训练作业worker的个数。 code_dir 否 String 训练作业的代码目录,如“/bucket/src/”。当填入model_name时不需要填写。 boot_file 否 String 训练作业的代码启动文件,需要在代码目录下,如“/bucket/src/boot.py”。当填入model_name时不需要填写。 model_name 否 Long 训练作业的内置算法模型名称。填入model_name后app_url与boot_file_url不需填写,framework_type和framework_version也不需要填写。 output_path 是 String 训练作业的输出位置。 hyperparameters 否 JSON Array 训练作业的运行参数,为label-value格式;当为自定义镜像训练作业的时候,此参数为容器环境变量。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/log/”。 train_instance_type 是 Long 训练作业选择的资源规格。若选择在训练平台训练,请从查询资源规格列表接口获取。 framework_type 否 String 训练作业选择的引擎规格。请从查询引擎规格列表接口获取引擎规格。当填入model_name时不需要填写。 framework_version 否 String 训练作业选择的引擎版本。请从查询引擎规格列表接口获取引擎版本。当填入model_name时不需要填写。 job_description 否 String 训练作业的描述。 user_image_url 否 String 自定义镜像训练作业的自定义镜像的SWR-URL。如:“100.125.5.235:20202/jobmng/custom-cpu-base:1.0”。 user_command 否 String 自定义镜像训练作业的自定义镜像的容器的启动命令。形式为:“bash /home/work/run_train.sh python /home/work/user-job-dir/app/train.py {python_file_parameter}”。
  • 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 kind 是 String 训练作业类型。默认使用job。枚举值: job 训练作业; hetero_job 异构作业; autosearch_job 自动搜索作业; mrs_job mrs作业; edge_job 边缘作业。 metadata 是 JobMetadata object 训练作业元信息。 algorithm 否 JobAlgorithm object 训练作业算法。目前支持三种形式: id 只取算法的id; subscription_id+item_version_id 取算法的订阅id和版本id; code_dir+boot_file 取训练作业的代码目录和启动文件。 tasks 否 Array of Task objects 异构训练作业的任务列表。有此字段时,无需填写spec字段。 spec 否 spec object 训练作业规格参数。有此字段时,无需填写tasks字段。 表3 JobMetadata 参数 是否必选 参数类型 描述 id 否 String 训练作业ID,创建成功后由ModelArts生成返回,无需填写。 name 是 String 训练作业名称。限制为1-64位只含数字、字母、下划线和中划线的名称。 workspace_id 否 String 指定作业所处的工作空间,默认值为“0”。 description 否 String 对训练作业的描述,默认为“NULL”,字符串的长度限制为[0, 256]。 create_time 否 Long 训练作业创建时间戳,单位为毫秒,创建成功后由modelarts生成返回,无需填写。 user_name 否 String 训练作业创建用户的用户名,创建成功后由modelarts生成返回,无需填写。 annotations 否 Map 训练作业申明模板,异构作业job_template字段默认为 Template RL,其余默认为 Template DL。 表4 JobAlgorithm 参数 是否必选 参数类型 描述 id 否 String 算法管理的算法id。 name 否 String 算法名称。无需填写。 subscription_id 否 String 订阅算法的订阅ID。应与item_version_id一同出现。 item_version_id 否 String 订阅算法的版本。应与subscription_id一同出现。 code_dir 否 String 训练作业的代码目录。如:“/usr/app/”。应与boot_file一同出现,若填入id或subscription_id+item_version_id则无需填写。 boot_file 否 String 训练作业的代码启动文件,需要在代码目录下。如:“/usr/app/boot.py”。应与code_dir一同出现,若填入入id或subscription_id+item_version_id则无需填写。 autosearch_config_path 否 String 自动化搜索作业的yaml配置路径,需要提供一个OBS路径。 autosearch_framework_path 否 String 自动化搜索作业的框架代码目录,需要提供一个OBS路径。 command 否 String 自定义镜像场景下,训练作业的自定义镜像的容器的启动命令。 parameters 否 Array of parameters objects 训练作业的运行参数。 policies 否 policies object 作业支持的策略,用于超参搜索。 inputs 否 Array of Input objects 训练作业的数据输入。 outputs 否 Array of Output objects 训练作业的结果输出。 engine 否 engine object 训练作业的引擎。使用算法管理的算法id或订阅算法subscription_id+item_version_id创建作业时,无需填写。 environments 否 Array of Map objects 训练作业的环境变量。格式:"key":"value".无需填写。 表5 parameters 参数 是否必选 参数类型 描述 name 否 String 参数名称。 value 否 String 参数值。 description 否 String 参数描述信息。 constraint 否 constraint object 参数属性。 i18n_description 否 i18n_description object 国际化描述。 表6 constraint 参数 是否必选 参数类型 描述 type 否 String 参数种类。 editable 否 Boolean 是否可编辑。 required 否 Boolean 是否必须。 sensitive 否 Boolean 是否敏感。 valid_type 否 String 有效种类。 valid_range 否 Array of strings 有效范围。 表7 i18n_description 参数 是否必选 参数类型 描述 language 否 String 国际语种。 description 否 String 对应描述。 表8 policies 参数 是否必选 参数类型 描述 auto_search 否 auto_search object 超参搜索配置。 表9 auto_search 参数 是否必选 参数类型 描述 skip_search_params 否 String 需要排除的超参组合。 reward_attrs 否 Array of reward_attrs objects 搜索指标列表。 search_params 否 Array of search_params objects 搜索参数。 algo_configs 否 Array of algo_configs objects 搜索算法配置。 表10 reward_attrs 参数 是否必选 参数类型 描述 name 否 String 指标名称。 mode 否 String 搜索方向。 max 指定时表示指标值越大越好; min 指定时表示指标值越小越好。 regex 否 String 指标正则表达式。 表11 search_params 参数 是否必选 参数类型 描述 name 否 String 超参名称。 param_type 否 String 参数类型。 continuous 指定时表示参数的类型为连续值; discreate 指定时表示参数的类型为离散值。 lower_bound 否 String 超参下界。 upper_bound 否 String 超参上界。 discrete_points_num 否 String 连续型超参离散化取值个数。 discrete_values 否 Array of strings 离散型超参的取值列表。 表12 algo_configs 参数 是否必选 参数类型 描述 name 否 String 搜索算法名称。 params 否 Array of AutoSearchAlgoConfigParameter objects 搜索算法参数。 表13 AutoSearchAlgoConfigParameter 参数 是否必选 参数类型 描述 key 否 String 参数键。 value 否 String 参数值。 type 否 String 参数种类。 表14 engine 参数 是否必选 参数类型 描述 engine_id 否 String 训练作业选择的引擎规格ID。engine_id,engine_name + engine_version和image_url方式三选一。 engine_name 否 String 训练作业选择的引擎名称。若填入engine_id则无需填写。 engine_version 否 String 训练作业选择的引擎版本名称。若填入engine_id则无需填写。 image_url 否 String 训练作业选择的自定义镜像地址。 表15 Task 参数 是否必选 参数类型 描述 role 否 String 异构训练作业的任务角色。枚举值: learner(支持GPU\CPU规格); worker(支持CPU规格)。 algorithm 否 algorithm object 算法管理算法配置。 task_resource 否 task_resource object 训练作业资源规格信息。 表16 algorithm 参数 是否必选 参数类型 描述 job_config 否 job_config object 算法配置信息,如启动文件等。 code_dir 否 String 算法的代码目录。如:“/usr/app/”。应与boot_file一同出现。 boot_file 否 String 算法的代码启动文件,需要在代码目录下。如:“/usr/app/boot.py”。应与code_dir一同出现。 engine 否 engine object 异构作业算法的引擎。 inputs 否 Array of inputs objects 算法的数据输入。 outputs 否 Array of outputs objects 算法的数据输出。 表17 job_config 参数 是否必选 参数类型 描述 parameters 否 Array of Parameter objects 算法的运行参数。 inputs 否 Array of Input objects 算法的数据输入。 outputs 否 Array of Output objects 算法的数据输出。 engine 否 engine object 算法的引擎。 表18 Parameter 参数 是否必选 参数类型 描述 name 否 String 参数名称。 value 否 String 参数值。 description 否 String 参数描述信息。 constraint 否 constraint object 参数属性。 i18n_description 否 i18n_description object 国际化描述。 表19 constraint 参数 是否必选 参数类型 描述 type 否 String 参数种类。 editable 否 Boolean 是否可编辑。 required 否 Boolean 是否必须。 sensitive 否 Boolean 是否敏感。 valid_type 否 String 有效种类。 valid_range 否 Array of strings 有效范围。 表20 i18n_description 参数 是否必选 参数类型 描述 language 否 String 国际语种。 description 否 String 对应描述。 表21 Input 参数 是否必选 参数类型 描述 name 是 String 数据输入通道名称。 description 否 String 数据输入通道描述信息。 local_dir 否 String 数据输入通道映射的容器本地路径。 remote 是 InputDataInfo object 数据实际输入信息。枚举值: dataset 指定输入为数据集; obs 指定输入为OBS路径。 remote_constraint 否 Array of remote_constraint objects 数据输入约束。 表22 InputDataInfo 参数 是否必选 参数类型 描述 dataset 否 dataset object 数据输入信息为数据集。 obs 否 obs object 数据输入输出信息为OBS方式。 表23 dataset 参数 是否必选 参数类型 描述 id 是 String 训练作业的数据集ID。 version_id 是 String 训练作业的数据集版本ID。 obs_url 否 String 训练作业需要的数据集OBS路径URL,modelarts会通过数据集ID和数据集版本ID自动解析生成。如:“/usr/data/”。 表24 obs 参数 是否必选 参数类型 描述 obs_url 是 String 训练作业需要的数据集OBS路径URL。如:“/usr/data/”。 表25 remote_constraint 参数 是否必选 参数类型 描述 data_type 否 String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes 否 String 数据输入为数据集时的相关属性。枚举值: data_format 数据格式; data_segmentation 数据切分方式; dataset_type 标注类型。 表26 Output 参数 是否必选 参数类型 描述 name 是 String 数据输出通道名称。 description 否 String 数据输出通道描述信息。 local_dir 否 String 数据输出通道映射的容器本地路径。 remote 是 remote object 数据实际输出信息。 表27 remote 参数 是否必选 参数类型 描述 obs 是 obs object 数据实际输出到OBS。 表28 obs 参数 是否必选 参数类型 描述 obs_url 是 String 数据实际输出到OBS的路径。 表29 engine 参数 是否必选 参数类型 描述 engine_id 否 String 算法选择的引擎规格ID。 engine_name 否 String 算法选择的引擎版本名称。若填入engine_id则无需填写。 engine_version 否 String 算法选择的引擎版本名称。若填入engine_id则无需填写。 image_url 否 String 算法选择的自定义镜像地址。 表30 engine 参数 是否必选 参数类型 描述 engine_id 否 String 异构作业引擎规格的ID。如“caffe-1.0.0-python2.7”。 engine_name 否 String 异构作业引擎规格的名称。如“Caffe”。 engine_version 否 String 异构作业引擎规格的版本。 image_url 否 String 算法选择的自定义镜像地址。 表31 inputs 参数 是否必选 参数类型 描述 name 是 String 数据输入通道名称。 description 否 String 数据输入通道描述信息。 local_dir 否 String 数据输入通道映射的容器本地路径。 remote 是 remote object 数据实际输入信息。枚举值: dataset 指定输入为数据集; obs 指定输入为OBS路径。 表32 remote 参数 是否必选 参数类型 描述 obs 否 obs object 数据输入输出信息为OBS方式。 表33 obs 参数 是否必选 参数类型 描述 obs_url 是 String 训练作业需要的数据集OBS路径URL。如:“/usr/data/”。 表34 outputs 参数 是否必选 参数类型 描述 name 是 String 数据输出通道名称。 description 否 String 数据输出通道描述信息。 local_dir 否 String 数据输出通道映射的容器本地路径。 remote 是 remote object 数据实际输出信息。 表35 remote 参数 是否必选 参数类型 描述 obs 是 obs object 数据实际输出到OBS。 表36 obs 参数 是否必选 参数类型 描述 obs_url 是 String 数据实际输出到OBS的路径 表37 task_resource 参数 是否必选 参数类型 描述 flavor_id 否 String 训练作业选择的资源规格ID。 node_count 是 Integer 训练作业选择的资源副本数。 最小值:1 表38 spec 参数 是否必选 参数类型 描述 resource 否 resource object 训练作业资源规格信息。flavor_id和pool_id+[flavor_id]方式二选一。 volumes 否 Array of volumes objects 训练作业挂载卷信息。 log_export_path 否 log_export_path object 训练作业日志输出信息。 表39 resource 参数 是否必选 参数类型 描述 flavor_id 是 String 训练作业资源规格id。 node_count 否 Integer 资源池创建训练作业使用节点数。默认单节点。 pool_id 否 String 专属资源池id 表40 volumes 参数 是否必选 参数类型 描述 nfs 否 nfs object nfs方式的挂载卷。 表41 nfs 参数 是否必选 参数类型 描述 nfs_server_path 否 String nfs服务端路径。 local_path 否 String 挂载到训练容器中的路径。 read_only 否 Boolean nfs挂载卷在容器中是否只读。 表42 log_export_path 参数 是否必选 参数类型 描述 obs_url 否 String 训练作业日志保存的OBS地址。 host_path 否 String 训练作业日志保存的宿主机的路径。
  • 购买微服务引擎 您可以先了解微服务引擎实例规格,按照业务需求选择购买。 表1 微服务引擎实例规格 微服务实例数配额 配置条目数配额 最大支持微服务版本总数 200实例 600 400 500实例 3,000 1,000 2,000实例 12,000 4,000 购买微服务引擎前需先完成以下两个准备工作: 已开通企业项目。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理。 微服务引擎运行于虚拟私有云,创建微服务引擎前,需保证有可用的虚拟私有云和子网。 创建虚拟私有云和子网,请参考创建虚拟私有云和子网。 完成准备工作后,可以开始购买微服务引擎,购买操作流程如下图,详细指导和参数说明可以参考创建微服务引擎。
  • 云容器引擎与其他服务的关系 表1 云容器引擎与其他服务的关系 服务名称 云容器引擎与其他服务的关系 主要交互功能 弹性云服务器 ECS 在云容器引擎中具有多个云硬盘的一台弹性云服务器就是一个节点,您可以在创建节点时指定弹性云服务器的规格。 购买节点 纳管已有节点到集群 虚拟私有云 VPC 在云容器引擎中创建的集群需要运行在虚拟私有云中,您创建命名空间时,需要创建或关联VPC,创建在命名空间的容器都运行在VPC之内,从而保障网络安全。 购买CCE集群 弹性负载均衡 ELB 云容器引擎支持将创建的应用对接到弹性负载均衡,从而提高应用系统对外的服务能力,提高应用程序容错能力。 您可以通过弹性负载均衡,从外部网络访问容器负载。 创建无状态负载(Deployment) 创建有状态负载(StatefulSet) 负载均衡(LoadBalancer) NAT网关 NAT网关能够为VPC内的容器实例提供网络地址转换(Network Address Translation)服务,SNAT功能通过绑定弹性公网IP,实现私有IP向公有IP的转换,可实现VPC内的容器实例共享弹性公网IP访问Internet。 您可以通过NAT网关设置SNAT规则,使得容器能够访问Internet。 创建无状态负载(Deployment) 创建有状态负载(StatefulSet) DNAT网关(DNAT) 容器镜像服务 SWR 容器镜像服务提供的镜像仓库是用于存储、管理docker容器镜像的场所,可以让使用人员轻松存储、管理、部署docker容器镜像。 您可以使用容器镜像服务中的镜像创建负载。 创建无状态负载(Deployment) 创建有状态负载(StatefulSet) 云容器实例 CCI 云容器实例的Serverless Container是从使用角度,无需创建、管理Kubernetes集群,也就是从使用的角度看不见服务器(Serverless),直接通过控制台、kubectl、Kubernetes API创建和使用容器负载,且只需为容器所使用的资源付费。 当CCE集群资源不足时,支持将Pod弹性部署到CCI集群。 virtual kubelet插件 华为云CCE弹性至CCI 云硬盘 EVS 可以将云硬盘挂载到云服务器,并可以随时扩容云硬盘容量。 在云容器引擎中一个节点就是具有多个云硬盘的一台弹性云服务器,您可以在创建节点时指定云硬盘的大小。 使用云硬盘存储卷 对象存储服务 OBS 对象存储服务是一个基于对象的海量存储服务,为客户提供海量、安全、高可靠、低成本的数据存储能力,包括:创建、修改、删除桶,上传、下载、删除对象等。 云容器引擎支持创建OBS对象存储卷并挂载到容器的某一路径下。 使用对象存储卷 弹性文件服务 SFS 弹性文件服务提供托管的共享文件存储,符合标准文件协议(NFS),能够弹性伸缩至PB规模,具备可扩展的性能,为海量数据、高带宽型应用提供有力支持。 您可以使用弹性文件服务作为容器的持久化存储,在创建任务负载的时候挂载到容器上。 使用文件存储卷 应用运维管理 AOM 云容器引擎对接了AOM,AOM会采集容器日志存储中的“.log”等格式日志文件,转储到AOM中,方便您查看和检索;并且云容器引擎基于AOM进行资源监控,为您提供弹性伸缩能力。 容器日志 云审计服务 CTS 云审计服务提供云服务资源的操作记录,记录内容包括您从公有云管理控制台或者开放API发起的云服务资源操作请求以及每次请求的结果,供您查询、审计和回溯使用。 云审计服务支持的CCE操作列表
  • 计费项&计费说明 表1 不同实例版本计费模式介绍 实例类型 计费模式 计费项 单价 基础版 按需计费 按实际产生的消息数计费,消息数计费项请参考表2。 具体产品价格,请参考价格详情。 详细产品价格,请参考价格详情。 标准版 包周期 根据实例类型、规格、购买时长计费。 标准版规格请参考价格详情。 企业版 包周期 根据实例类型、规格,购买时长计费。 企业版规格请参考价格详情。 表2 设备接入服务计费项说明 项目 描述 计费方式 设备端消息 设备调用MQTT协议Pub接口发的消息 按需计费 设备调用MQTT协议Sub接口接收的消息 设备调用LWM2M协议Update/Notify接口发的消息 设备调用LWM2M协议Update接口收到的响应消息 设备调用http接口上报的消息、属性 平台调用LWM2M协议Read/Write/Write-Attributes/Execute接口发的和响应的消息 应用端消息 应用端调用物联网平台API发送的消息 按需计费 物联网平台向应用端服务器推送的消息(包括HTTP和AMQP推送) 规则引擎转发消息 使用规则引擎转发到其他华为云产品的消息 当低于设备上报消息数时免费赠送,超过部分算入计费消息数 协议消息 登录消息 登出消息 心跳消息 协议层Ack应答消息 订阅消息 取消订阅消息 免费
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer 当前微服务引擎专享版规格总个数。 data Array of Flavor objects 微服务引擎专享版规格详情。 表5 Flavor 参数 参数类型 描述 flavor String 微服务引擎专享版规格。 description String 微服务引擎专享版规格描述。 状态码: 400 表6 响应Body参数 参数 参数类型 描述 errorCode String 错误代码。 errorMessage String 错误信息。 detail String 详细定位信息。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 errorCode String 错误代码。 errorMessage String 错误信息。 detail String 详细定位信息。
  • 安装容器引擎 上传镜像前,您需要安装容器引擎,如果您已经安装了容器引擎,请确保容器引擎为1.11.2及以上版本。 参考购买弹性云服务器创建一台带有公网IP地址的Linux弹性云服务器。 作为演示,弹性云服务器和公网IP的规格不需要太高,例如弹性云服务器的规格为“1vCPUs | 2GB”、公网IP带宽为“1 Mbit/s”即可,操作系统请选择“CentOS 7.6”。 您也可以使用其他机器安装容器引擎,不创建弹性云服务器。 返回弹性云服务器列表,单击“远程登录”登录购买的弹性云服务器。 使用如下命令快速安装容器引擎。 curl -fsSL get.docker.com -o get-docker.shsh get-docker.shsudo systemctl daemon-reloadsudo systemctl restart docker
  • 基于AI智能引擎的威胁检测 威胁检测服务在基于威胁情报和规则基线检测的基础之上,融入了AI智能检测引擎。通过弹性画像模型、无监督学习模型、有监督学习模型实现对风险口令、凭证泄露、Token利用、异常委托、异地登录、未知威胁、暴力破解七大IAM高危场景进行智能检测。通过SVM、随机森林、神经网络等算法实现对隧道域名、DGA域名以及异常行为的智能检测。 AI引擎检测保持模型对真实数据的学习,保证数据对模型的反复验证和人工审查,精准制定预过滤和后处理逻辑,结合先验知识,模型达成零误报。同时,以阶段性检测结果为输入,通过模型重训练和依赖文件定期更新持续优化模型,提升模型告警准确率。
  • 资源准备 为了方便后续的操作,需要您提前准备好如下资源: 注册华为云帐号,并登录成功。 已获取AK/SK,请参考AK/SK获取方法。 如果使用微服务引擎专业版,需要配置AK/SK(本最佳实践使用微服务引擎专业版)。 如果使用微服务引擎专享版,不需要配置AK/SK。需要先创建一个未开启安全认证的微服务引擎专享版,请参考创建微服务引擎专享版。 创建一个虚拟私有云,请参考创建虚拟私有云和子网。 创建一个CCE集群(如果只是试用场景,“集群管理规模”选择“50节点”,“控制节点数”选择“1”即可)。 集群中至少包含1个规格为8vCPUs、16GB内存或者2个规格为4vCPUs、8GB内存的ECS节点,并且绑定弹性公网IP,请参考购买CCE集群。
  • 请求消息 请求参数如表2所示。 表2 参数说明 参数 是否必选 参数类型 说明 config_desc 否 String 对训练作业的描述,默认为空,字符串的长度限制为[0,256]。 worker_server_num 是 Integer 训练作业worker的个数,最大值请从查询作业资源规格接口获取。 app_url 是 String 训练作业的代码目录。如:“/usr/app/”。应与boot_file_url一同出现,若填入model_id则app_url/boot_file_url和engine_id无需填写。 boot_file_url 是 String 训练作业的代码启动文件,需要在代码目录下,如:“/usr/app/boot.py”。应与app_url一同出现,若填入model_id则app_url/boot_file_url和engine_id无需填写。 model_id 是 Long 训练作业的模型ID。请通过查询预置算法接口获取model_id。填入model_id后app_url/boot_file_url和engine_id不需填写。 parameter 否 Array 训练作业的运行参数,为“label-value”格式;当为自定义镜像训练作业的时候,此参数为容器环境变量。该样例请参考表4。 spec_id 是 Long 训练作业选择的资源规格ID。请从查询作业资源规格接口获取资源规格ID。 data_url 否 String 训练作业需要的数据集OBS URL。如:“/usr/data/”。 不可与data_source或者dataset_id/dataset_version_id同时出现,但必须有其一。 dataset_id 否 String 训练作业的数据集ID。应与dataset_version_id同时出现,但不可与data_url或data_source同时出现。 dataset_version_id 否 String 训练作业的数据集版本ID。应与dataset_id同时出现,但不可与data_url或data_source同时出现。 data_source 否 JSON Array 训练作业使用的数据集。不可与data_url或dataset_id/dataset_version_id同时使用。详情请参见表3。 engine_id 是 Long 训练作业选择的引擎ID,默认为“1”。请从查询作业引擎规格接口获取引擎规格ID。 train_url 否 String 训练作业的输出文件OBS路径URL,默认为空,如“/usr/train/”。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/train/”。 user_image_url 否 String 自定义镜像训练作业的自定义镜像的SWR-URL。如:“100.125.5.235:20202/jobmng/custom-cpu-base:1.0”。 user_command 否 String 自定义镜像训练作业的自定义镜像的容器的启动命令。形式为:“bash /home/work/run_train.sh python /home/work/user-job-dir/app/train.py {python_file_parameter}”。 表3 data_source属性列表 参数 是否必选 参数类型 说明 dataset_id 否 String 训练作业的数据集ID。应与dataset_version_id同时出现,但不可与data_url同时出现。 dataset_version 否 String 训练作业的数据集版本ID。应与dataset_id同时出现,但不可与data_url同时出现。 type 否 String 数据集类型。可选值为“obs”、“dataset”。obs与dataset不可同时出现。 data_url 否 String OBS的桶路径,不可与dataset_id/dataset_version同时出现。 表4 parameter属性列表 参数 是否必选 参数类型 说明 label 否 String 参数名称。 value 否 String 参数值。
  • ServiceComb错误码 当您调用API时,如果遇到“APIGW”开头的错误码,请参见API网关错误码进行处理。 分类 状态码 错误码 错误信息 描述 处理措施 公共错误码 400 400001 Invalid parameter(s) 非法参数 根据错误提示中的规则,修改提示中的参数。 404 404001 ErrRecoudNotExists 该资源不存在 输入正确的查找条件。 409 409001 ErrRecordAlreadyExists 该资源已存在 请勿创建相同的记录。 500 500003 Internal server error 内部错误 内部错误请联系运维支持。 微服务 400 400002 ErrUnhealthy 服务处于不健康状态 请稍后重试或联系技术支持工程师。 400010 Micro-service already exists 服务已存在 修改创建微服务body体中的serviceId或微服务描述信息。 400011 ErrUnavailableBackend 没有可提供的后台实例 请稍后重试或联系技术支持工程师。 400012 Micro-service does not exist 服务不存在 请输入有效的serviceId。 400013 Micro-service has deployed instance(s) 无法删除该微服务,该微服务已部署实例 请先将实例下线,再删除微服务;或强制删除微服务(url中添加query参数“force=true”)。 400014 Undefined schema id schemaId不存在 请输入有效的schemaId。 400015 Not allowed to modify schema schema不允许修改 该schema已注册,不支持修改。 400016 Schema does not exist schema不存在 请先注册schema再查询。 400017 Instance does not exist 实例不存在 请输入有效的instanceId。 400018 ErrTagNotExists 标签不存在 通常出现在查询接口,表明标签不存在,业务根据返回值做恰当后续处理。 400019 ErrRuleAlreadyExists 规则已经存在 重复创建规则,通常可以忽略该错误。 400020 ErrBlackAndWhiteRule 错误的黑白名单 根据错误提示修改参数。 400021 ErrModifyRuleNotAllow 不允许更改规则 必须修改版本号才允许更改微服务信息。 400022 ErrRuleNotExists 规则不存在 通常出现在查询接口,表明规则不存在,业务根据返回值做恰当后续处理。 400023 Cosumer(s) depends on this micro-service 无法删除该微服务,该微服务被其他微服务依赖 可选择强制删除微服务(url中添加query参数“force=true”)。 400024 ErrPermissionDeny 权限不允许 使用合理的帐号进行操作。 400025 ErrEndpointAlreadyExists 端口已存在 建议排查端口是否被其它实例占用。 400026 Micro-service version does not exist 微服务版本不存在 请输入正确的版本号或版本号范围。 400100 Not enough quota 配额不足 对应的资源(如微服务、实例、schema)配额不足,请删除部分资源再创建。 401 401204 No authorization header 认证不通过 若微服务引擎专享版开启了安全认证,此参数必填。否则,无此参数。 开启了安全认证的微服务引擎专享版Token,格式为: Authorization:Bearer {Token} Token获取方法,请参考获取微服务引擎专享版用户Token。 401201 Request unauthorized 认证不通过 输入的Authorization不合法. 403 403001 ErrForbidden 操作受限 使用合理的帐号进行操作。 500 500011 Registry service is unavailable 后端错误 内部错误请联系运维支持。 500101 ErrUnavailableQuota 没有提供配额 请稍后重试或联系技术支持工程师。 500605 NA 配置中心Etcd连接失败 请稍后重试或联系技术支持工程师。 认证 401 401202 User name or password is wrong 帐号名称或密码错误 输入正确的帐号名称和密码。
  • 前提条件 已添加独享模式防护网站。 已根据应用场景和功能需求购买合适的负载均衡器类型。有关ELB类型的详细介绍,请参见共享型弹性负载均衡与独享型负载均衡的功能区别。 在该独享引擎实例所在安全组中已放开了相关端口。 安全组建议配置以下访问规则: 入方向规则 根据业务需求添加指定端口入方向规则,放通指定端口入方向网络流量。例如,需要放通“80”端口时,您可以添加“策略”为“允许”的“TCP”、“80”协议端口规则。 出方向规则 默认。放通全部出方向网络流量。 有关添加安全组规则的详细操作,请参见添加安全组规则。
  • 前提条件 已根据应用场景和功能需求购买合适的负载均衡器类型。有关ELB类型的详细介绍,请参见共享型弹性负载均衡与独享型负载均衡的功能区别。 在该独享引擎实例所在安全组中已放开了相关端口。 安全组建议配置以下访问规则: 入方向规则 根据业务需求添加指定端口入方向规则,放通指定端口入方向网络流量。例如,需要放通“80”端口时,您可以添加“策略”为“允许”的“TCP”、“80”协议端口规则。 出方向规则 默认。放通全部出方向网络流量。 有关添加安全组规则的详细操作,请参见添加安全组规则。
  • 表设计规则 规则1:表的设计要考虑兼容性。 只允许新增字段,不允许删除字段。 规则2:表名和数据库名不超过48字节。 规则3:表默认按照最佳性能规格创建。如果对表性能要求不高,可以创表时指定性能参数“Z00_THROUGHPUT”, 可选项有big、medium、small。默认不指定为big,由于存储引擎使用Rocksdb需要预分配内存,所以实例创表数目有一定限制,具体请参见GaussDB(for Cassandra)创表时需要注意什么。 建议:需要的时候,通过反范式化和冗余来提升读性能。
  • 应用管理与运维平台 ServiceStage ServiceStage用于创建快视频的微服务实例。在服务端集成开发前,您需要根据需求购买CSE专享版引擎,或使用免费的专业版引擎。具体操作请参见创建微服务引擎。 专享版和专业引擎的区别如下: 专享版引擎采用物理隔离的方式部署,租户独占微服务引擎。支持用户自定义规格和自定义特性,您可以根据业务需要定制相应实例数的微服务引擎。 专业版微服务引擎不支持多AZ,专享版引擎在创建时可以设置多AZ。
  • 资源和成本规划 该解决方案主要部署如下资源,不同产品的花费仅供参考,具体请参考华为云官网价格,实际以收费账单为准: 表1 资源和成本规划(按需计费) 华云服务 配置示例 每月预估花费 云数据库 RDS(for MySQL) 区域:华北-北京四 计费模式:按需计费 数据库引擎:MySQL 实例类型:主备 购买数量:1 每月花费与源数据库相同,具体参考RDS费用详情 数据复制服务 DRS 区域:华北-北京四 按需计费:配置费用2.4元/小时+数据传输费用1.50元/G 计费模式:按需计费 任务类型:实时迁移 数据流动方向:入云 源数据库引擎:MySQL 目标数据库引擎:MySQL 2.40*24*30=1728元+1.50元/G 合计 - 1728元 +1.5元/G+RDS(for MySQL)费用 表2 资源和成本规划(包年包月) 华为云服务 配置示例 每月预估花费 云数据库 RDS(for MySQL) 区域:华北-北京四 计费模式:按需计费 数据库引擎:MySQL 实例类型:主备 购买数量:1 每月花费与源数据库相同,具体参考RDS费用详情 数据复制服务 DRS 区域:华北-北京四 计费模式:按需计费 任务类型:实时迁移 数据流动方向:入云 源数据库引擎:MySQL 目标数据库引擎:MySQL 384元 合计 - 384元 +RDS(for MySQL)费用
  • 操作步骤 (可选)准备设备列表和规则列表文件。 从资产包所属的源实例获取导出的设备列表和规则列表文件。 创建设备。 在实例控制台的“设备集成 LINK > 设备管理”页面。 若获取到设备列表文件,则单击“导入设备”,通过导入设备列表文件创建设备。 若未获取到设备列表文件,则单击“创建设备”,手动创建设备。 具体配置参数说明请参见创建设备。 完成后,在页面的设备列表中可查看创建的设备。 创建规则。 在实例控制台的“设备集成 LINK > 规则引擎”页面。 若获取到规则列表文件,则单击“导入规则”,通过导入规则列表文件创建规则。 若未获取到规则列表文件,则单击“创建规则”,手动创建规则。 具体配置参数说明请参见创建规则。 完成后,在页面的规则列表中可查看创建的规则。
  • 微服务引擎专享版引擎类型说明 1.3.0或以上版本的微服务引擎专享版,不同规格均提供了对如下表所示的引擎类型的支持,您可以根据具体业务需求选择使用对应类型的微服务引擎专享版。 表3 微服务引擎专享版引擎类型说明 引擎类型 适用业务场景 可用区CPU架构 集群 集群模式部署,主机级容灾,高可用。 x86或ARM,不支持混合架构。 单机(废弃) 单节点部署,不支持容灾,非高可用。 须知: “单机”类型的微服务引擎专享版仅适用于开发测试环境,不适用于生产环境。 x86或ARM。
  • 设备接入 物联网平台支持终端设备直接接入,也可以通过工业网关或者家庭网关接入;支持多网络接入、多协议接入、系列化Agent接入,解决设备接入复杂多样化和碎片化难题;提供基础的设备管理功能,实现设备的快速接入。 功能 简介 多网络接入 支持有线和无线的接入方式,如固定宽带、2G/3G/4G/5G、NB-IoT、Z-Wave、ZigBee、eLTE等。详细请参见设备集成引导。 多协议接入 支持设备通过LWM2M、CoAP、MQTT(S)、LoRa、Modbus等协议接入。详细请参见设备集成引导。 系列化Agent接入 支持Agent Lite和Agent Tiny,覆盖的语言包括C、Java、Android。Agent与海思、高通主流芯片、模组预集成,缩短TTM。详细请参见设备集成引导。 设备双向通信 物联网平台提供设备数据采集功能,例如设备业务数据、设备告警,同时支持应用对设备数据的订阅。详细请参见订阅推送。 支持通过应用服务器或控制台以下发命令的方式,将命令下发到设备,达到平台对设备远程控制的效果。详细请参见命令下发。 应用对接 物联网平台开放了海量的API接口和SDK,帮助开发者快速孵化行业应用。详细查看应用对接指引。 设备影子 设备影子是一个JSON文档,用于存储设备的状态、设备最近一次上报的设备属性、应用服务器期望下发的配置。每个设备有且只有一个设备影子,设备可以获取和设置设备影子以此来同步状态,这个同步可以是影子同步给设备,也可以是设备同步给影子。详细请参见设备影子。 数据转发规则 数据转发规则是规则引擎的一种,用于将物联网平台接收的设备数据,转发到华为公有云的其它服务进行数据分析、存储等。详细请参见规则引擎。 设备实时状态监控 物联网平台实时监控设备的状态,包括在线、离线、未激活,实时获取状态变更通知。详细请参见设备监控。 审计日志 控制台对所有物联网平台的使用人员的操作日志、安全日志(登录、登出、密码修改等)进行记录,便于日志分析和故障定位。详细请参见设备监控。
  • 云模式、独享模式使用说明 图1 云模式和独享模式部署架构 表1 各模式使用说明 项目 云模式 独享模式 计费方式 包周期(包年/包月) 按需计费 服务版本 入门版 标准版(原专业版) 专业版(原企业版) 铂金版(原旗舰版) - 使用场景 业务服务器部署在华为云上、非华为云或线下。 各服务版本推荐使用的场景说明如下: 入门版 个人网站防护 标准版(原专业版) 中小型网站,对业务没有特殊的安全需求 专业版(原企业版) 中型企业级网站或服务对互联网公众开放,关注数据安全且具有高标准的安全需求 铂金版(原旗舰版) 中大型企业网站,具备较大的业务规模,或是具有制定个性化防护的安全需求 业务服务器部署在华为云上。 大型企业网站,具备较大的业务规模且基于业务特性具有制定个性化防护规则的安全需求。 防护对象 域名 域名或IP 优势 弹性扩容能力强,通过升级规格可以扩容防护能力 可以防护华为云、非华为云和云下的Web业务 支持IPv6防护 部署灵活 独享引擎实例资源由用户独享 可以满足大规模流量攻击场景防护需求 独享引擎实例部署在VPC内,网络链路时延低
  • 功能总览 功能总览 全部 微服务引擎 权限管理 管理微服务引擎 对接微服务引用 使用微服务引擎 云服务审计支持的关键动作 API 微服务引擎 微服务引擎(Cloud Service Engine,CSE),是用于微服务应用的云中间件,为用户提供注册发现、服务治理、配置管理等高性能和高韧性的企业级云服务能力;CSE可无缝兼容Spring Cloud、ServiceComb等开源生态;用户也可结合其他云服务,快速构建云原生微服务体系,实现微服务应用的快速开发和高可用运维。 不支持区域: 华东-上海二 华南-深圳 购买微服务引擎 权限管理 如果您需要对您所拥有的微服务引擎进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行权限精细管理,该服务是华为云提供权限管理的基础服务,可以帮助您安全地控制云服务和资源的访问权限。 不支持区域: 华东-上海二 华南-深圳 创建用户并授权使用微服务引擎 创建微服务引擎自定义策略 管理微服务引擎 通过微服务引擎控制台,可以查看微服务引擎信息、获取微服务引擎注册与发现地址和配置中心地址、设置微服务备份与恢复、微服务引擎网络配置及升级及删除微服务引擎等。 不支持区域: 华东-上海二 华南-深圳 管理微服务引擎 对接微服务应用 将Spring Cloud或Java Chassis接入CSE,使得Spring Cloud或Java Chassis能够对接CSE,并且方便的使用CSE提供的最常用的功能。 不支持区域: 华东-上海二 华南-深圳 Spring Cloud接入CSE Java Chassis接入CSE 使用微服务引擎 微服务引擎的服务中心提供了服务注册的功能。服务注册是指微服务启动的时候,将基本信息,比如所属应用、微服务名称、微服务版本、监听的地址信息等注册到服务中心。 不支持区域: 华东-上海二 华南-深圳 使用服务注册 可通过微服务目录查看微服务详细信息、搜索目标微服务等,达到维护微服务的目的。 不支持区域: 华东-上海二 华南-深圳 微服务目录 对不同的微服务开发框架,比如Spring Cloud、Java Chassis、Dubbo等设计了统一的基于动态配置的流量特征治理。通过在开发框架中引入相关治理组件,即可使用微服务引擎的微服务治理功能。 不支持区域: 华东-上海二 华南-深圳 微服务治理 使用服务治理 配置中心用来管理微服务应用的配置。微服务连接配置中心,能够从配置中心获取配置信息及其变化。配置中心还是其他微服务管控功能的核心部件,比如服务治理规则的下发,也是通过配置中心实现的。 不支持区域: 华东-上海二 华南-深圳 配置管理 使用配置中心 同一个微服务引擎可能会有多个用户共同使用,而不同的用户根据其责任和权限,需要具备不同的微服务引擎访问和操作权限。 不支持区域: 华东-上海二 华南-深圳 系统管理 配置微服务安全认证的帐号名和密码 云服务审计支持的关键动作 微服务引擎通过云审计服务(Cloud Trace Service,简称CTS)为您提供云服务资源的操作记录,记录内容包括您从华为云管理控制台或者API发起的云服务资源操作请求以及每次请求的结果,供您查询、审计和回溯使用。 不支持区域: 华东-上海二 华南-深圳 云审计服务支持的CSE操作列表 查看云审计日志 API 微服务引擎提供了REST(Representational State Transfer)API,支持您通过HTTPS请求调用。 不支持区域: 华东-上海二 华南-深圳 API概览
  • Replicated*MergeTree引擎 ClickHouse中的所有MergeTree家族引擎前面加上Replicated就成了支持副本的合并树引擎。 Replicated系列引擎借助ZooKeeper实现数据的同步,创建Replicated复制表时通过注册到ZooKeeper上的信息实现同一个分片的所有副本数据进行同步。 Replicated表引擎的创建模板: ENGINE = Replicated*MergeTree('ZooKeeper存储路径','副本名称', ...) Replicated表引擎需指定两个参数: ZooKeeper存储路径:ZooKeeper中该表相关数据的存储路径,建议规范化,如:/clickhouse/tables/{shard}/数据库名/表名。 副本名称,一般用{replica}即可。 Replicated表引擎使用示例可以参考:ClickHouse表创建。
  • Replicated*MergeTree引擎 ClickHouse中的所有MergeTree家族引擎前面加上Replicated就成了支持副本的合并树引擎。 Replicated系列引擎借助ZooKeeper实现数据的同步,创建Replicated复制表时通过注册到ZooKeeper上的信息实现同一个分片的所有副本数据进行同步。 Replicated表引擎的创建模板: ENGINE = Replicated*MergeTree('ZooKeeper存储路径','副本名称', ...) Replicated表引擎需指定两个参数: ZooKeeper存储路径:ZooKeeper中该表相关数据的存储路径,建议规范化,如:/clickhouse/tables/{shard}/数据库名/表名。 副本名称,一般用{replica}即可。 Replicated表引擎使用示例可以参考:ClickHouse表创建。
  • 步骤一:创建威胁检测引擎 登录管理控制台。 单击左上角的,选择区域或项目。 在左侧导航树中,单击,选择“安全与合规 > 威胁检测服务”,进入威胁检测服务界面,如图 威胁检测服务首页所示。 图1 威胁检测服务首页 单击“创建检测引擎”下的“立即创建”,创建区域检测引擎,单击后待页面运行结束,页面右上角会提示“检测引擎创建成功”,页面会自动刷新一次,单击页面左上方流程引导的展开流程引导,显示如图 创建检测引擎成功所示,表示检测引擎创建成功。 图2 创建检测引擎成功
  • 部署华为云区块链引擎服务 完成环境准备工作后,可按照如下步骤购买并部署华为云区块链引擎服务。 登录华为云区块链引擎服务管理控制台,进入“服务管理”,在华为云区块链引擎页面单击“购买”。 根据界面提示,配置区块链基本信息,参数如表2所示。 表2 基本信息配置 参数 描述 示例 计费模式 华为云区块链引擎服务管理收费模式,支持包年/包月。 包年/包月 区域 区块链基础设施所在的区域,建议选择与业务应用系统相同的地域。 使用默认区域 区块链服务名称 支持英文字符、数字及中划线,不能以中划线开头,长度为4-24个字符。 说明: 目前区块链名称不支持修改,只能删除重新创建。 hbs-hw 版本类型 HBS提供专业版、企业版供您选择。 专业版 初始密码 初始密码用于登录边缘侧console页面,请妥善保管。 - 初始密码确认 再次输入初始密码进行确认。 - 组织配置 支持增加组织成员数。 专业版支持最大成员组织数2个,企业版支持最大成员组织数10个。 - 高级设置 共识策略:区块链网络中节点之间达成共识需要遵从的规则。默认为Raft(CFT)策略。 安全机制:保证数据安全的加密算法,默认为ECDSA;支持国密算法。 - 购买时长 支持自定义购买服务的使用时间,最短1个月。 您可根据需要选择勾选自动续费,按月购买的自动续费周期为1个月,按年购买的自动续费周期为1年。 默认1个月 单击“立即创建”。 确认配置信息无误后,勾选协议和免责声明,并单击“提交”。 进入支付页面,确认订单费用无误后,单击“确认付款”,订单支付成功后,即可返回华为云区块链引擎服务控制台查看正在创建的服务。 服务创建大概需要18-25分钟,请耐心等待。服务创建成功后,查看服务状态变为“正常”后,表示华为云区块链引擎服务部署完成。
  • 解决方案 对于集群实例,可能是因为选择和设置的分片不合理导致数据分布不均衡,从而引起磁盘空间使用率高的情况。 此时,可以对数据库集合进行合适的分片,具体操作请参见设置数据分片以充分利用分片性能。 随着业务数据的增加,原来申请的数据库磁盘容量不足。此时建议扩容磁盘空间,确保磁盘空间足够。 集群实例,请参见扩容集群实例的磁盘空间。 副本集实例,请参见扩容副本集实例的磁盘空间。 单节点实例,请参见扩容单节点实例的磁盘空间。 如果原有实例规格的磁盘已是最大的,请先升级规格。 集群实例,请参见变更集群实例的CPU和内存规格。 副本集实例,请参见变更副本集实例的CPU和内存规格。 单节点实例,请参见变更单节点实例的CPU和内存规格。 存在大量过期的数据文件占用磁盘空间,此时需要及时处理过期数据文件。例如:如果整个库不需要了,则可以执行dropDatabase命令进行删除,从而快速释放磁盘空间。 后台数据处理机制原因。 因为无论是写入、更新或删除等操作(包括索引插入和删除等操作),在后台实际上都会转成写入。因为底层的存储引擎(WiredTiger和RocksDB),采用都是appendOnly机制。只有当存储引擎内部数据状态满足一定条件后,会触发内部的compaction操作,进行数据压缩,进而释放磁盘空间。 所以有时候会发现,磁盘占用量比实际数据量大,实际上这只是“看起来大”,并不会影响用户的使用。因为内部有些数据压缩,是延时操作,没有立即执行。随着数据的继续写入,会触发后台执行数据压缩清理空间。
  • 解决方案 对于集群实例,可能是因为选择和设置的分片不合理导致数据分布不均衡,从而引起磁盘空间使用率高的情况。 此时,可以对数据库集合进行合适的分片,具体操作请参见设置数据分片以充分利用分片性能。 随着业务数据的增加,原来申请的数据库磁盘容量不足。此时建议扩容磁盘空间,确保磁盘空间足够。 集群实例,请参见扩容集群实例的磁盘空间。 副本集实例,请参见扩容副本集实例的磁盘空间。 单节点实例,请参见扩容单节点实例的磁盘空间。 如果原有实例规格的磁盘已是最大的,请先升级规格。 集群实例,请参见变更集群实例的CPU和内存规格。 副本集实例,请参见变更副本集实例的CPU和内存规格。 单节点实例,请参见变更单节点实例的CPU和内存规格。 存在大量过期的数据文件占用磁盘空间,此时需要及时处理过期数据文件。例如:如果整个库不需要了,则可以执行dropDatabase命令进行删除,从而快速释放磁盘空间。 后台数据处理机制原因。 因为无论是写入、更新或删除等操作(包括索引插入和删除等操作),在后台实际上都会转成写入。因为底层的存储引擎(WiredTiger和RocksDB),采用都是appendOnly机制。只有当存储引擎内部数据状态满足一定条件后,会触发内部的compaction操作,进行数据压缩,进而释放磁盘空间。 所以有时候会发现,磁盘占用量比实际数据量大,实际上这只是“看起来大”,并不会影响用户的使用。因为内部有些数据压缩,是延时操作,没有立即执行。随着数据的继续写入,会触发后台执行数据压缩清理空间。
  • 解决方案 对于集群实例,可能是因为选择和设置的分片不合理导致数据分布不均衡,从而引起磁盘空间使用率高的情况。 此时,可以对数据库集合进行合适的分片,具体操作请参见设置数据分片以充分利用分片性能。 随着业务数据的增加,原来申请的数据库磁盘容量不足。此时建议扩容磁盘空间,确保磁盘空间足够。 集群实例,请参见扩容集群实例的磁盘空间。 副本集实例,请参见扩容副本集实例的磁盘空间。 单节点实例,请参见扩容单节点实例的磁盘空间。 如果原有实例规格的磁盘已是最大的,请先升级规格。 集群实例,请参见变更集群实例的CPU和内存规格。 副本集实例,请参见变更副本集实例的CPU和内存规格。 单节点实例,请参见变更单节点实例的CPU和内存规格。 存在大量过期的数据文件占用磁盘空间,此时需要及时处理过期数据文件。例如:如果整个库不需要了,则可以执行dropDatabase命令进行删除,从而快速释放磁盘空间。 后台数据处理机制原因。 因为无论是写入、更新或删除等操作(包括索引插入和删除等操作),在后台实际上都会转成写入。因为底层的存储引擎(WiredTiger和RocksDB),采用都是appendOnly机制。只有当存储引擎内部数据状态满足一定条件后,会触发内部的compaction操作,进行数据压缩,进而释放磁盘空间。 所以有时候会发现,磁盘占用量比实际数据量大,实际上这只是“看起来大”,并不会影响用户的使用。因为内部有些数据压缩,是延时操作,没有立即执行。随着数据的继续写入,会触发后台执行数据压缩清理空间。
  • 响应参数 状态码: 201 表43 响应Body参数 参数 参数类型 描述 kind String 训练作业类型。默认使用job。枚举值: job 训练作业; hetero_job 异构作业; autosearch_job 自动搜索作业; mrs_job mrs作业; edge_job 边缘作业。 metadata JobMetadata object 训练作业元信息。 status Status object 训练作业状态信息。创建作业无需填写。 algorithm JobAlgorithmResponse object 训练作业算法。目前支持三种形式: id 只取算法的id; subscription_id+item_version_id 取算法的订阅id和版本id; code_dir+boot_file 取训练作业的代码目录和启动文件; tasks Array of TaskResponse objects 异构训练作业的任务列表。 spec spec object 训练作业规格参数。 表44 JobMetadata 参数 参数类型 描述 id String 训练作业ID,创建成功后由ModelArts生成返回,无需填写。 name String 训练作业名称。限制为1-64位只含数字、字母、下划线和中划线的名称。 workspace_id String 指定作业所处的工作空间,默认值为“0”。 description String 对训练作业的描述,默认为“NULL”,字符串的长度限制为[0, 256]。 create_time Long 训练作业创建时间戳,单位为毫秒,创建成功后由modelarts生成返回,无需填写。 user_name String 训练作业创建用户的用户名,创建成功后由modelarts生成返回,无需填写。 annotations Map 训练作业申明模板,异构作业job_template字段默认为 Template RL,其余默认为 Template DL。 表45 Status 参数 参数类型 描述 phase String 训练作业一级状态,状态值稳定不变,可选值如下: “Creating”, “Pending”, “Running”, “Failed”, “Completed”, “Terminating”, “Terminated”, “Abnormal”。 secondary_phase String 训练作业二级状态,状态值不稳定,可选值如下: “Creating”, “Queuing”, “Running”, “Failed”, “Completed”, “Terminating”, “Terminated”, “CreateFailed”, “TerminatedFailed”, “Unknown”, “Lost”。 duration Long 训练作业运行时长,单位为毫秒。 node_count_metrics Array> 训练作业运行时节点数变化指标。 tasks Array of strings 训练作业子任务名称。 start_time String 训练作业开始时间,格式为时间戳。 task_statuses Array of task_statuses objects 训练在子任务状态信息。 表46 task_statuses 参数 参数类型 描述 task String 训练作业子任务名称。 exit_code Integer 训练作业子任务退出码。 message String 训练作业子任务错误消息。 表47 JobAlgorithmResponse 参数 参数类型 描述 id String 训练作业算法。目前支持三种形式: id 只取算法的id; subscription_id+item_version_id 取算法的订阅id和版本id; code_dir+boot_file 取训练作业的代码目录和启动文件。 name String 算法名称。 subscription_id String 订阅算法的订阅ID。应与item_version_id一同出现。 item_version_id String 订阅算法的版本。应与subscription_id一同出现。 code_dir String 训练作业的代码目录。如:“/usr/app/”。应与boot_file一同出现,若填入id或subscription_id+item_version_id则无需填写。 boot_file String 训练作业的代码启动文件,需要在代码目录下。如:“/usr/app/boot.py”。应与code_dir一同出现,若填入入id或subscription_id+item_version_id则无需填写。 autosearch_config_path String 自动化搜索作业的yaml配置路径,需要提供一个OBS路径。 autosearch_framework_path String 自动化搜索作业的框架代码目录,需要提供一个OBS路径。 command String 自定义镜像训练作业的自定义镜像的容器的启动命令。可填code_dir parameters Array of Parameter objects 训练作业的运行参数。 policies policies object 作业支持的策略。 inputs Array of Input objects 训练作业的数据输入。 outputs Array of Output objects 训练作业的结果输出。 engine engine object 训练作业的引擎。使用算法管理的算法id或订阅算法subscription_id+item_version_id创建作业时,无需填写。 environments Array of Map objects 训练作业的环境变量。格式:"key":"value".无需填写。 表48 Parameter 参数 参数类型 描述 name String 参数名称。 value String 参数值。 description String 参数描述信息。 constraint constraint object 参数属性。 i18n_description i18n_description object 国际化描述。 表49 constraint 参数 参数类型 描述 type String 参数种类。 editable Boolean 是否可编辑。 required Boolean 是否必须。 sensitive Boolean 是否敏感。 valid_type String 有效种类。 valid_range Array of strings 有效范围。 表50 i18n_description 参数 参数类型 描述 language String 国际语种。 description String 对应描述。 表51 policies 参数 参数类型 描述 auto_search auto_search object 超参搜索配置。 表52 auto_search 参数 参数类型 描述 skip_search_params String 需要排除的超参组合。 reward_attrs Array of reward_attrs objects 搜索指标列表。 search_params Array of search_params objects 搜索参数。 algo_configs Array of algo_configs objects 搜索算法配置。 表53 reward_attrs 参数 参数类型 描述 name String 指标名称。 mode String 搜索方向。 max 指定时表示指标值越大越好; min 指定时表示指标值越小越好。 regex String 指标正则表达式。 表54 search_params 参数 参数类型 描述 name String 超参名称。 param_type String 参数类型。 continuous 指定时表示参数类型为连续值; discreate 指定时表示参数类型为离散值。 lower_bound String 超参下界。 upper_bound String 超参上界。 discrete_points_num String 连续型超参离散化取值个数。 discrete_values Array of strings 离散型超参的取值列表。 表55 algo_configs 参数 参数类型 描述 name String 搜索算法名称。 params Array of AutoSearchAlgoConfigParameter objects 搜索算法参数。 表56 AutoSearchAlgoConfigParameter 参数 参数类型 描述 key String 参数键。 value String 参数值。 type String 参数种类。 表57 Input 参数 参数类型 描述 name String 数据输入通道名称。 description String 数据输入通道描述信息。 local_dir String 数据输入通道映射的容器本地路径。 remote InputDataInfo object 数据实际输入信息。枚举值: dataset 指定输入为数据集; obs 指定输入为OBS路径。 remote_constraint Array of remote_constraint objects 数据输入约束。 表58 InputDataInfo 参数 参数类型 描述 dataset dataset object 数据输入信息为数据集。 obs obs object 数据输入输出信息为OBS方式。 表59 dataset 参数 参数类型 描述 id String 训练作业的数据集ID。 version_id String 训练作业的数据集版本ID。 obs_url String 训练作业需要的数据集OBS路径URL,modelarts会通过数据集ID和数据集版本ID自动解析生成。如:“/usr/data/”。 表60 obs 参数 参数类型 描述 obs_url String 训练作业需要的数据集OBS路径URL。如:“/usr/data/”。 表61 remote_constraint 参数 参数类型 描述 data_type String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。枚举值: data_format 数据格式; data_segmentation 数据切分方式; dataset_type 标注类型。 表62 Output 参数 参数类型 描述 name String 数据输出通道名称。 description String 数据输出通道描述信息。 local_dir String 数据输出通道映射的容器本地路径。 remote remote object 数据实际输出信息。 表63 remote 参数 参数类型 描述 obs obs object 数据实际输出到OBS。 表64 obs 参数 参数类型 描述 obs_url String 数据实际输出到OBS的路径。 表65 engine 参数 参数类型 描述 engine_id String 训练作业选择的引擎规格ID。engine_id,engine_name + engine_version和image_url方式三选一。 engine_name String 训练作业选择的引擎名称。若填入engine_id则无需填写。 engine_version String 训练作业选择的引擎版本名称。若填入engine_id则无需填写。 image_url String 训练作业选择的自定义镜像地址。 表66 TaskResponse 参数 参数类型 描述 role String 异构训练作业的任务角色。枚举值: learner(支持GPU\CPU规格); worker(支持CPU规格)。 algorithm algorithm object 算法管理算法配置。 task_resource FlavorResponse object 训练作业、算法的规格信息。 表67 algorithm 参数 参数类型 描述 code_dir String 算法启动文件所在目录绝对路径。 boot_file String 算法启动文件绝对路径。 inputs inputs object 算法输入通道信息。 outputs outputs object 算法输出通道信息。 engine engine object 异构作业所依赖的引擎。 表68 inputs 参数 参数类型 描述 name String 数据输入通道名称。 local_dir String 数据输入输出通道映射的容器本地路径。 remote remote object 数据实际输入信息,异构作业只支持OBS。 表69 remote 参数 参数类型 描述 obs obs object 数据输入输出信息为OBS方式。 表70 obs 参数 参数类型 描述 obs_url String 训练作业需要的数据集OBS路径URL。如:“/usr/data/”。 表71 outputs 参数 参数类型 描述 name String 数据输出通道名称。 local_dir String 数据输出通道映射的容器本地路径。 remote remote object 数据实际输出信息。 mode String 数据传输模式,默认为“upload_periodically”。 period String 数据传输周期,默认为30s。 表72 remote 参数 参数类型 描述 obs obs object 数据实际输出到OBS。 表73 obs 参数 参数类型 描述 obs_url String 数据实际输出到OBS的路径 表74 engine 参数 参数类型 描述 engine_id String 异构作业引擎规格的ID。如“caffe-1.0.0-python2.7”。 engine_name String 异构作业引擎规格的名称。如“Caffe”。 engine_version String 异构作业引擎规格的版本。 v1_compatible Boolean 是否为v1兼容模式。 run_user String 引擎默认启动用户uid。 image_url String 算法选择的自定义镜像地址。 表75 FlavorResponse 参数 参数类型 描述 flavor_id String 资源规格的ID。 flavor_name String 资源规格的名称。 max_num Integer 资源规格的最大节点数。 flavor_type String 资源规格的类型。可选值如下: CPU; GPU; Ascend。 billing billing object 资源规格计费信息。 flavor_info flavor_info object 资源规格详细信息。 attributes Map 其他规格属性。 表76 billing 参数 参数类型 描述 code String 计费码。 unit_num Integer 计费卡数。 表77 flavor_info 参数 参数类型 描述 max_num Integer 可以选择的最大节点数量(max_num,为1代表不支持分布式)。 cpu cpu object cpu规格信息。 gpu gpu object gpu规格信息。 npu npu object Ascend规格信息。 memory memory object 内存信息。 disk disk object 磁盘信息。 表78 cpu 参数 参数类型 描述 arch String cpu架构。 core_num Integer 核数。 表79 gpu 参数 参数类型 描述 unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。 表80 npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。 memory String 内存。 表81 memory 参数 参数类型 描述 size Integer 内存大小。 unit String 内存单元数。 表82 disk 参数 参数类型 描述 size Integer 磁盘大小。 unit String 磁盘大小单位。 表83 spec 参数 参数类型 描述 resource Resource object 训练作业资源规格信息。flavor_id和pool_id+[flavor_id]方式二选一。 volumes Array of volumes objects 训练作业挂载卷信息。 log_export_path log_export_path object 训练作业日志输出信息。 表84 Resource 参数 参数类型 描述 policy String 训练作业资源规格模式,可选值如下: “regular”。 flavor_id String 训练作业选择的资源规格ID。 flavor_name String 使用flavor_id时,由ModelArts返回的只读规格名称。 node_count Integer 训练作业选择的资源副本数。 最小值:1 pool_id String 训练作业选择的资源池ID。 flavor_detail flavor_detail object 训练作业、算法的规格信息。 表85 flavor_detail 参数 参数类型 描述 flavor_type String 资源规格的类型。可选值如下: CPU; GPU; Ascend。 billing billing object 资源规格计费信息。 flavor_info flavor_info object 资源规格详细信息。 表86 billing 参数 参数类型 描述 code String 计费码。 unit_num Integer 计费卡数。 表87 flavor_info 参数 参数类型 描述 max_num Integer 可以选择的最大节点数量(max_num,为1代表不支持分布式)。 cpu cpu object cpu规格信息。 gpu gpu object gpu规格信息。 npu npu object Ascend规格信息。 memory memory object 内存信息。 disk disk object 磁盘信息。 表88 cpu 参数 参数类型 描述 arch String cpu架构。 core_num Integer 核数。 表89 gpu 参数 参数类型 描述 unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。 表90 npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。 memory String 内存。 表91 memory 参数 参数类型 描述 size Integer 内存大小。 unit String 内存单元数。 表92 disk 参数 参数类型 描述 size String 磁盘大小。 unit String 磁盘大小单位,一般为GB。 表93 volumes 参数 参数类型 描述 nfs nfs object nfs方式的挂载卷。 表94 nfs 参数 参数类型 描述 nfs_server_path String nfs服务端路径。 local_path String 挂载到训练容器中的路径。 read_only Boolean nfs挂载卷在容器中是否只读。 表95 log_export_path 参数 参数类型 描述 obs_url String 训练作业日志保存的OBS地址。 host_path String 训练作业日志保存的宿主机的路径。
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 kind String 训练作业类型。默认使用job。枚举值: job 训练作业; hetero_job 异构作业; autosearch_job 自动搜索作业; mrs_job mrs作业; edge_job 边缘作业。 metadata JobMetadata object 训练作业元信息。 status Status object 训练作业状态信息。创建作业无需填写。 algorithm JobAlgorithmResponse object 训练作业算法。目前支持三种形式: id 只取算法的id; subscription_id+item_version_id 取算法的订阅id和版本id; code_dir+boot_file 取训练作业的代码目录和启动文件; tasks Array of TaskResponse objects 异构训练作业的任务列表。 spec spec object 训练作业规格参数。 表3 JobMetadata 参数 参数类型 描述 id String 训练作业ID,创建成功后由ModelArts生成返回,无需填写。 name String 训练作业名称。限制为1-64位只含数字、字母、下划线和中划线的名称。 workspace_id String 指定作业所处的工作空间,默认值为“0”。 description String 对训练作业的描述,默认为“NULL”,字符串的长度限制为[0, 256]。 create_time Long 训练作业创建时间戳,单位为毫秒,创建成功后由modelarts生成返回,无需填写。 user_name String 训练作业创建用户的用户名,创建成功后由modelarts生成返回,无需填写。 annotations Map 训练作业申明模板,异构作业job_template字段默认为 Template RL,其余默认为 Template DL。 表4 Status 参数 参数类型 描述 phase String 训练作业一级状态,状态值稳定不变,可选值如下: “Creating”, “Pending”, “Running”, “Failed”, “Completed”, “Terminating”, “Terminated”, “Abnormal”。 secondary_phase String 训练作业二级状态,状态值不稳定,可选值如下: “Creating”, “Queuing”, “Running”, “Failed”, “Completed”, “Terminating”, “Terminated”, “CreateFailed”, “TerminatedFailed”, “Unknown”, “Lost”。 duration Long 训练作业运行时长,单位为毫秒。 node_count_metrics Array> 训练作业运行时节点数变化指标。 tasks Array of strings 训练作业子任务名称。 start_time String 训练作业开始时间,格式为时间戳。 task_statuses Array of task_statuses objects 训练在子任务状态信息。 表5 task_statuses 参数 参数类型 描述 task String 训练作业子任务名称。 exit_code Integer 训练作业子任务退出码。 message String 训练作业子任务错误消息。 表6 JobAlgorithmResponse 参数 参数类型 描述 id String 训练作业算法。目前支持三种形式: id 只取算法的id; subscription_id+item_version_id 取算法的订阅id和版本id; code_dir+boot_file 取训练作业的代码目录和启动文件。 name String 算法名称。 subscription_id String 订阅算法的订阅ID。应与item_version_id一同出现。 item_version_id String 订阅算法的版本。应与subscription_id一同出现。 code_dir String 训练作业的代码目录。如:“/usr/app/”。应与boot_file一同出现,若填入id或subscription_id+item_version_id则无需填写。 boot_file String 训练作业的代码启动文件,需要在代码目录下。如:“/usr/app/boot.py”。应与code_dir一同出现,若填入入id或subscription_id+item_version_id则无需填写。 autosearch_config_path String 自动化搜索作业的yaml配置路径,需要提供一个OBS路径。 autosearch_framework_path String 自动化搜索作业的框架代码目录,需要提供一个OBS路径。 command String 自定义镜像训练作业的自定义镜像的容器的启动命令。可填code_dir parameters Array of Parameter objects 训练作业的运行参数。 policies policies object 作业支持的策略。 inputs Array of Input objects 训练作业的数据输入。 outputs Array of Output objects 训练作业的结果输出。 engine engine object 训练作业的引擎。使用算法管理的算法id或订阅算法subscription_id+item_version_id创建作业时,无需填写。 environments Array of Map objects 训练作业的环境变量。格式:"key":"value".无需填写。 表7 Parameter 参数 参数类型 描述 name String 参数名称。 value String 参数值。 description String 参数描述信息。 constraint constraint object 参数属性。 i18n_description i18n_description object 国际化描述。 表8 constraint 参数 参数类型 描述 type String 参数种类。 editable Boolean 是否可编辑。 required Boolean 是否必须。 sensitive Boolean 是否敏感。 valid_type String 有效种类。 valid_range Array of strings 有效范围。 表9 i18n_description 参数 参数类型 描述 language String 国际语种。 description String 对应描述。 表10 policies 参数 参数类型 描述 auto_search auto_search object 超参搜索配置。 表11 auto_search 参数 参数类型 描述 skip_search_params String 需要排除的超参组合。 reward_attrs Array of reward_attrs objects 搜索指标列表。 search_params Array of search_params objects 搜索参数。 algo_configs Array of algo_configs objects 搜索算法配置。 表12 reward_attrs 参数 参数类型 描述 name String 指标名称。 mode String 搜索方向。 max 指定时表示指标值越大越好; min 指定时表示指标值越小越好。 regex String 指标正则表达式。 表13 search_params 参数 参数类型 描述 name String 超参名称。 param_type String 参数类型。 continuous 指定时表示参数类型为连续值; discreate 指定时表示参数类型为离散值。 lower_bound String 超参下界。 upper_bound String 超参上界。 discrete_points_num String 连续型超参离散化取值个数。 discrete_values Array of strings 离散型超参的取值列表。 表14 algo_configs 参数 参数类型 描述 name String 搜索算法名称。 params Array of AutoSearchAlgoConfigParameter objects 搜索算法参数。 表15 AutoSearchAlgoConfigParameter 参数 参数类型 描述 key String 参数键。 value String 参数值。 type String 参数种类。 表16 Input 参数 参数类型 描述 name String 数据输入通道名称。 description String 数据输入通道描述信息。 local_dir String 数据输入通道映射的容器本地路径。 remote InputDataInfo object 数据实际输入信息。枚举值: dataset 指定输入为数据集; obs 指定输入为OBS路径。 remote_constraint Array of remote_constraint objects 数据输入约束。 表17 InputDataInfo 参数 参数类型 描述 dataset dataset object 数据输入信息为数据集。 obs obs object 数据输入输出信息为OBS方式。 表18 dataset 参数 参数类型 描述 id String 训练作业的数据集ID。 version_id String 训练作业的数据集版本ID。 obs_url String 训练作业需要的数据集OBS路径URL,modelarts会通过数据集ID和数据集版本ID自动解析生成。如:“/usr/data/”。 表19 obs 参数 参数类型 描述 obs_url String 训练作业需要的数据集OBS路径URL。如:“/usr/data/”。 表20 remote_constraint 参数 参数类型 描述 data_type String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。枚举值: data_format 数据格式; data_segmentation 数据切分方式; dataset_type 标注类型。 表21 Output 参数 参数类型 描述 name String 数据输出通道名称。 description String 数据输出通道描述信息。 local_dir String 数据输出通道映射的容器本地路径。 remote remote object 数据实际输出信息。 表22 remote 参数 参数类型 描述 obs obs object 数据实际输出到OBS。 表23 obs 参数 参数类型 描述 obs_url String 数据实际输出到OBS的路径。 表24 engine 参数 参数类型 描述 engine_id String 训练作业选择的引擎规格ID。engine_id,engine_name + engine_version和image_url方式三选一。 engine_name String 训练作业选择的引擎名称。若填入engine_id则无需填写。 engine_version String 训练作业选择的引擎版本名称。若填入engine_id则无需填写。 image_url String 训练作业选择的自定义镜像地址。 表25 TaskResponse 参数 参数类型 描述 role String 异构训练作业的任务角色。枚举值: learner(支持GPU\CPU规格); worker(支持CPU规格)。 algorithm algorithm object 算法管理算法配置。 task_resource FlavorResponse object 训练作业、算法的规格信息。 表26 algorithm 参数 参数类型 描述 code_dir String 算法启动文件所在目录绝对路径。 boot_file String 算法启动文件绝对路径。 inputs inputs object 算法输入通道信息。 outputs outputs object 算法输出通道信息。 engine engine object 异构作业所依赖的引擎。 表27 inputs 参数 参数类型 描述 name String 数据输入通道名称。 local_dir String 数据输入输出通道映射的容器本地路径。 remote remote object 数据实际输入信息,异构作业只支持OBS。 表28 remote 参数 参数类型 描述 obs obs object 数据输入输出信息为OBS方式。 表29 obs 参数 参数类型 描述 obs_url String 训练作业需要的数据集OBS路径URL。如:“/usr/data/”。 表30 outputs 参数 参数类型 描述 name String 数据输出通道名称。 local_dir String 数据输出通道映射的容器本地路径。 remote remote object 数据实际输出信息。 mode String 数据传输模式,默认为“upload_periodically”。 period String 数据传输周期,默认为30s。 表31 remote 参数 参数类型 描述 obs obs object 数据实际输出到OBS。 表32 obs 参数 参数类型 描述 obs_url String 数据实际输出到OBS的路径 表33 engine 参数 参数类型 描述 engine_id String 异构作业引擎规格的ID。如“caffe-1.0.0-python2.7”。 engine_name String 异构作业引擎规格的名称。如“Caffe”。 engine_version String 异构作业引擎规格的版本。 v1_compatible Boolean 是否为v1兼容模式。 run_user String 引擎默认启动用户uid。 image_url String 算法选择的自定义镜像地址。 表34 FlavorResponse 参数 参数类型 描述 flavor_id String 资源规格的ID。 flavor_name String 资源规格的名称。 max_num Integer 资源规格的最大节点数。 flavor_type String 资源规格的类型。可选值如下: CPU; GPU; Ascend。 billing billing object 资源规格计费信息。 flavor_info flavor_info object 资源规格详细信息。 attributes Map 其他规格属性。 表35 billing 参数 参数类型 描述 code String 计费码。 unit_num Integer 计费卡数。 表36 flavor_info 参数 参数类型 描述 max_num Integer 可以选择的最大节点数量(max_num,为1代表不支持分布式)。 cpu cpu object cpu规格信息。 gpu gpu object gpu规格信息。 npu npu object Ascend规格信息。 memory memory object 内存信息。 disk disk object 磁盘信息。 表37 cpu 参数 参数类型 描述 arch String cpu架构。 core_num Integer 核数。 表38 gpu 参数 参数类型 描述 unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。 表39 npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。 memory String 内存。 表40 memory 参数 参数类型 描述 size Integer 内存大小。 unit String 内存单元数。 表41 disk 参数 参数类型 描述 size Integer 磁盘大小。 unit String 磁盘大小单位。 表42 spec 参数 参数类型 描述 resource Resource object 训练作业资源规格信息。flavor_id和pool_id+[flavor_id]方式二选一。 volumes Array of volumes objects 训练作业挂载卷信息。 log_export_path log_export_path object 训练作业日志输出信息。 表43 Resource 参数 参数类型 描述 policy String 训练作业资源规格模式,可选值如下: “regular”。 flavor_id String 训练作业选择的资源规格ID。 flavor_name String 使用flavor_id时,由ModelArts返回的只读规格名称。 node_count Integer 训练作业选择的资源副本数。 最小值:1 pool_id String 训练作业选择的资源池ID。 flavor_detail flavor_detail object 训练作业、算法的规格信息。 表44 flavor_detail 参数 参数类型 描述 flavor_type String 资源规格的类型。可选值如下: CPU; GPU; Ascend。 billing billing object 资源规格计费信息。 flavor_info flavor_info object 资源规格详细信息。 表45 billing 参数 参数类型 描述 code String 计费码。 unit_num Integer 计费卡数。 表46 flavor_info 参数 参数类型 描述 max_num Integer 可以选择的最大节点数量(max_num,为1代表不支持分布式)。 cpu cpu object cpu规格信息。 gpu gpu object gpu规格信息。 npu npu object Ascend规格信息。 memory memory object 内存信息。 disk disk object 磁盘信息。 表47 cpu 参数 参数类型 描述 arch String cpu架构。 core_num Integer 核数。 表48 gpu 参数 参数类型 描述 unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。 表49 npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。 memory String 内存。 表50 memory 参数 参数类型 描述 size Integer 内存大小。 unit String 内存单元数。 表51 disk 参数 参数类型 描述 size String 磁盘大小。 unit String 磁盘大小单位,一般为GB。 表52 volumes 参数 参数类型 描述 nfs nfs object nfs方式的挂载卷。 表53 nfs 参数 参数类型 描述 nfs_server_path String nfs服务端路径。 local_path String 挂载到训练容器中的路径。 read_only Boolean nfs挂载卷在容器中是否只读。 表54 log_export_path 参数 参数类型 描述 obs_url String 训练作业日志保存的OBS地址。 host_path String 训练作业日志保存的宿主机的路径。
  • WAF通信安全授权 如果业务使用WAF独享模式部署方式,直接访问VPC内的数据需要开通相应的安全组规则,而开通相应的安全组规则需要获取用户授权,此授权过程称为通信安全授权。 成功购买WAF独享引擎后,WAF默认开启通信安全授权,即开通如表3所示的安全组规则。 表3 WAF通信安全授权安全组规则 协议端口 类型 源地址 描述 入方向规则 TCP: 22 IPv4 100.64.0.0/10 WAF远程运维 出方向规则 TCP: 9011 IPV4 100.125.0.0/16 WAF事件日志上报 TCP: 9012 IPV4 100.125.0.0/16 WAF事件日志上报 TCP: 9013 IPV4 100.125.0.0/16 WAF事件日志上报 TCP: 9018 IPV4 100.125.0.0/16 WAF策略同步 TCP: 9019 IPV4 100.125.0.0/16 WAF心跳日志上报 TCP: 4505 IPV4 100.125.0.0/16 WAF策略同步 TCP: 4506 IPV4 100.125.0.0/16 WAF策略同步 TCP: 50051 IPV4 100.125.0.0/16 WAF性能日志上报 TCP: 443 IPV4 100.125.0.0/16 WAF策略同步
  • DSC的数据脱敏支持静态脱敏和动态脱敏。 DSC的数据脱敏特点: 不影响用户数据:从原始数据库读取数据,通过精确的脱敏引擎,对用户的敏感数据实施静态脱敏,脱敏结果另行存放,不会影响原始的用户数据。 支持云上各类场景:支持RDS,ECS自建数据库,大数据合规。 满足多种脱敏需求:用户可以通过20+种预置脱敏规则,或自定义脱敏规则来对指定数据库表进行脱敏,DSC支持的脱敏算法详见脱敏算法。 实现一键合规:基于扫描结果自动提供脱敏合规建议,一键配置脱敏规则。 同时,DSC提供了数据动态脱敏的API接口供您使用,具体请参考数据动态脱敏。
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 表3 请求Body参数 参数 是否必选 参数类型 描述 name 是 String 微服务引擎专享版名称,名称为字母开头,字母、数字、-组成,且不能以-结尾,长度3~24。 description 否 String 微服务引擎专享版描述,长度0~255。 payment 是 String 微服务引擎专享版计费方式,0表示包周期,1表示按需,2表示免费。通过接口不支持创建包周期和免费的引擎,所以通过接口只能把payment设置为1(按需)。 flavor 是 String 微服务引擎专享版规格。 cse.s1.small2:高可用100实例引擎。 cse.s1.medium2:高可用200实例引擎。 cse.s1.large2:高可用500实例引擎。 cse.s1.xlarge2:高可用2000实例引擎。 azList 是 Array of String 当前局点可用区列表。 authType 是 String 微服务引擎专享版认证方式,RBAC为安全认证,NONE为无认证。 vpc 是 String vpc名称。 vpcId 是 String vpc的id,长度不超过64位。 networkId 是 String 微服务引擎专享版子网ID。 subnetCidr 是 String 微服务引擎专享版子网划分。 publicIpId 否 String 微服务引擎专享版公网访问地址ID。 specType 是 String 微服务引擎专享版部署类型。固定值:CSE2。 auth_cred 否 object 微服务引擎专享版选择安全认证时必传,包含引擎的认证信息。 inputs 否 Map 微服务引擎专享版附加参数。 表4 object 参数 是否必传 参数类型 描述 pwd 是 String 开启安全认证引擎的root帐号密码。
  • 请求消息 请求参数如表2所示。 表2 参数说明 参数 是否必选 参数类型 说明 config_name 是 String 训练作业参数名称。限制为1-64位只含数字、字母、下划线或者中划线的名称。 config_desc 否 String 对训练作业的描述,默认为空,字符串的长度限制为[0,256]。 worker_server_num 是 Integer 训练作业worker的个数,最大值请从查询作业资源规格接口获取。 app_url 是 String 训练作业的代码目录。如:“/usr/app/”。应与boot_file_url一同出现,若填入model_id则app_url/boot_file_url和engine_id无需填写。 boot_file_url 是 String 训练作业的代码启动文件,需要在代码目录下,如:“/usr/app/boot.py”。应与app_url一同出现,若填入model_id则app_url/boot_file_url和engine_id无需填写。 model_id 是 Long 训练作业的模型ID。请通过查询预置算法接口获取model_id。填入model_id后app_url/boot_file_url和engine_id不需填写。 parameter 否 Array 训练作业的运行参数,为“label-value”格式,该样例请参考请求示例;当为自定义镜像训练作业的时候,此参数为容器环境变量。详细请参见表4 spec_id 是 Long 训练作业选择的资源规格ID。请从查询作业资源规格接口获取资源规格ID。 data_url 否 String 训练作业需要的数据集OBS URL。如:“/usr/data/”。 不可与data_source或者dataset_id/dataset_version_id同时出现,但必须有其一。 dataset_id 否 String 训练作业的数据集ID。应与dataset_version_id同时出现,但不可与data_url或data_source同时出现。 dataset_version_id 否 String 训练作业的数据集版本ID。应与dataset_id同时出现,但不可与data_url或data_source同时出现。 data_source 否 JSON Array 训练作业使用的数据集。不可与data_url或dataset_id/dataset_version_id同时使用。详情参数请见表3。 engine_id 是 Long 训练作业选择的引擎ID,默认为“1”。填入model_id后app_url/boot_file_url和engine_id无需填写。请从查询作业引擎规格接口获取引擎规格ID。 train_url 否 String 训练作业的输出文件OBS路径URL,默认为空,如“/usr/train/”。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/train/”。 user_image_url 否 String 自定义镜像训练作业的自定义镜像的SWR-URL。如:“100.125.5.235:20202/jobmng/custom-cpu-base:1.0”。 user_command 否 String 自定义镜像训练作业的自定义镜像的容器的启动命令。形式为:“bash /home/work/run_train.sh python /home/work/user-job-dir/app/train.py {python_file_parameter}”。需要调用通过启动脚本run_train.sh进行变量的初始化,如AK/SK。run_train.sh后跟python是保证python文件能在已经初始化的变量环境下执行,即使用run_train.sh去启动python。 表3 data_source 参数列表 参数 是否必选 参数类型 说明 dataset_id 否 String 训练作业的数据集ID。应与dataset_version_id同时出现,但不可与data_url同时出现。 dataset_version 否 String 训练作业的数据集版本ID。应与dataset_id同时出现,但不可与data_url同时出现。 type 否 String 数据集类型。可选值有“obs”、“dataset”。obs与dataset不可同时出现。 data_url 否 String OBS的桶路径,不可与dataset_id/dataset_version同时出现。 表4 parameter属性列表 参数 是否必选 参数类型 说明 label 否 String 参数名称。 value 否 String 参数值。
  • 响应参数 状态码: 202 表3 响应Body参数 参数 参数类型 描述 kind String 训练作业类型。默认使用job。枚举值: job 训练作业; hetero_job 异构作业; autosearch_job 自动搜索作业; mrs_job mrs作业; edge_job 边缘作业。 metadata JobMetadata object 训练作业元信息。 status Status object 训练作业状态信息。创建作业无需填写。 algorithm JobAlgorithmResponse object 训练作业算法。目前支持三种形式: id 只取算法的id; subscription_id+item_version_id 取算法的订阅id和版本id; code_dir+boot_file 取训练作业的代码目录和启动文件; tasks Array of TaskResponse objects 异构训练作业的任务列表。 spec spec object 训练作业规格参数。 表4 JobMetadata 参数 参数类型 描述 id String 训练作业ID,创建成功后由ModelArts生成返回,无需填写。 name String 训练作业名称。限制为1-64位只含数字、字母、下划线和中划线的名称。 workspace_id String 指定作业所处的工作空间,默认值为“0”。 description String 对训练作业的描述,默认为“NULL”,字符串的长度限制为[0, 256]。 create_time Long 训练作业创建时间戳,单位为毫秒,创建成功后由modelarts生成返回,无需填写。 user_name String 训练作业创建用户的用户名,创建成功后由modelarts生成返回,无需填写。 annotations Map 训练作业申明模板,异构作业job_template字段默认为 Template RL,其余默认为 Template DL。 表5 Status 参数 参数类型 描述 phase String 训练作业一级状态,状态值稳定不变,可选值如下: “Creating”, “Pending”, “Running”, “Failed”, “Completed”, “Terminating”, “Terminated”, “Abnormal”。 secondary_phase String 训练作业二级状态,状态值不稳定,可选值如下: “Creating”, “Queuing”, “Running”, “Failed”, “Completed”, “Terminating”, “Terminated”, “CreateFailed”, “TerminatedFailed”, “Unknown”, “Lost”。 duration Long 训练作业运行时长,单位为毫秒。 node_count_metrics Array> 训练作业运行时节点数变化指标。 tasks Array of strings 训练作业子任务名称。 start_time String 训练作业开始时间,格式为时间戳。 task_statuses Array of task_statuses objects 训练在子任务状态信息。 表6 task_statuses 参数 参数类型 描述 task String 训练作业子任务名称。 exit_code Integer 训练作业子任务退出码。 message String 训练作业子任务错误消息。 表7 JobAlgorithmResponse 参数 参数类型 描述 id String 训练作业算法。目前支持三种形式: id 只取算法的id; subscription_id+item_version_id 取算法的订阅id和版本id; code_dir+boot_file 取训练作业的代码目录和启动文件。 name String 算法名称。 subscription_id String 订阅算法的订阅ID。应与item_version_id一同出现。 item_version_id String 订阅算法的版本。应与subscription_id一同出现。 code_dir String 训练作业的代码目录。如:“/usr/app/”。应与boot_file一同出现,若填入id或subscription_id+item_version_id则无需填写。 boot_file String 训练作业的代码启动文件,需要在代码目录下。如:“/usr/app/boot.py”。应与code_dir一同出现,若填入入id或subscription_id+item_version_id则无需填写。 autosearch_config_path String 自动化搜索作业的yaml配置路径,需要提供一个OBS路径。 autosearch_framework_path String 自动化搜索作业的框架代码目录,需要提供一个OBS路径。 command String 自定义镜像训练作业的自定义镜像的容器的启动命令。可填code_dir parameters Array of Parameter objects 训练作业的运行参数。 policies policies object 作业支持的策略。 inputs Array of Input objects 训练作业的数据输入。 outputs Array of Output objects 训练作业的结果输出。 engine engine object 训练作业的引擎。使用算法管理的算法id或订阅算法subscription_id+item_version_id创建作业时,无需填写。 environments Array of Map objects 训练作业的环境变量。格式:"key":"value".无需填写。 表8 Parameter 参数 参数类型 描述 name String 参数名称。 value String 参数值。 description String 参数描述信息。 constraint constraint object 参数属性。 i18n_description i18n_description object 国际化描述。 表9 constraint 参数 参数类型 描述 type String 参数种类。 editable Boolean 是否可编辑。 required Boolean 是否必须。 sensitive Boolean 是否敏感。 valid_type String 有效种类。 valid_range Array of strings 有效范围。 表10 i18n_description 参数 参数类型 描述 language String 国际语种。 description String 对应描述。 表11 policies 参数 参数类型 描述 auto_search auto_search object 超参搜索配置。 表12 auto_search 参数 参数类型 描述 skip_search_params String 需要排除的超参组合。 reward_attrs Array of reward_attrs objects 搜索指标列表。 search_params Array of search_params objects 搜索参数。 algo_configs Array of algo_configs objects 搜索算法配置。 表13 reward_attrs 参数 参数类型 描述 name String 指标名称。 mode String 搜索方向。 max 指定时表示指标值越大越好; min 指定时表示指标值越小越好。 regex String 指标正则表达式。 表14 search_params 参数 参数类型 描述 name String 超参名称。 param_type String 参数类型。 continuous 指定时表示参数类型为连续值; discreate 指定时表示参数类型为离散值。 lower_bound String 超参下界。 upper_bound String 超参上界。 discrete_points_num String 连续型超参离散化取值个数。 discrete_values Array of strings 离散型超参的取值列表。 表15 algo_configs 参数 参数类型 描述 name String 搜索算法名称。 params Array of AutoSearchAlgoConfigParameter objects 搜索算法参数。 表16 AutoSearchAlgoConfigParameter 参数 参数类型 描述 key String 参数键。 value String 参数值。 type String 参数种类。 表17 Input 参数 参数类型 描述 name String 数据输入通道名称。 description String 数据输入通道描述信息。 local_dir String 数据输入通道映射的容器本地路径。 remote InputDataInfo object 数据实际输入信息。枚举值: dataset 指定输入为数据集; obs 指定输入为OBS路径。 remote_constraint Array of remote_constraint objects 数据输入约束。 表18 InputDataInfo 参数 参数类型 描述 dataset dataset object 数据输入信息为数据集。 obs obs object 数据输入输出信息为OBS方式。 表19 dataset 参数 参数类型 描述 id String 训练作业的数据集ID。 version_id String 训练作业的数据集版本ID。 obs_url String 训练作业需要的数据集OBS路径URL,modelarts会通过数据集ID和数据集版本ID自动解析生成。如:“/usr/data/”。 表20 obs 参数 参数类型 描述 obs_url String 训练作业需要的数据集OBS路径URL。如:“/usr/data/”。 表21 remote_constraint 参数 参数类型 描述 data_type String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。枚举值: data_format 数据格式; data_segmentation 数据切分方式; dataset_type 标注类型。 表22 Output 参数 参数类型 描述 name String 数据输出通道名称。 description String 数据输出通道描述信息。 local_dir String 数据输出通道映射的容器本地路径。 remote remote object 数据实际输出信息。 表23 remote 参数 参数类型 描述 obs obs object 数据实际输出到OBS。 表24 obs 参数 参数类型 描述 obs_url String 数据实际输出到OBS的路径。 表25 engine 参数 参数类型 描述 engine_id String 训练作业选择的引擎规格ID。engine_id,engine_name + engine_version和image_url方式三选一。 engine_name String 训练作业选择的引擎名称。若填入engine_id则无需填写。 engine_version String 训练作业选择的引擎版本名称。若填入engine_id则无需填写。 image_url String 训练作业选择的自定义镜像地址。 表26 TaskResponse 参数 参数类型 描述 role String 异构训练作业的任务角色。枚举值: learner(支持GPU\CPU规格); worker(支持CPU规格)。 algorithm algorithm object 算法管理算法配置。 task_resource FlavorResponse object 训练作业、算法的规格信息。 表27 algorithm 参数 参数类型 描述 code_dir String 算法启动文件所在目录绝对路径。 boot_file String 算法启动文件绝对路径。 inputs inputs object 算法输入通道信息。 outputs outputs object 算法输出通道信息。 engine engine object 异构作业所依赖的引擎。 表28 inputs 参数 参数类型 描述 name String 数据输入通道名称。 local_dir String 数据输入输出通道映射的容器本地路径。 remote remote object 数据实际输入信息,异构作业只支持OBS。 表29 remote 参数 参数类型 描述 obs obs object 数据输入输出信息为OBS方式。 表30 obs 参数 参数类型 描述 obs_url String 训练作业需要的数据集OBS路径URL。如:“/usr/data/”。 表31 outputs 参数 参数类型 描述 name String 数据输出通道名称。 local_dir String 数据输出通道映射的容器本地路径。 remote remote object 数据实际输出信息。 mode String 数据传输模式,默认为“upload_periodically”。 period String 数据传输周期,默认为30s。 表32 remote 参数 参数类型 描述 obs obs object 数据实际输出到OBS。 表33 obs 参数 参数类型 描述 obs_url String 数据实际输出到OBS的路径 表34 engine 参数 参数类型 描述 engine_id String 异构作业引擎规格的ID。如“caffe-1.0.0-python2.7”。 engine_name String 异构作业引擎规格的名称。如“Caffe”。 engine_version String 异构作业引擎规格的版本。 v1_compatible Boolean 是否为v1兼容模式。 run_user String 引擎默认启动用户uid。 image_url String 算法选择的自定义镜像地址。 表35 FlavorResponse 参数 参数类型 描述 flavor_id String 资源规格的ID。 flavor_name String 资源规格的名称。 max_num Integer 资源规格的最大节点数。 flavor_type String 资源规格的类型。可选值如下: CPU; GPU; Ascend。 billing billing object 资源规格计费信息。 flavor_info flavor_info object 资源规格详细信息。 attributes Map 其他规格属性。 表36 billing 参数 参数类型 描述 code String 计费码。 unit_num Integer 计费卡数。 表37 flavor_info 参数 参数类型 描述 max_num Integer 可以选择的最大节点数量(max_num,为1代表不支持分布式)。 cpu cpu object cpu规格信息。 gpu gpu object gpu规格信息。 npu npu object Ascend规格信息。 memory memory object 内存信息。 disk disk object 磁盘信息。 表38 cpu 参数 参数类型 描述 arch String cpu架构。 core_num Integer 核数。 表39 gpu 参数 参数类型 描述 unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。 表40 npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。 memory String 内存。 表41 memory 参数 参数类型 描述 size Integer 内存大小。 unit String 内存单元数。 表42 disk 参数 参数类型 描述 size Integer 磁盘大小。 unit String 磁盘大小单位。 表43 spec 参数 参数类型 描述 resource Resource object 训练作业资源规格信息。flavor_id和pool_id+[flavor_id]方式二选一。 volumes Array of volumes objects 训练作业挂载卷信息。 log_export_path log_export_path object 训练作业日志输出信息。 表44 Resource 参数 参数类型 描述 policy String 训练作业资源规格模式,可选值如下: “regular”。 flavor_id String 训练作业选择的资源规格ID。 flavor_name String 使用flavor_id时,由ModelArts返回的只读规格名称。 node_count Integer 训练作业选择的资源副本数。 最小值:1 pool_id String 训练作业选择的资源池ID。 flavor_detail flavor_detail object 训练作业、算法的规格信息。 表45 flavor_detail 参数 参数类型 描述 flavor_type String 资源规格的类型。可选值如下: CPU; GPU; Ascend。 billing billing object 资源规格计费信息。 flavor_info flavor_info object 资源规格详细信息。 表46 billing 参数 参数类型 描述 code String 计费码。 unit_num Integer 计费卡数。 表47 flavor_info 参数 参数类型 描述 max_num Integer 可以选择的最大节点数量(max_num,为1代表不支持分布式)。 cpu cpu object cpu规格信息。 gpu gpu object gpu规格信息。 npu npu object Ascend规格信息。 memory memory object 内存信息。 disk disk object 磁盘信息。 表48 cpu 参数 参数类型 描述 arch String cpu架构。 core_num Integer 核数。 表49 gpu 参数 参数类型 描述 unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。 表50 npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。 memory String 内存。 表51 memory 参数 参数类型 描述 size Integer 内存大小。 unit String 内存单元数。 表52 disk 参数 参数类型 描述 size String 磁盘大小。 unit String 磁盘大小单位,一般为GB。 表53 volumes 参数 参数类型 描述 nfs nfs object nfs方式的挂载卷。 表54 nfs 参数 参数类型 描述 nfs_server_path String nfs服务端路径。 local_path String 挂载到训练容器中的路径。 read_only Boolean nfs挂载卷在容器中是否只读。 表55 log_export_path 参数 参数类型 描述 obs_url String 训练作业日志保存的OBS地址。 host_path String 训练作业日志保存的宿主机的路径。
  • 创建敏感数据发现任务 在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据安全”模块,进入数据安全页面。 图1 选择数据安全 单击左侧导航树中的“敏感数据发现”,进入敏感数据发现页面。 图2 创建敏感数据发现任务 单击“新建”,进入新建发现任务页面,输入基本信息,参数配置参考表1。 图3 新建发现任务参数配置 创建敏感数据发现任务参数配置说明: 表1 配置任务参数 参数名 参数说明 任务名称 采集任务的名称,只能包含英文字母、数字、“_”,且长度为64个字符。 任务描述 为更好的识别敏感数据发现任务,此处加以描述信息。描述信息长度不能超过256个字符。 工作空间 数据所属工作空间。 数据源类型 从下拉列表中选择已创建的数据源类型。若未创建请参考创建数据连接新建连接。 数据连接 所选数据连接类型中已创建数据连接,支持从下拉列表中选择。 所选数据连接类型中未创建数据连接,请单击“新建”,创建新的数据连接。 数据库 呈现待采集的数据库和数据表。 单击数据库后的“设置”,设置采集任务扫描的数据库范围。当不进行设置时,默认选择该数据连接下的所有数据库 。 单击数据表后的“设置”,设置采集任务扫描的数据表范围。当不进行设置时,默认选择数据库下的所有数据表。针对数据连接类型为数据仓库服务(DWS)Mysql和数据湖探索(DLI)的数据表,支持按照正则表达式过滤需要采集的表。 当数据库和数据表均不设置时,则采集任务扫描的数据范围为该数据连接下的所有数据表。 单击“清除”,可对已选择的数据库和数据表进行修改。 数据表 SQL队列 数据源类型为DLI时,需要设置SQL队列。该参数表示执行DLI作业时的队列(不要使用default队列,因为该队列不支持获取查询结果)。 计算引擎 数据源类型为DWS或DLI时,需要设置敏感数据发现任务的引擎。请确保所要使用的计算引擎对应的MRS集群,已经在管理中心创建了Hive数据连接,否则无法选择使用该计算引擎。 绑定Agent 数据源类型为DLI时,需要设置由CDM集群提供的代理服务。 识别规则组 从下拉列表中选择数据识别规则组,若未定义请参考定义识别规则组新建。 根据数据识别结果更新数据目录中数据表密级 勾选表示将根据数据识别结果去更新数据目录中所对应数据表的密级。 手动同步数据识别结果 勾选表示手动确认数据识别结果,是否同步更新到数据目录中。 单击“下一步”,进行调度信息配置。 周期调度参数配置参考表2。 表2 配置周期调度参数 参数名 说明 调度日期 调度任务的生效时间段。 调度周期 选择调度任务的执行周期,并配置相关参数。 分 小时 天 调度时会从每天对应的时间执行。 周 如果周期是“周”或“月”,那么调度时会从对应的星期几或几号执行。 例如:选择调度周期是周,调度区间是2020-06-30 15:52:43至2020-08-01 17:20:21,那么06-30是周二,也就是在调度区间内,每周二的15点52分43秒会执行任务。 立即启动 勾选复选框,则表示立即启动此调度任务。 图4 周期调度配置参数 单击“确定”,完成创建敏感数据发现任务。
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 Hourly Array of Hourly objects 表示按需付费的产品列表。 Monthly Array of Monthly objects 表示包年包月的产品列表。当前暂不支持通过API创建包年包月的RabbitMQ实例。 表3 Hourly 参数 参数类型 描述 name String 消息引擎的名称,该字段显示为rabbitmq。 version String 消息引擎的版本,当前仅支持3.7.17。 values Array of values objects 产品规格列表。 表4 values 参数 参数类型 描述 detail Array of detail objects 规格详情。 name String 实例类型。 unavailable_zones Array of strings 资源售罄的可用区列表。 available_zones Array of strings 有可用资源的可用区列表。 表5 detail 参数 参数类型 描述 storage String 消息存储空间。 product_id String 产品ID。 spec_code String 规格ID。 io Array of io objects IO信息。 unavailable_zones Array of strings 资源售罄的可用区列表。 available_zones Array of strings 有可用资源的可用区列表。 ecs_flavor_id String 该产品规格对应的虚拟机规格。 arch_type String 实例规格架构类型。当前仅支持X86。 表6 io 参数 参数类型 描述 io_type String IO类型。 storage_spec_code String IO规格。 available_zones Array of strings IO未售罄的可用区列表。 unavailable_zones Array of strings IO已售罄的不可用区列表。 volume_type String 磁盘类型。 表7 Monthly 参数 参数类型 描述 name String 消息引擎的名称,该字段显示为rabbitmq。 version String 消息引擎的版本,当前仅支持3.7.17。 values Array of values objects 产品规格列表。 表8 values 参数 参数类型 描述 detail Array of detail objects 规格详情。 name String 实例类型。 unavailable_zones Array of strings 资源售罄的可用区列表。 available_zones Array of strings 有可用资源的可用区列表。 表9 detail 参数 参数类型 描述 storage String 消息存储空间。 product_id String 产品ID。 spec_code String 规格ID。 io Array of io objects IO信息。 unavailable_zones Array of strings 资源售罄的可用区列表。 available_zones Array of strings 有可用资源的可用区列表。 ecs_flavor_id String 该产品规格对应的虚拟机规格。 arch_type String 实例规格架构类型。当前仅支持X86。 表10 io 参数 参数类型 描述 io_type String IO类型。 storage_spec_code String IO规格。 available_zones Array of strings IO未售罄的可用区列表。 unavailable_zones Array of strings IO已售罄的不可用区列表。 volume_type String 磁盘类型。
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 hourly Array of hourly objects 表示按需付费的产品列表。 monthly Array of monthly objects 表示包年包月的产品列表。当前暂不支持通过API创建包年包月的Rabbitmq实例。 表4 hourly 参数 参数类型 描述 name String 消息引擎的名称,该字段显示为rabbitmq。 version String 消息引擎的版本,当前仅支持3.7.17。 values Array of values objects 产品规格列表。 表5 values 参数 参数类型 描述 detail Array of detail objects 规格详情。 name String 实例类型。 unavailable_zones Array of strings 资源售罄的可用区列表。 available_zones Array of strings 有可用资源的可用区列表。 表6 detail 参数 参数类型 描述 storage String 消息存储空间。 product_id String 产品ID。 spec_code String 规格ID。 io Array of io objects IO信息。 unavailable_zones Array of strings 资源售罄的可用区列表。 available_zones Array of strings 有可用资源的可用区列表。 ecs_flavor_id String 该产品规格对应的虚拟机规格。 arch_type String 实例规格架构类型。当前仅支持X86。 表7 io 参数 参数类型 描述 io_type String IO类型。 storage_spec_code String IO规格。 available_zones Array of strings IO未售罄的可用区列表。 unavailable_zones Array of strings IO已售罄的不可用区列表。 volume_type String 磁盘类型。 表8 monthly 参数 参数类型 描述 name String 消息引擎的名称,该字段显示为rabbitmq。 version String 消息引擎的版本,当前仅支持3.7.17。 values Array of values objects 产品规格列表。 表9 values 参数 参数类型 描述 detail Array of detail objects 规格详情。 name String 实例类型。 unavailable_zones Array of strings 资源售罄的可用区列表。 available_zones Array of strings 有可用资源的可用区列表。 表10 detail 参数 参数类型 描述 storage String 消息存储空间。 product_id String 产品ID。 spec_code String 规格ID。 io Array of io objects IO信息。 unavailable_zones Array of strings 资源售罄的可用区列表。 available_zones Array of strings 有可用资源的可用区列表。 ecs_flavor_id String 该产品规格对应的虚拟机规格。 arch_type String 实例规格架构类型。当前仅支持X86。 表11 io 参数 参数类型 描述 io_type String IO类型。 storage_spec_code String IO规格。 available_zones Array of strings IO未售罄的可用区列表。 unavailable_zones Array of strings IO已售罄的不可用区列表。 volume_type String 磁盘类型。
  • 场景示例—智能家居煤气检测联动 场景简介:煤气检测器发现煤气浓度超标时,自动关联无线推窗器把窗户打开,起到通风的作用。 该场景主要描述的是设备可以通过LWM2M协议与物联网平台进行交互,用户可以在控制台或通过应用侧接口创建设备联动规则,把设备上报的属性转发,通过物联网平台规则引擎转变成命令下发给其他指定设备。 核心知识点:产品模型、编辑码插件、属性上报、命令下发、MQTT协议、设备联动规则。 最佳实践参考:煤气浓度过高自动打开推窗器。
  • 解决方案 登录CCE控制台,单击集群列表中的集群名称。 在左侧导航栏中选择“节点管理”。 选择集群中的节点,单击操作列中的“更多 > 重置节点”。 重置节点操作可能导致与节点有绑定关系的资源(本地存储,指定调度节点的负载等)无法正常使用。请谨慎操作,避免对运行中的业务造成影响。 在确认页面中单击“是”。 重新配置节点参数。 如需对容器存储空间进行调整,请重点关注以下配置。 存储配置:单击数据盘后方的“展开高级设置”可进行如下设置: 自定义容器引擎空间大小:容器引擎占用的存储空间,默认为数据盘空间的90%,用于存放容器引擎 (Docker/Containerd) 工作目录、容器镜像的数据和镜像元数据。 自定义容器Pod空间大小:CCE 支持对每个工作负载下的容器组 Pod 占用的磁盘空间设置上限(包含容器镜像占用的空间)。合理的配置可避免容器组无节制使用磁盘空间导致业务异常。建议此值不超过容器引擎空间的 80%。 自定义容器Pod存储空间的能力与节点操作系统与容器存储Rootfs有关,设置规则如下: 容器存储Rootfs使用DeviceMapper时,节点支持自定义容器Pod空间设置(basesize),单个容器存储空间大小默认为10GiB,可以配置为其他值。 容器存储Rootfs使用OverlayFS时,大部分节点不支持自定义容器Pod空间设置(basesize),默认为不限制,即单个容器存储空间大小默认为容器引擎空间。 仅1.19.16版本、1.21.3版本、1.23.3版本及之后版本集群中的EulerOS 2.9系统节点支持自定义容器Pod空间设置(basesize),可以配置为其他值。 关于节点操作系统与容器存储Rootfs的关系,请参见节点操作系统与容器引擎对应关系。 使用EulerOS 2.9 的docker basesize设置时,若容器配置CAP_SYS_RESOURCE权限或privileged的特权,basesize限制单容器数据空间不起作用。 更多关于容器存储空间分配的内容,请参考数据盘空间分配说明。 重置节点后登录该节点,执行如下命令进入容器,查看docker容器容量是否已扩容。 docker exec -it container_id /bin/sh或kubectl exec -it container_id /bin/sh df -h
  • 部署组件 参考以下操作步骤分别部署如下2个组件: canary-consumer canary-provider 登录ServiceStage控制台,选择“应用管理 > 应用列表”。 单击创建应用创建的应用名称,进入应用“概览”页。 图11 进入应用概览页 在“组件列表”页签,选择待部署组件,单击“操作”栏的“部署”。 图12 部署组件 设置以下组件参数。 “环境”:选择创建环境创建的环境。 “部署版本”:输入1.0.0。 “部署系统”:选择“云容器引擎”。 “实例数量”:设置为1。 其它参数保持默认。 图13 设置基本配置参数 单击“下一步 组件配置”,进行组件配置。 “微服务引擎”默认选择Cloud Service Engine。 应用组件部署以后,微服务会注册到设置的微服务引擎。 所有应用组件需要注册到同一个微服务引擎,才能互相发现。 设置环境变量。 如果5.a选择的微服务引擎是已创建好的未开启安全认证的微服务引擎专享版,无需设置环境变量。 选择“高级设置 > 组件配置”,进入“环境变量”,单击“添加环境变量”,添加如下环境变量。 类型 变量名 变量/变量引用 手动添加 spring_cloud_servicecomb_credentials_accessKey 获取AK/SK和项目名称中获取的AK值 spring_cloud_servicecomb_credentials_secretKey 获取AK/SK和项目名称中获取的SK值 spring_cloud_servicecomb_credentials_enabled true spring_cloud_servicecomb_credentials_project 获取AK/SK和项目名称中获取的项目名称 图14 设置组件配置参数 单击“下一步 规格确认”,确认规格。 单击“部署”,部署组件。 图15 执行组件部署
  • 部署华为云区块链引擎服务 完成环境准备工作后,可按照如下步骤购买并部署华为云区块链引擎服务。 登录华为云区块链引擎服务管理控制台,进入“服务管理”,在华为云区块链引擎页面单击“购买”。 已部署的服务,单击左侧导航栏中的“服务管理”,单击右侧的“操作记录”,查看操作记录并在服务右侧进行“操作详情”及“删除”操作。 根据界面提示,配置区块链基本信息,参数如表1所示。 表1 基本信息配置 参数 描述 示例 计费模式 华为云区块链引擎服务管理收费模式,支持包年/包月。 包年/包月 区域 区块链基础设施所在的区域,建议选择与业务应用系统相同的地域。 使用默认区域 区块链服务名称 支持英文字符、数字及中划线,不能以中划线开头,长度为4-24个字符。 说明: 目前区块链名称不支持修改,只能删除重新创建。 hbs-wh 管理模式 选择云端管理:使用华为云资源管理区块链数据。 云端管理 版本类型 HBS提供专业版、企业版和铂金版供您选择。 专业版 组织配置 支持增加组织成员数。 专业版支持最大成员组织数2个,企业版支持最大成员组织数10个,铂金版支持最大成员组织数100个。 - 高级设置 共识策略:区块链网络中节点之间达成共识需要遵从的规则。默认为Raft(CFT)策略。 安全机制:保证数据安全的加密算法,默认为ECDSA;支持国密算法。 - 购买时长 支持自定义购买服务的使用时间,最短1个月。 您可根据需要选择勾选自动续费,按月购买的自动续费周期为1个月,按年购买的自动续费周期为1年。 默认1个月 单击“立即创建”。 确认配置信息无误后,勾选协议和免责声明,并单击“提交”。 进入支付页面,确认订单费用无误后,单击“确认付款”,订单支付成功后,即可返回华为云区块链引擎服务控制台查看正在创建的服务。 服务创建大概需要18-25分钟,请耐心等待。服务创建成功后,查看服务状态变为“正常”后,表示华为云区块链引擎服务部署完成。
  • 使用限制 GaussDB(for MySQL)使用上有一些固定限制,用来提高实例的稳定性和安全性,具体详见表1。 表1 功能使用限制 功能 使用限制 GaussDB(for MySQL)访问 如果GaussDB(for MySQL)数据库实例没开通公网访问,则该实例必须与弹性云服务器在同一个虚拟私有云内才能访问。 弹性云服务器必须处于目标GaussDB(for MySQL)数据库实例所属安全组允许访问的范围内。 如果GaussDB(for MySQL)数据库实例与弹性云服务器处于不同的安全组,系统默认不能访问。需要在GaussDB(for MySQL)数据库的安全组添加一条“入”的访问规则。“入”规则开放TCP协议,使用数据库实例的默认端口。 GaussDB(for MySQL)数据库实例的默认端口: 主备版默认端口为3306,需用户手动修改端口号后,ECS或外网才能访问其它端口。具体操作请参见修改数据库端口。 数据库的root权限 创建实例页面只提供管理员root用户权限(仅限主备版)。 修改数据库参数设置 大部分数据库参数可以通过控制台进行修改。 数据迁移 使用DRS或mysqldump迁移到GaussDB(for MySQL)数据。 MySQL存储引擎 GaussDB(for MySQL)只支持InnoDB存储引擎。 重启GaussDB(for MySQL)实例 无法通过命令行重启,必须通过GaussDB(for MySQL)的管理控制台重启实例。 查看GaussDB(for MySQL)备份 GaussDB(for MySQL)数据库实例在对象存储服务上的备份文件,对用户不可见。 开启binlog GaussDB(for MySQL) 不支持只读节点开启binlog。 分区表 GaussDB(for MySQL)现有产品能力和社区8.0.22版本是兼容的,对于分区表,如果是list分区,目前每个分区的values最多只支持256个,超出会报错。(规避措施:将values个数过多的分区拆成更小的分区,确保每个分区的values个数都不超过256个。)
  • 操作步骤 登录管理控制台。 单击左上角的,选择区域或项目。 在左侧导航树中,单击,选择“安全与合规 > 威胁检测服务”,进入威胁检测服务界面,如图1所示。 图1 威胁检测服务首页 查看服务简介。服务简介包含威胁检测服务的服务简介,包含服务介绍和架构。 当您所在的Region未够买威胁检测服务时,服务简介下方会出现未购买服务的提示,如图2所示,您可以单击“立即购买”进入服务购买界面,够买该服务。 图2 未购买服务 当您所在的Region已够买威胁检测服务,服务简介会自动隐藏,单击展开服务简介,如图3所示。 图3 服务简介展开 单击右上角“关闭”后,“服务简介”模块将不再默认显示。 当您未在当前Region够买威胁检测服务时,服务简介模块会默认开启且无法关闭。 查看流程引导。 威胁检测服务分为“购买威胁检测服务”、“创建检测引擎”和“数据存储与同步”三个流程。 购买威胁检测服务 每一个Region需单独购买套餐包,当您所在区域已购买威胁检测服务,当前流程的编号会显示为。 创建检测引擎 每个Region单独配置一个检测器,当您所在区域已创建检测引擎,当前流程的编号会显示为。 数据存储。 存储至OBS桶。 威胁检测服务默认为您存储近30天的检测结果数据,您需要存储更长的时间(为满足合规要求,您的数据需要存储180天),可单击“存储至OBS桶”,跳转至“数据同步”界面,将检测结果存储至OBS桶,更多详细操作请参见同步检测结果。 单击右上角“关闭”后,“流程引导”模块将不再默认显示。 当您未在当前Region创建检测引擎并开启全部的日志检测时,流程引导模块会默认开启且无法关闭。 关闭后,可单击界面上方的“流程引导”,再次显示流程引导模块的内容。 查看规格包详情。页面右上角会显示购买的规格包名称,鼠标移动至规格包,弹出规格包详情如图4所示。 图4 查看规格包信息 查看告警示例类型或告警信息,详情请参见查看检测结果。
  • 参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 train_instance_count 是 Long 训练作业worker的个数。 code_dir 否 String 训练作业的代码目录,如“/bucket/src/”。当填入model_name时不需要填写。 boot_file 否 String 训练作业的代码启动文件,需要在代码目录下,如“/bucket/src/boot.py”。当填入model_name时不需要填写。 model_name 否 Long 训练作业的内置算法模型名称。填入model_name后app_url与boot_file_url不需填写,framework_type和framework_version也不需要填写。 output_path 是 String 训练作业的输出位置。 hyperparameters 否 JSON Array 训练作业的运行参数,为label-value格式;当为自定义镜像训练作业的时候,此参数为容器环境变量。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/log/”。 train_instance_type 是 Long 训练作业选择的资源规格。若选择在训练平台训练,请从查询资源规格列表接口获取。 framework_type 否 String 训练作业选择的引擎规格。请从查询引擎规格列表接口获取引擎规格。当填入model_name时不需要填写。 framework_version 否 String 训练作业选择的引擎版本。请从查询引擎规格列表接口获取引擎版本。当填入model_name时不需要填写。 job_description 否 String 训练作业的描述。 user_image_url 否 String 自定义镜像训练作业的自定义镜像的SWR-URL。如:“100.125.5.235:20202/jobmng/custom-cpu-base:1.0”。 user_command 否 String 自定义镜像训练作业的自定义镜像的容器的启动命令。形式为:“bash /home/work/run_train.sh python /home/work/user-job-dir/app/train.py {python_file_parameter}”。 表2 update_job_configs请求参数说明 参数 是否必选 参数类型 描述 config_name 是 String 训练作业参数名称。限制为1-20位只含数字、字母、下划线或者中划线的名称。当不填写时,默认会按日期动态生成。 config_desc 否 String 对训练作业的描述,默认为空,字符串的长度限制为[0,256]。 inputs 否 String 训练作业的OBS数据存储位置。 dataset_id 否 String 训练作业的数据集ID。应与dataset_version_id同时出现,但不可与inputs同时出现。 dataset_version_id 否 String 训练作业的数据集版本ID。应与dataset_id同时出现,但不可与inputs同时出现。 data_source 否 JSON Array 训练作业使用的数据集。不可与inputs、dataset_id、dataset_version_id同时使用。 表3 data_source属性列表 参数 是否必选 参数类型 描述 dataset_id 否 String 训练作业的数据集ID。 dataset_version 否 String 训练作业的数据集版本ID。 type 是 String 数据集类型。可选值:“obs”、“dataset”。 data_url 否 String obs的桶路径,不可与dataset_id/dataset_version同时出现。 表4 update_job_configs返回参数说明 参数 参数类型 描述 error_msg String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 is_success Boolean 接口调用是否成功。
  • 容器磁盘空间(10G) 登录CCE控制台,单击集群列表中的集群名称。 在左侧导航栏中选择“节点管理”。 选择集群中的节点,单击操作列中的“更多 > 重置节点”。 重置节点操作可能导致与节点有绑定关系的资源(本地存储,指定调度节点的负载等)无法正常使用。请谨慎操作,避免对运行中的业务造成影响。 在确认页面中单击“是”。 重新配置节点参数。 如需对容器存储空间进行调整,请重点关注以下配置。 存储配置:单击数据盘后方的“展开高级设置”可进行如下设置: 自定义容器引擎空间大小:容器引擎占用的存储空间,默认为数据盘空间的90%,用于存放容器引擎 (Docker/Containerd) 工作目录、容器镜像的数据和镜像元数据。 自定义容器Pod空间大小:CCE 支持对每个工作负载下的容器组 Pod 占用的磁盘空间设置上限(包含容器镜像占用的空间)。合理的配置可避免容器组无节制使用磁盘空间导致业务异常。建议此值不超过容器引擎空间的 80%。 自定义容器Pod存储空间的能力与节点操作系统与容器存储Rootfs有关,设置规则如下: 容器存储Rootfs使用DeviceMapper时,节点支持自定义容器Pod空间设置(basesize),单个容器存储空间大小默认为10GiB,可以配置为其他值。 容器存储Rootfs使用OverlayFS时,大部分节点不支持自定义容器Pod空间设置(basesize),默认为不限制,即单个容器存储空间大小默认为容器引擎空间。 仅1.19.16版本、1.21.3版本、1.23.3版本及之后版本集群中的EulerOS 2.9系统节点支持自定义容器Pod空间设置(basesize),可以配置为其他值。 关于节点操作系统与容器存储Rootfs的关系,请参见节点操作系统与容器引擎对应关系。 使用EulerOS 2.9 的docker basesize设置时,若容器配置CAP_SYS_RESOURCE权限或privileged的特权,basesize限制单容器数据空间不起作用。 更多关于容器存储空间分配的内容,请参考数据盘空间分配说明。 重置节点后登录该节点,执行如下命令进入容器,查看docker容器容量是否已扩容。 docker exec -it container_id /bin/sh或kubectl exec -it container_id /bin/sh df -h
  • 创建Notebook 登录ModelArts管理控制台,在左侧菜单栏中选择“开发环境>Notebook”,进入“Notebook”管理页面。 图1 Notebook页面 单击“创建”进入“创建Notebook”页面,请参见如下说明填写参数。 填写Notebook基本信息,包含名称、描述、是否自动停止,详细参数请参见表1。 图2 Notebook基本信息 表1 基本信息的参数描述 参数名称 说明 “计费方式” 按需计费。当前仅支持按需计费,无需修改。 “名称” Notebook的名称。只能包含数字、大小写字母、下划线和中划线,长度不能超过64位且不能为空。 “描述” 对Notebook的简要描述。 “自动停止” 默认开启,且默认值为“1小时后”,表示该Notebook实例将在运行1小时之后自动停止,即1小时后停止计费。 开启自动停止功能后,可选择“1小时后”、“2小时后”、“4小时后”、“6小时后”或“自定义”几种模式。选择“自定义”模式时,可指定1~24小时范围内任意整数。 填写Notebook详细参数,如工作环境、资源规格等,详细参数请参见表2。 图3 Notebook实例的详细参数 表2 Notebook实例的详细参数说明 参数名称 说明 “工作环境” 当前仅支持公共镜像,即预置在ModelArts内部的AI框架。 每个工作环境多种AI引擎,可以在同一个Notebook实例中使用所有支持的AI引擎,不同的引擎之间可快速、方便的切换,并且有独立的运行环境。您可以在Notebook实例创建完成后,进入Jupyter页面创建对应AI引擎的开发环境。不同工作环境其对应可使用的AI引擎不同,详细支持列表请参见支持的AI引擎。 推荐使用“Multi-Engine 1.0 (Python3, Recommended)”工作环境。 如果需要使用TensorFlow 2.X、PyTorch 1.4.0或者R语言版本的AI框架,建议使用“Multi-Engine 2.0 (python3)”工作环境。如果选择此类型的工作环境,暂时无法使用免费规格,请选择其他付费的规格。 说明: ModelArts还支持Keras引擎,选择“Multi-Engine 1.0 (Python3, Recommended)”或“Multi-Engine 1.0 (python2)”工作环境即可使用,详细说明请参见ModelArts是否支持Keras引擎? “资源池” 可选“公共资源池”和“专属资源池”,关于ModelArts专属资源池的介绍和购买,请参见资源池。 “公共资源池”无需购买,即开即用,按需付费,即按您的Notebook实例运行时长进行收费。“专属资源池”的特点是无需排队,当使用公共资源池人数较多时,可能出现排队等待,此时建议购买“专属资源池”提升开发效率,减少等待时间。 “类型” 支持CPU、GPU和Ascend类型。GPU性能更佳,但是相对CPU而言,费用更高。Ascend类型为公测资源,请提前完成Ascend 910公测申请。 “规格” 只有选择“公共资源池”时,需要选择规格。根据选择的类型不同,可选规格也不同。 CPU规格支持:“[限时免费]体验规格CPU版”、“2核8GiB”、“8核32GiB” GPU规格支持:“[限时免费]体验规格GPU版”、“GPU: 1*v100NV32 CPU: 8 核 64GiB” Ascend规格支持:“Ascend: 1*Ascend 910 CPU: 24 核 96GiB” 如果选择“限时免费”规格,请仔细阅读界面提示,并勾选“我已阅读并同意以上内容”。 “存储配置” 存储配置可选“云硬盘”和“对象存储服务”。 选择“云硬盘”作为存储位置 根据实际使用量设置磁盘规格。磁盘规格默认5GB。ModelArts提供5GB容量供用户免费使用。超出5GB时,超出部分每GB按“超高IO”类型的收费标准进行按需收费。磁盘规格的取值范围为5GB~4096GB。 选择此模式,用户在Notebook列表的所有文件读写操作都是针对容器中的内容操作,与OBS无关;重启该实例,内容不丢失。 选择“对象存储服务”作为存储位置 在“存储位置”右侧单击“选择”,设置用于存储Notebook数据的OBS路径。如果想直接使用已有的文件或数据,可将数据提前上传至对应的OBS路径下。“存储位置”不能设置为OBS桶的根目录,需设置为对应OBS桶下的具体目录。 选择此模式,用户在Notebook列表的所有文件读写操作是基于所选择的OBS路径下的内容操作,与当前实例空间无关。如果您需要将内容同步到实例空间,先选中该内容,单击“Sync OBS”,即可将所选内容同步到当前容器空间,详细操作可参见与OBS同步文件。重启该实例时,内容不丢失。 “Git存储库” 只有当“存储配置”选择“云硬盘”时,支持此参数。 开启此功能后,可创建一个带有Git存储库的Notebook实例,系统将自动从Github同步代码库。详细配置说明请参见创建带有Git存储库的Notebook实例。 参数填写完成后,单击“下一步”进行规格确认。 参数确认无误后,单击“提交”,完成Notebook的创建操作。 进入Notebook列表,正在创建中的Notebook状态为“启动中”,创建过程需要几分钟,请耐心等待。当Notebook状态变为“运行中”时,表示Notebook已创建完成。
  • 删除独享引擎实例 当您不需要使用独享引擎实例时,您可以删除实例,删除实例时将结束计费。 删除实例后,该实例上的资源将被释放且不可恢复,请谨慎操作。 登录管理控制台。 单击管理控制台左上角的,选择区域或项目。 单击页面左上方的,选择“区域”,选择“安全与合规 > Web应用防火墙”,进入“安全总览”页面。 在左侧导航树中,选择“系统管理 > 独享引擎”,进入“独享引擎”页面。 图9 独享引擎列表 在目标实例所在行的“操作”列,单击“更多 > 删除”。 在弹出的对话框中,单击“确定”。
  • 响应消息 响应参数如表3所示。 表3 响应参数 参数 参数类型 说明 is_success Boolean 请求是否成功。 error_message String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。 调用成功时无此字段。 engines engines结构数组 引擎规格参数列表,如表4所示。 表4 engines属性列表说明 参数 参数类型 说明 engine_type integer 训练作业的引擎类型。 1:TensorFlow。 2:MXNet。 4:Caffe。 5:Spark_MLlib 6: Scikit Learn 9:XGBoost-Sklearn 10:Pytorch 13:Ascend-Powerd-Engine 17: MindSpore-GPU engine_id Long 训练作业的引擎ID。 engine_name String 训练作业的引擎名称。 engine_version String 训练作业使用的引擎版本。
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer 查询到当前用户名下的所有作业总数。 count Integer 查询到当前用户名下的所有符合查询条件的作业总数。 limit Integer 查询作业的限制量。最小为1,最大为50。 offset Integer 查询作业的偏移量,最小为0。例如设置为1,则表示从第二条开始查。 sort_by String 查询作业排列顺序的指标。默认使用create_time排序。 order String 查询作业排列顺序,默认为“desc”,降序排序。也可以选择对应的“asc”,升序排序。 group_by String 查询作业要搜索的分组条件。 workspace_id String 作业所处的工作空间,默认值为“0”。 ai_project String 作业所属的ai项目,默认值为"default-ai-project"。 items Array of JobResponse objects 查询到当前用户名下的所有符合查询条件的作业详情。 表5 JobResponse 参数 参数类型 描述 kind String 训练作业类型。默认使用job。枚举值: job 训练作业; hetero_job 异构作业; autosearch_job 自动搜索作业; mrs_job mrs作业; edge_job 边缘作业。 metadata JobMetadata object 训练作业元信息。 status Status object 训练作业状态信息。创建作业无需填写。 algorithm JobAlgorithmResponse object 训练作业算法。目前支持三种形式: id 只取算法的id; subscription_id+item_version_id 取算法的订阅id和版本id; code_dir+boot_file 取训练作业的代码目录和启动文件; tasks Array of TaskResponse objects 异构训练作业的任务列表。 spec spec object 训练作业规格参数。 表6 JobMetadata 参数 参数类型 描述 id String 训练作业ID,创建成功后由ModelArts生成返回,无需填写。 name String 训练作业名称。限制为1-64位只含数字、字母、下划线和中划线的名称。 workspace_id String 指定作业所处的工作空间,默认值为“0”。 description String 对训练作业的描述,默认为“NULL”,字符串的长度限制为[0, 256]。 create_time Long 训练作业创建时间戳,单位为毫秒,创建成功后由modelarts生成返回,无需填写。 user_name String 训练作业创建用户的用户名,创建成功后由modelarts生成返回,无需填写。 annotations Map 训练作业申明模板,异构作业job_template字段默认为 Template RL,其余默认为 Template DL。 表7 Status 参数 参数类型 描述 phase String 训练作业一级状态,状态值稳定不变,可选值如下: “Creating”, “Pending”, “Running”, “Failed”, “Completed”, “Terminating”, “Terminated”, “Abnormal”。 secondary_phase String 训练作业二级状态,状态值不稳定,可选值如下: “Creating”, “Queuing”, “Running”, “Failed”, “Completed”, “Terminating”, “Terminated”, “CreateFailed”, “TerminatedFailed”, “Unknown”, “Lost”。 duration Long 训练作业运行时长,单位为毫秒。 node_count_metrics Array> 训练作业运行时节点数变化指标。 tasks Array of strings 训练作业子任务名称。 start_time String 训练作业开始时间,格式为时间戳。 task_statuses Array of task_statuses objects 训练在子任务状态信息。 表8 task_statuses 参数 参数类型 描述 task String 训练作业子任务名称。 exit_code Integer 训练作业子任务退出码。 message String 训练作业子任务错误消息。 表9 JobAlgorithmResponse 参数 参数类型 描述 id String 训练作业算法。目前支持三种形式: id 只取算法的id; subscription_id+item_version_id 取算法的订阅id和版本id; code_dir+boot_file 取训练作业的代码目录和启动文件。 name String 算法名称。 subscription_id String 订阅算法的订阅ID。应与item_version_id一同出现。 item_version_id String 订阅算法的版本。应与subscription_id一同出现。 code_dir String 训练作业的代码目录。如:“/usr/app/”。应与boot_file一同出现,若填入id或subscription_id+item_version_id则无需填写。 boot_file String 训练作业的代码启动文件,需要在代码目录下。如:“/usr/app/boot.py”。应与code_dir一同出现,若填入入id或subscription_id+item_version_id则无需填写。 autosearch_config_path String 自动化搜索作业的yaml配置路径,需要提供一个OBS路径。 autosearch_framework_path String 自动化搜索作业的框架代码目录,需要提供一个OBS路径。 command String 自定义镜像训练作业的自定义镜像的容器的启动命令。可填code_dir parameters Array of Parameter objects 训练作业的运行参数。 policies policies object 作业支持的策略。 inputs Array of Input objects 训练作业的数据输入。 outputs Array of Output objects 训练作业的结果输出。 engine engine object 训练作业的引擎。使用算法管理的算法id或订阅算法subscription_id+item_version_id创建作业时,无需填写。 environments Array of Map objects 训练作业的环境变量。格式:"key":"value".无需填写。 表10 Parameter 参数 参数类型 描述 name String 参数名称。 value String 参数值。 description String 参数描述信息。 constraint constraint object 参数属性。 i18n_description i18n_description object 国际化描述。 表11 constraint 参数 参数类型 描述 type String 参数种类。 editable Boolean 是否可编辑。 required Boolean 是否必须。 sensitive Boolean 是否敏感。 valid_type String 有效种类。 valid_range Array of strings 有效范围。 表12 i18n_description 参数 参数类型 描述 language String 国际语种。 description String 对应描述。 表13 policies 参数 参数类型 描述 auto_search auto_search object 超参搜索配置。 表14 auto_search 参数 参数类型 描述 skip_search_params String 需要排除的超参组合。 reward_attrs Array of reward_attrs objects 搜索指标列表。 search_params Array of search_params objects 搜索参数。 algo_configs Array of algo_configs objects 搜索算法配置。 表15 reward_attrs 参数 参数类型 描述 name String 指标名称。 mode String 搜索方向。 max 指定时表示指标值越大越好; min 指定时表示指标值越小越好。 regex String 指标正则表达式。 表16 search_params 参数 参数类型 描述 name String 超参名称。 param_type String 参数类型。 continuous 指定时表示参数类型为连续值; discreate 指定时表示参数类型为离散值。 lower_bound String 超参下界。 upper_bound String 超参上界。 discrete_points_num String 连续型超参离散化取值个数。 discrete_values Array of strings 离散型超参的取值列表。 表17 algo_configs 参数 参数类型 描述 name String 搜索算法名称。 params Array of AutoSearchAlgoConfigParameter objects 搜索算法参数。 表18 AutoSearchAlgoConfigParameter 参数 参数类型 描述 key String 参数键。 value String 参数值。 type String 参数种类。 表19 Input 参数 参数类型 描述 name String 数据输入通道名称。 description String 数据输入通道描述信息。 local_dir String 数据输入通道映射的容器本地路径。 remote InputDataInfo object 数据实际输入信息。枚举值: dataset 指定输入为数据集; obs 指定输入为OBS路径。 remote_constraint Array of remote_constraint objects 数据输入约束。 表20 InputDataInfo 参数 参数类型 描述 dataset dataset object 数据输入信息为数据集。 obs obs object 数据输入输出信息为OBS方式。 表21 dataset 参数 参数类型 描述 id String 训练作业的数据集ID。 version_id String 训练作业的数据集版本ID。 obs_url String 训练作业需要的数据集OBS路径URL,modelarts会通过数据集ID和数据集版本ID自动解析生成。如:“/usr/data/”。 表22 obs 参数 参数类型 描述 obs_url String 训练作业需要的数据集OBS路径URL。如:“/usr/data/”。 表23 remote_constraint 参数 参数类型 描述 data_type String 数据输入类型,包括数据存储位置、数据集两种方式。 attributes String 数据输入为数据集时的相关属性。枚举值: data_format 数据格式; data_segmentation 数据切分方式; dataset_type 标注类型。 表24 Output 参数 参数类型 描述 name String 数据输出通道名称。 description String 数据输出通道描述信息。 local_dir String 数据输出通道映射的容器本地路径。 remote remote object 数据实际输出信息。 表25 remote 参数 参数类型 描述 obs obs object 数据实际输出到OBS。 表26 obs 参数 参数类型 描述 obs_url String 数据实际输出到OBS的路径。 表27 engine 参数 参数类型 描述 engine_id String 训练作业选择的引擎规格ID。engine_id,engine_name + engine_version和image_url方式三选一。 engine_name String 训练作业选择的引擎名称。若填入engine_id则无需填写。 engine_version String 训练作业选择的引擎版本名称。若填入engine_id则无需填写。 image_url String 训练作业选择的自定义镜像地址。 表28 TaskResponse 参数 参数类型 描述 role String 异构训练作业的任务角色。枚举值: learner(支持GPU\CPU规格); worker(支持CPU规格)。 algorithm algorithm object 算法管理算法配置。 task_resource FlavorResponse object 训练作业、算法的规格信息。 表29 algorithm 参数 参数类型 描述 code_dir String 算法启动文件所在目录绝对路径。 boot_file String 算法启动文件绝对路径。 inputs inputs object 算法输入通道信息。 outputs outputs object 算法输出通道信息。 engine engine object 异构作业所依赖的引擎。 表30 inputs 参数 参数类型 描述 name String 数据输入通道名称。 local_dir String 数据输入输出通道映射的容器本地路径。 remote remote object 数据实际输入信息,异构作业只支持OBS。 表31 remote 参数 参数类型 描述 obs obs object 数据输入输出信息为OBS方式。 表32 obs 参数 参数类型 描述 obs_url String 训练作业需要的数据集OBS路径URL。如:“/usr/data/”。 表33 outputs 参数 参数类型 描述 name String 数据输出通道名称。 local_dir String 数据输出通道映射的容器本地路径。 remote remote object 数据实际输出信息。 mode String 数据传输模式,默认为“upload_periodically”。 period String 数据传输周期,默认为30s。 表34 remote 参数 参数类型 描述 obs obs object 数据实际输出到OBS。 表35 obs 参数 参数类型 描述 obs_url String 数据实际输出到OBS的路径 表36 engine 参数 参数类型 描述 engine_id String 异构作业引擎规格的ID。如“caffe-1.0.0-python2.7”。 engine_name String 异构作业引擎规格的名称。如“Caffe”。 engine_version String 异构作业引擎规格的版本。 v1_compatible Boolean 是否为v1兼容模式。 run_user String 引擎默认启动用户uid。 image_url String 算法选择的自定义镜像地址。 表37 FlavorResponse 参数 参数类型 描述 flavor_id String 资源规格的ID。 flavor_name String 资源规格的名称。 max_num Integer 资源规格的最大节点数。 flavor_type String 资源规格的类型。可选值如下: CPU; GPU; Ascend。 billing billing object 资源规格计费信息。 flavor_info flavor_info object 资源规格详细信息。 attributes Map 其他规格属性。 表38 billing 参数 参数类型 描述 code String 计费码。 unit_num Integer 计费卡数。 表39 flavor_info 参数 参数类型 描述 max_num Integer 可以选择的最大节点数量(max_num,为1代表不支持分布式)。 cpu cpu object cpu规格信息。 gpu gpu object gpu规格信息。 npu npu object Ascend规格信息。 memory memory object 内存信息。 disk disk object 磁盘信息。 表40 cpu 参数 参数类型 描述 arch String cpu架构。 core_num Integer 核数。 表41 gpu 参数 参数类型 描述 unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。 表42 npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。 memory String 内存。 表43 memory 参数 参数类型 描述 size Integer 内存大小。 unit String 内存单元数。 表44 disk 参数 参数类型 描述 size Integer 磁盘大小。 unit String 磁盘大小单位。 表45 spec 参数 参数类型 描述 resource Resource object 训练作业资源规格信息。flavor_id和pool_id+[flavor_id]方式二选一。 volumes Array of volumes objects 训练作业挂载卷信息。 log_export_path log_export_path object 训练作业日志输出信息。 表46 Resource 参数 参数类型 描述 policy String 训练作业资源规格模式,可选值如下: “regular”。 flavor_id String 训练作业选择的资源规格ID。 flavor_name String 使用flavor_id时,由ModelArts返回的只读规格名称。 node_count Integer 训练作业选择的资源副本数。 最小值:1 pool_id String 训练作业选择的资源池ID。 flavor_detail flavor_detail object 训练作业、算法的规格信息。 表47 flavor_detail 参数 参数类型 描述 flavor_type String 资源规格的类型。可选值如下: CPU; GPU; Ascend。 billing billing object 资源规格计费信息。 flavor_info flavor_info object 资源规格详细信息。 表48 billing 参数 参数类型 描述 code String 计费码。 unit_num Integer 计费卡数。 表49 flavor_info 参数 参数类型 描述 max_num Integer 可以选择的最大节点数量(max_num,为1代表不支持分布式)。 cpu cpu object cpu规格信息。 gpu gpu object gpu规格信息。 npu npu object Ascend规格信息。 memory memory object 内存信息。 disk disk object 磁盘信息。 表50 cpu 参数 参数类型 描述 arch String cpu架构。 core_num Integer 核数。 表51 gpu 参数 参数类型 描述 unit_num Integer gpu卡数。 product_name String 产品名。 memory String 内存。 表52 npu 参数 参数类型 描述 unit_num String npu卡数。 product_name String 产品名。 memory String 内存。 表53 memory 参数 参数类型 描述 size Integer 内存大小。 unit String 内存单元数。 表54 disk 参数 参数类型 描述 size String 磁盘大小。 unit String 磁盘大小单位,一般为GB。 表55 volumes 参数 参数类型 描述 nfs nfs object nfs方式的挂载卷。 表56 nfs 参数 参数类型 描述 nfs_server_path String nfs服务端路径。 local_path String 挂载到训练容器中的路径。 read_only Boolean nfs挂载卷在容器中是否只读。 表57 log_export_path 参数 参数类型 描述 obs_url String 训练作业日志保存的OBS地址。 host_path String 训练作业日志保存的宿主机的路径。
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 示例一:使用OBS存储位置创建训练作业参数 1 2 3 4 5 6 7 8 91011121314151617181920 from modelarts.session import Sessionfrom modelarts.estimator import Estimatorsession = Session()estimator = Estimator( modelarts_session=session, framework_type='PyTorch', # AI引擎名称 framework_version='PyTorch-1.0.0-python3.6', # AI引擎版本 code_dir='/bucket/src/', # 训练脚本目录 boot_file='/bucket/src/pytorch_sentiment.py', # 训练启动脚本目录 log_url='/bucket/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/bucket/output/', # 训练输出目录 train_instance_type='modelarts.vm.gpu.p100', # 训练环境规格 train_instance_count=1) # 训练节点个数job_config_instance = estimator.create_job_configs(config_name='my_job_config', inputs='/bucket/data/train/', config_desc='my job config') 示例二:使用数据集创建训练作业参数 1 2 3 4 5 6 7 8 91011121314151617181920 from modelarts.session import Sessionfrom modelarts.estimator import Estimatorsession = Session()estimator = Estimator( modelarts_session=session, framework_type='PyTorch', # AI引擎名称 framework_version='PyTorch-1.0.0-python3.6', # AI引擎版本 code_dir='/bucket/src/', # 训练脚本目录 boot_file='/bucket/src/pytorch_sentiment.py', # 训练启动脚本目录 log_url='/bucket/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/bucket/output/', # 训练输出目录 train_instance_type='modelarts.vm.gpu.p100', # 训练环境规格 train_instance_count=1) # 训练节点个数job_config_instance = estimator.create_job_configs(config_name='my_job_config', dataset_id='4AZNvFkN7KYr5EdhFkH', dataset_version_id='UOF9BIeSGArwVt0oI6T', config_desc='my job config')
  • 设备管理 设备管理在设备接入基础上,提供了更丰富完备的设备管理能力,简化海量设备管理复杂性,节省人工操作,提升管理效率。 功能 简介 产品模型定义 用于定义一款接入设备所具备的属性(如颜色、大小、采集的数据、可识别的指令或者设备上报的事件等信息),然后通过厂家、设备类型和设备型号,唯一标识一款设备,便于平台识别。产品模型可通过开发中心进行无码化开发。详细请参见产品模型。 设备访问授权 支持将设备的管理权限授权给其他应用,便于同一个用户管理多个应用的设备。详情请参见授权访问。 数据持久化存储 提供设备上报数据的存储,可按照时、天等维度查看设备上报的历史数据。历史数据最多存储7天。详情请参见数据上报。 设备联动规则 设备联动规则是规则引擎的一种,通过设置一个规则的触发条件(如温度阈值、时间等),在满足触发条件时,物联网平台会触发一个指令来使设备执行一个操作(如上报信息、打开设备开关、上报告警等)。详细请参见规则引擎。 告警管理 支持管理通过规则引擎里定义触发的设备告警,包括查看告警详情和恢复告警。详细请参见设备监控。 设备分组及标签 支持对设备进行群组和标签管理,通过有效分组和批量管理,减轻设备管理成本。详细请参见群组与标签。 设备批操作 支持对设备的批量操作,包括:批量设备注册,批量配置更新、批量命令下发、批量固件升级、批量软件升级。 设备远程诊断 支持远程进行设备的运行日志收集、重启模组操作。详细请参见远程诊断。 设备配置更新 支持通过应用服务器或控制台以下发命令的方式,对设备的属性值进行更新。详细请参见设备配置更新。 设备OTA升级 支持通过OTA(Over the Air)的方式,对终端设备进行软件、硬件的升级操作,并通过软固件升级策略管理(群组、升级时间、并发数控制等),有效提升升级灵活性。详细请参见固件升级、软件升级。 报表统计 在控制台上提供了丰富的报表功能,方便用户查看应用和设备的使用情况。详细请参见设备监控。 当用户在开通设备管理服务时,系统默认一起开通设备接入服务,即用户在使用设备管理服务时,包含设备接入服务的能力。设备接入和设备管理的详细功能对比如下表所示: 功能 设备接入 设备管理 差异说明 多网络接入 √ √ - 原生协议接入 √ √ - 系列化Agent接入 √ √ 设备接入的Agent Lite SDK和设备管理的Agent Lite SDK是两套不同的SDK。 设备双向通信 √ √ - 应用对接 √ √ 设备接入服务使用的应用侧API接口和设备管理服务不是同一套,具体请参见API参考。 设备接入服务没有订阅推送功能,用户只能将设备上报数据转发到华为云其他云服务进行存储和处理。 设备影子 √ √ - 数据转发规则 √ √ 设备接入服务:将JSON格式的数据转发到华为云其他云服务 设备管理服务:设备上报的数据透传到华为云其他云服务。如果设备上报的数据是二进制数据,则进行码流base64封装为JSON格式后再转发到其他云服务。 设备实时状态监控 √ √ - 审计日志 √ √ - 产品模型定义 - √ 设备接入服务:仅透传数据,不解析和存储数据,不需要开发Profile及编解码插件。 设备管理服务:需要开发profile及编解码插件。 设备访问授权 - √ - 数据持久化存储 - √ 设备接入服务:对设备上报的数据不存储。 设备管理服务:对设备上报的数据进行存储,历史数据最多存储7天。 设备联动规则 - √ - 告警管理 - √ - 设备分组及标签 - √ - 设备批操作 - √ - 设备远程诊断 - √ - 设备配置更新 - √ - 设备OTA升级 - √ - 报表统计 - √ -
  • 最新动态 2020/6/29 园区物联网服务IoTC计划于2020年7月16日00:00(北京时间)退市 华为云园区物联网服务IoTC(当前为公测状态)计划于2020/07/16 00:00(北京时间)退市。 华为云在此提醒您,产品退市后该服务对外提供的接口将不可被调用,公测期间创建的设备资源将被删除,为了避免影响您的业务,建议您在2020/07/15 23:59:59(北京时间)前做好业务迁移及数据备份。建议您后续使用华为云设备接入服务IoTDA接入和管理园区设备。 若您有任何问题,可随时通过工单( https://www.huaweicloud.com/consultation/?type=iot )或者服务热线(4000-955-988或950808)与我们联系。 感谢您对华为云的支持! 2019/12/26 预置设备模型更新、规则引擎增强及问题修复 修复边缘节点偶发创建失败问题 修复从产品中心导入产品模型问题 联动规则支持分组管理 portal自定义修改后支持一键恢复历史设定 支持在设备注册后修改编辑设备经纬度位置信息 支持设备ID、密钥、NodeID信息下载为文本保存 规则引擎提供友好错误提示 根据园区标准物模型V1.1更新预置设备模型(27个) 2019/11/21 设备模型体验改进及问题修复 修复设备在设备运营中心地图显示数量错误问题 产品模型(profile)支持导出到本地修改 设备信息可关联查看产品能力(对应产品模型service详情) 优化园区IoT边缘部署在线指导 2019/11/08 单点登录问题修复及体验改进 修复边缘创建时间显示格式问题 修复从Console到园区Portal无法单点登录问题 设备默认注册类型改为“初始密码模式” (MQTT接入) 车行、人行报表模拟数据优化 增加portal当页帮助链接 设备运营中心报表样式优化 Console快捷操作模块调整 平台对接地址更新 2019/11/1 园区物联网平台服务开启公测
  • 华为云区块链引擎 华为云区块链引擎服务当前仅“华北-北京四”区域支持。 华为云区块链引擎架构版本的区块链服务BCS提供专业版、企业版和铂金版供您选择使用,每个版本均有不同的规格支持,详情请查看表1。 表1 各版本区别 功能 专业版 企业版 铂金版 适用场景类型 满足小规模商用 满足中等规模商用 满足大规模商用(大企业金融和数字政府等) 性能峰值(TPS) 不超过2000 TPS 不超过10000 TPS 不超过50000 TPS 共识策略 Raft 支持 支持 支持 功能和规模 最大组织个数 2 10 100 每个组织存储空间(GB) 500GB 2000GB 6000GB 富媒体存储带宽 1M/s 2M/s 5M/s 安全功能 ECDSA 支持 支持 支持 国密 不支持 支持 支持 高可用 容器高可靠 不支持 支持 支持 多AZ容灾 不支持 支持 支持 运维监控 合约日志 支持 支持 支持 容量监控 支持 支持 支持 服务支持 专属服务经理 不支持 不支持 支持 研发远程技术支持 不支持 不支持 支持 点对点故障处理客户现场支持 不支持 不支持 支持
  • 使用流程 华为云区块链引擎服务(Huawei Cloud Blockchain Service,简称HBS)提供实例部署、区块链管理、业务链管理等功能。以下为华为云区块链引擎服务使用全景图,希望对您的使用有所引导及帮助。 华为云区块链引擎本身不涉及用户敏感信息。使用华为云区块链引擎处理数据的目的、范围、处理方式、时限等请遵从当地适用的法律法规。华为云区块链引擎本身不建议传输和存储敏感数据,如果传输和存储敏感数据,请自行加密后再传输和存储。 图1 使用流程 注册帐号 新用户请先注册完成实名认证,具体请参见帐号注册和帐号实名认证。 权限管理 创建用户并授权使用华为云区块链引擎。 实例部署 购买华为云区块链引擎实例。 实例管理 提供华为云区块链引擎管理功能,可实时查看华为云区块链引擎运行状况,并对华为云区块链引擎做相应的操作。 管理区块链 提供界面化合约管理功能,包括合约安装、更新合约。 下载配置文件 开发应用之前需要进行配置文件下载,配置文件中包含用户证书和SDK。 设置配额 支持查看服务的配额使用情况和扩大配额。
  • 部署组件 登录ServiceStage,选择“应用管理 > 应用列表”。 单击servicecomb应用名称,进入应用“概览”页。 图11 进入应用概览页 在“组件列表”选择已经创建的组件java-test,在“操作”栏单击“部署”。 图12 部署组件 设置基本配置。 “环境”:选择创建环境时已经创建的环境“test-env”。 “部署版本”:默认设置为“1.0.0”。 “部署系统”:选择“云容器引擎”。 “基础资源”:使用环境test-env中的CCE资源(自动加载)。 “实例数量”:设置为“1”。 “资源配额”:使用默认配置。 图13 设置基本配置 单击“下一步 组件配置”,进行组件配置。 “镜像”:默认加载已经配置的组件静态信息。 “微服务引擎”:默认使用环境test-env中的Cloud Service Engine微服务引擎专业版。 应用组件部署以后,微服务会注册到选择的微服务引擎。 所有应用组件需要注册到同一个微服务引擎,才能互相发现。 设置环境变量。 选择“高级设置 > 组件配置”,进入“环境变量”,单击“添加环境变量”,添加如下环境变量。 类型 变量名 变量值 手动添加 servicecomb_credentials_accessKey 获取AK/SK中获取的AK值。 servicecomb_credentials_secretKey 获取AK/SK中获取的SK值。 图14 设置AK/SK 其他参数使用默认配置。 单击“下一步 规格确认”,确认规格无误后,单击“部署”。 等待组件部署完成。 图15 执行组件部署
  • 查看服务契约 服务契约指基于OpenAPI规范的微服务接口描述,是微服务系统运行和治理的基础。微服务依赖服务提供方时,需要通过查看服务契约获取服务提供方提供的接口详情。 登录ServiceStage控制台,选择“微服务引擎 CSE”。 单击微服务引擎的“查看控制台”。 未开启安全认证的微服务引擎专享版或微服务引擎专业版,请执行4。 开启安全认证的微服务引擎专享版,请执行3。 在弹出的“安全认证”对话框输入帐号名及密码,单击“确定”。 首次进入微服务控制台,请输入root帐号名及创建微服务引擎专享版时输入的密码。 创建帐号请参考新增帐号。 选择“服务目录”。 单击微服务名称,进入微服务详情页。 单击“服务契约”,可以查看服务契约。
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 示例一:使用OBS存储位置更新训练作业参数 1 2 3 4 5 6 7 8 91011121314151617181920 from modelarts.session import Sessionfrom modelarts.estimator import Estimatorsession = Session()estimator = Estimator( modelarts_session=session, framework_type='PyTorch', # AI引擎名称 framework_version='PyTorch-1.0.0-python3.6', # AI引擎版本 code_dir='/bucket/src/', # 训练脚本目录 boot_file='/bucket/src/pytorch_sentiment.py', # 训练启动脚本目录 log_url='/bucket/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/bucket/output/', # 训练输出目录 train_instance_type='modelarts.vm.gpu.p100', # 训练环境规格 train_instance_count=1) # 训练节点个数update_info = estimator.update_job_configs(config_name='my_job_config', inputs='/bucket/dataset/', config_desc='update') 示例二:使用数据集更新训练作业参数 1 2 3 4 5 6 7 8 91011121314151617181920 from modelarts.session import Sessionfrom modelarts.estimator import Estimatorsession = Session()estimator = Estimator( modelarts_session=session, framework_type='PyTorch', # AI引擎名称 framework_version='PyTorch-1.0.0-python3.6', # AI引擎版本 code_dir='/bucket/src/', # 训练脚本目录 boot_file='/bucket/src/pytorch_sentiment.py', # 训练启动脚本目录 log_url='/bucket/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/bucket/output/', # 训练输出目录 train_instance_type='modelarts.vm.gpu.p100', # 训练环境规格 train_instance_count=1) # 训练节点个数update_info = estimator.update_job_configs(config_name='my_job_config', dataset_id='4AZNvFkN7KYr5EdhFkH', dataset_version_id='UOF9BIeSGArwVt0oI6T', config_desc='update')
  • 参数说明 表1 Estimator请求参数说明 参数 是否必选 参数类型 描述 modelarts_session 是 Object 会话对象,初始化方法见Session鉴权。 train_instance_count 是 Long 训练作业worker的个数。 code_dir 否 String 训练作业的代码目录,如“/bucket/src/”。当填入model_name时不需要填写。 boot_file 否 String 训练作业的代码启动文件,需要在代码目录下,如“/bucket/src/boot.py”。当填入model_name时不需要填写。 model_name 否 Long 训练作业的内置算法模型名称。填入model_name后app_url与boot_file_url不需填写,framework_type和framework_version也不需要填写。“model_name”请从查询预置算法接口中获取。 output_path 是 String 训练作业的输出位置。 hyperparameters 否 JSON Array 训练作业的运行参数,为label-value格式,其中lable和value的值均为String类型;当为自定义镜像训练作业的时候,此参数为容器环境变量。 log_url 否 String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/log/”。 train_instance_type 是 Long 训练作业选择的资源规格。若选择在训练平台训练,请从查询资源规格列表接口获取。 framework_type 否 String 训练作业选择的引擎规格。请从查询引擎规格列表接口获取引擎规格。当填入model_name时不需要填写。 framework_version 否 String 训练作业选择的引擎版本。请从查询引擎规格列表接口获取引擎版本。当填入model_name时不需要填写。 user_image_url 否 String 自定义镜像训练作业的自定义镜像的SWR-URL。如:“100.125.5.235:20202/jobmng/custom-cpu-base:1.0”。 user_command 否 String 自定义镜像训练作业的自定义镜像的容器的启动命令。形式为:“bash /home/work/run_train.sh python /home/work/user-job-dir/app/train.py {python_file_parameter}” 。 表2 create_job_version请求参数说明 参数 是否必选 参数类型 描述 job_id 是 String 训练作业的ID。job_id可通过创建训练作业生成的训练作业对象查询,如“job_instance.job_id”。或可通过查询训练作业列表的响应获取。 pre_version_id 是 Long 训练作业前一版本的ID。pre_version_id可通过创建训练作业生成的训练作业对象查询,如“job_instance.version_id”。或通过查询训练作业列表的响应获取。 inputs 是 String 训练作业的数据存储位置。inputs和dataset_id、dataset_version_id、data_source不可同时出现,但必须有其一。本地训练只支持该参数。 dataset_id 否 String 训练作业的数据集ID。应与dataset_version_id同时出现,但不可与inputs同时出现。获取数据集ID,请参见查看数据集的基本信息。 dataset_version_id 否 String 训练作业的数据集版本ID。应与dataset_id同时出现,但不可与inputs同时出现。数据集版本ID,请参见查看数据集的基本信息。 wait 否 Boolean 是否等待创建训练作业版本结束,默认为“False”。 job_desc 否 String 训练作业版本的描述。 表3 create_job_version成功响应说明 参数 类型 描述 TrainingJob Object 训练对象。该对象包含job_id、version_id等属性,及对训练作业的查询、更新、删除等操作,如可通过job_version_instance.job_id获取训练作业ID。
  • 购买并配置云容器引擎 本文档中使用的是云容器引擎CCE。 创建集群及节点。 本文档中建议参照表2完成集群配置(表中未涉及的可保留默认值)。 表2 CCE集群购买配置 配置分类 配置项 配置建议 基础配置 计费模式 选择“按需计费”。 集群名称 自定义。 企业项目 选择“default”。 集群版本 选择“v1.19” 网络配置 网络模型 选择“容器隧道网络”。 虚拟私有云 选择已有的虚拟私有云,若列表中没有选项,单击“创建虚拟私有云”完成创建。 控制节点子网 选择已有的子网,若列表中没有选项,单击“创建子网”完成创建。 服务网段 勾选“自动设置网段”。 本文档中建议参照表3完成节点配置(表中未涉及的可保留默认值)。 表3 节点配置 配置项 配置建议 计费模式 选择“按需计费”。 节点类型 选择“弹性云服务器-虚拟机”。 节点规格 选择“通用型”、2核8G及以上规格即可。 操作系统 选择“公共镜像 > EulerOS2.5” 登录方式 选择“密码”。 密码 自定义。 弹性公网IP 选择“自动创建”。 配置Kubectl。 登录云容器引擎控制台,在“集群管理”页面找到已购买的集群。 单击集群名称进入“集群信息”页面,单击“kubectl”后的“点击查看”,在弹框中下载kubectl配置文件至本地。 图1 下载kubectl配置文件 单击页面左上角图标,选择“弹性云服务器”。 找到购买集群时创建的节点主机,单击“远程登录”,打开并登录弹性云服务器。 依次输入以下命令,创建配置文件。 mkdir .kube cd .kubesudo vim config 复制kubectl配置文件的全部内容,粘贴至弹性云服务器中。 请确认已将kubectl配置文件的全部内容粘贴至弹性云服务器中,否则部署任务执行将会失败。 敲击Esc后,输入以下命令退出并保存kubectl配置文件。 :wq!
  • 云服务配置管理 物联网平台支持与华为云其它服务进行对接。首先通过华为云管理控制台获取“访问密钥(AK)”和“加密访问密钥(SK)”,在界面上输入AK和SK完成物联网平台与华为云的对接;然后用户在购买华为云其它云服务后,通过规则引擎功能将物联网平台的数据转发到用户购买的其它服务,或通过规则引擎功能与华为云的SMN服务对接。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和加密访问密钥一起使用,对请求进行加密签名。SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 AK和SK的获取方法 登录华为云,并进入管理控制台。 单击用户名下的“账号中心”,如下图所示。 在基本信息中,单击“管理我的凭证”,如下图所示。 在“我的凭证”页面中,选择“访问密钥”页签,并单击“新增访问密钥”。 输入当前用户的华为云登录密码,并输入短信验证码,单击“确定”按钮后,会自动下载访问密钥信息,包括“访问密钥(AK)”和“加密访问密钥(SK)”信息,请妥善保管。 登录园区物联网平台Console,点击右上角“进入园区物联网平台服务”。单击页面右上角的用户头像,在下拉菜单中选择“云服务配置管理”,输入AK和SK,点击“保存”,完成和华为云的对接。
  • 创建并部署前台应用组件 登录ServiceStage控制台,选择“应用管理 > 应用列表”。 单击创建应用时创建的应用名称(例如weathermap)“操作”栏的“新增组件”。 “配置方式”选择“自定义配置”。组件类型选择“微服务”,单击“下一步”。 图8 选择配置方式及组件类型 “选择运行时”选择“Docker”,单击“下一步”。 图9 选择运行时 “框架/服务网格”选择Mesher,单击“下一步”。 图10 选择框架/服务网格 设置组件信息,“组件名称”输入weathermapweb。 图11 设置组件信息 单击“创建并部署”,部署组件。 “环境”:选择创建环境时创建的环境(例如test-env)。 “部署版本”:输入1.0.0。 “部署系统”:选择“云容器引擎”。 “实例数量”:设置为1。 其他参数使用默认。 图12 设置组件基本配置 单击“下一步 组件配置”,进行组件配置。 “镜像”:单击“选择镜像”,在“我的镜像”页签搜索“weathermapweb”,选择创建组织创建的组织名称下的weathermapweb镜像包及其版本号,单击“确定”。 “微服务引擎”:默认选择创建环境时选择的微服务引擎。 应用组件部署以后,微服务会注册到设置的微服务引擎。 所有应用组件需要注册到同一个微服务引擎,才能互相发现。 其他参数使用默认配置。 图13 设置组件配置 单击“下一步 规格确认”,确认规格。 单击“部署”,部署组件。
  • 数据过滤高级设置 如果需要使用关联表查询,可以使用数据加工的高级设置功能。 在“数据加工”页面选择“数据过滤”。 在“对象选择”区域选择需要加工的表对象。 在过滤条件区域,填写联表查询过滤条件,例如:id1 in (select id from db1.tab1 where id >=3 and id <10),单击“校验”。 每张表仅支持添加一个校验规则。 数据过滤每次最多支持500张表。 过滤表达式不支持使用某种数据库引擎特有的package、函数、变量、常量等写法,须使用通用SQL标准。请直接输入SQL语句中WHERE之后的部分(不包含WHERE和分号,例如:sid > 3 and sname like "G %"),最多支持输入512个字符。 不支持对LOB字段设置过滤条件,如CLOB、BLOB、BYTEA等大字段类型。 建议不要对非精确类型字段设置过滤条件,如FLOAT、DECIMAL、DOUBLE等。 建议不要对带有特殊字符的字段设置过滤条件。 不建议使用非幂等表达式或函数作为数据加工条件,如SYSTIMESTAMP,SYSDATE等,因其每次调用返回的结果可能会有差异,导致达不到预期。 校验通过后,单击“生成加工规则”,即可在加工规则表格中看到该规则。 在“高级设置”中设置关联表的“配置条件”和“配置规则”,辅助您进行数据过滤。 图4 高级设置 在“配置条件”中,根据在3输入的过滤条件,填写关联表的相关信息。 “库名”、“表名”、“列名”、“主键”、“索引”和“过滤条件”均为必填项。如果该表没有索引,则填写主键。 “过滤条件”即在3输入的该关联表的过滤条件。 填写完成,单击“校验规则”。 校验成功后,单击“生成配置规则”。即可在配置规则表格中看到该规则。 如果需要进行多张关联表的数据过滤,重复执行5即可。 配置规则支持删除操作。 检查无误后,单击“下一步”,进入下一步操作。
  • 约束条件 当“不检测类型”配置为“所有检测模块”时,通过WAF配置的其他所有的规则都不会生效,WAF将放行该域名下的所有请求流量。 当“不检测类型”配置为“Web基础防护模块”时,仅对WAF预置的Web基础防护规则和网站反爬虫的“特征反爬虫”拦截或记录的攻击事件可以配置全局白名单(原误报屏蔽)规则,防护规则相关说明如下: Web基础防护规则 防范SQL注入、XSS跨站脚本、远程溢出攻击、文件包含、Bash漏洞攻击、远程命令执行、目录遍历、敏感文件访问、命令/代码注入等常规的Web攻击,以及Webshell检测、深度反逃逸检测等Web基础防护。 网站反爬虫的“特征反爬虫”规则 可防护搜索引擎、扫描器、脚本工具、其它爬虫等爬虫。 添加或修改防护规则后,规则生效需要等待几分钟。规则生效后,您可以在“防护事件”页面查看防护效果。 您可以通过处理误报事件来配置全局白名单(原误报屏蔽)规则,处理误报事件后,您可以在全局白名单(原误报屏蔽)规则列表中查看该误报事件对应的全局白名单(原误报屏蔽)规则。 目前以下区域支持全局白名单(原误报屏蔽)规则: 华北-北京一 华北-北京四 华东-上海二 华南-广州
  • 操作步骤(旧版) 登录管理控制台。 单击管理控制台左上角的,选择区域或项目。 单击页面左上方的,选择“安全与合规 > Web应用防火墙 WAF”。 在左侧导航树中,选择“网站设置”,进入“网站设置”页面。 在网站列表左上角,单击“添加防护网站”。 选择“独享模式”后,在页面配置域名基本信息,相关参数说明如表3所示。 图5 配置网站基本信息 表3 基本信息参数说明 参数 参数说明 取值样例 网站名称 网站的名称。 - 防护对象 防护的域名或IP,域名支持单域名和泛域名。 单域名:输入防护的单域名。例如:www.example.com。 泛域名 说明: 泛域名不支持下划线(_)。 如果各子域名对应的服务器IP地址相同:输入防护的泛域名。例如:子域名a.example.com,b.example.com和c.example.com对应的服务器IP地址相同,可以直接添加泛域名*.example.com。 如果各子域名对应的服务器IP地址不相同:请将子域名按“单域名”方式逐条添加。 单域名:www.example.com 泛域名:*.example.com IP:XXX.XXX.1.1 端口 可选参数,仅当用户勾选“非标准端口”时需要配置。端口的配置示例如配置示例一:防护同一端口的不同源站IP的标准端口业务。 “对外协议”选择“HTTP”时,WAF默认防护“80”标准端口的业务;“对外协议”选择“HTTPS”时,WAF默认防护“443”标准端口的业务。 如需配置除“80”/“443”以外的端口,勾选“非标准端口”,在“端口”下拉列表中选择非标准端口。 Web应用防火墙支持的非标准端口请参见Web应用防火墙支持哪些非标准端口?。 说明: 如果配置了非标准端口,访问网站时,需要在网址后面增加非标准端口进行访问,否则访问网站时会出现404错误。 81 网站备注 网站补充信息。 - 服务器配置 网站服务器地址的配置。包括对外协议、源站协议、VPC、源站地址和源站端口。 对外协议:客户端请求到WAF独享引擎使用的协议。包括“HTTP”、“HTTPS”两种协议类型。 源站协议:客户端请求经过WAF独享引擎转发到源站时使用的协议。包括“HTTP”、“HTTPS”两种协议类型。 说明: 对外协议与源站协议的具体配置规则,请参见对外协议与源站协议配置规则。 WAF支持WebSocket/WebSockets协议,且默认为开启状态。 VPC:选择独享引擎实例所在的VPC。 源站地址:客户端(例如浏览器)访问的网站服务器的私网IP/内网IP地址或域名。 源站端口:WAF独享引擎转发客户端请求到服务器的业务端口。 对外协议:HTTP 源站协议:HTTP VPC:vpc-default 源站地址: 192.168.1.1 源站端口:80 证书名称 “对外协议”设置为“HTTPS”时,需要选择证书。您可以选择已创建的证书或选择导入的新证书。导入新证书的操作请参见导入新证书。 创建证书的操作,请参见上传证书。 您也可以在SCM管理控制台购买证书并推送到WAF。有关SCM证书推送到WAF的详细操作,请参见推送证书到云产品。 须知: WAF当前仅支持PEM格式证书。如果证书为非PEM格式,请参考导入新证书将证书转换为PEM格式,再上传。 目前华为云SCM证书只能推送到“default”企业项目下。如果您使用其他企业项目,则不能选择使用SCM推送的SSL证书。 域名和证书需要一一对应,泛域名只能使用泛域名证书。如果您没有泛域名证书,只有单域名对应的证书,则只能在WAF中按照单域名的方式逐条添加域名进行防护。 -- 选择“是否已使用代理”。 为了保证WAF的安全策略能够针对真实源IP生效,成功获取Web访问者请求的真实IP地址,如果WAF前没有使用CDN、云加速等七层等代理服务器,且ELB使用的是四层负载均衡(NAT等方式),“是否已使用代理”务必选择“否”,其他情况,“是否已使用代理”选择“是”。 选择“策略配置”,默认为“系统自动生成策略”。 您也可以选择已创建的防护策略或在域名接入后根据防护需求配置防护规则。 系统自动生成的策略说明如下: Web基础防护(“仅记录”模式、常规检测) 仅记录SQL注入、XSS跨站脚本、远程溢出攻击、文件包含、Bash漏洞攻击、远程命令执行、目录遍历、敏感文件访问、命令/代码注入等攻击行为。 网站反爬虫(“仅记录”模式、扫描器) 仅记录漏洞扫描、病毒扫描等Web扫描任务,如OpenVAS、Nmap的爬虫行为。 “仅记录”模式:发现攻击行为后WAF只记录攻击事件不阻断攻击。 单击“确定”,防护网站添加成功。 图6 域名配置完成 单击“配置策略”,您可以为防护网站配置防护策略。 单击“继续添加域名”,您可以继续添加防护网站。 关闭对话框,您可以在防护网站列表中查看已添加防护网站。
  • API概览 通过使用GaussDB(for MySQL)接口,您可以使用GaussDB(for MySQL)查询资源配额、设置资源配额、修改资源配额的功能。 类型 说明 查询数据库引擎的版本 获取指定数据库引擎对应的数据库版本信息。 查询数据库规格 获取指定数据库引擎版本对应的规格信息。 实例管理 包含创建实例、查询实例列表、查询实例详细信息、删除实例、新增只读节点、删除只读节点、扩容包周期实例磁盘容量、修改实例名称、重置数据库密码、变更数据库实例的规格接口。 备份管理 包含创建手动备份、查询备份列表、查询自动备份策略、修改自动备份策略接口。 参数模板管理 包含查询参数模板接口。 配额管理 包含查询资源配额、设置资源配额、修改资源配额接口。 获取任务信息 获取任务中心的任务信息。 数据库代理 包含查询数据库代理信息、查询数据库代理规格信息、开启数据库代理和关闭数据库代理接口。 日志管理 包含查询数据库错误日志和查询数据库慢日志接口。
  • 升级独享引擎实例版本 当实例的“运行状态”为“运行中”时,您可以通过升级操作,将WAF独享引擎实例升级到最新版本。 升级大约需要5分钟,执行升级前请注意: 当业务部署多个独享引擎实例时,如果您已经在ELB上配置了健康检查策略,系统会自动将流量切换到其它正在运行的独享引擎实例上,业务几乎无影响(可能会出现几秒的请求闪断重连)。 当业务只部署一个独享引擎实例,为了避免升级导致业务中断,在升级前请先配置ELB,使流量不经过WAF,然后再执行升级操作。当升级完成后,再配置ELB使流量切入WAF。 当实例为最新版本时,“升级”按钮为灰化状态。 登录管理控制台。 单击管理控制台左上角的,选择区域或项目。 单击页面左上方的,选择“区域”,选择“安全与合规 > Web应用防火墙”,进入“安全总览”页面。 在左侧导航树中,选择“系统管理 > 独享引擎”,进入“独享引擎”页面。 图5 独享引擎列表 在目标实例所在行的“操作”列,单击“更多 > 升级”。 在弹出的对话框中,确认并勾选业务满足后对话框所描述的条件后,单击“确定”,升级实例版本。 图6 升级独享引擎实例版本
  • 云服务配置管理 物联网平台支持与华为云其它服务进行对接。首先通过华为云管理控制台获取“访问密钥(AK)”和“加密访问密钥(SK)”,在界面上输入AK和SK完成物联网平台与华为云的对接;然后用户在购买华为云其它云服务后,通过规则引擎功能将物联网平台的数据转发到用户购买的其它服务,或通过规则引擎功能与华为云的SMN服务对接。 AK(Access Key ID):访问密钥ID。与私有访问密钥关联的唯一标识符;访问密钥ID和加密访问密钥一起使用,对请求进行加密签名。SK(Secret Access Key):与访问密钥ID结合使用的密钥,对请求进行加密签名,可标识发送方,并防止请求被修改。 AK和SK的获取方法 登录华为云,并进入管理控制台。 单击用户名下的“账号中心”,如下图所示。 在基本信息中,单击“管理我的凭证”,如下图所示。 在“我的凭证”页面中,选择“访问密钥”页签,并单击“新增访问密钥”。 输入当前用户的华为云登录密码,并输入短信验证码,单击“确定”按钮后,会自动下载访问密钥信息,包括“访问密钥(AK)”和“加密访问密钥(SK)”信息,请妥善保管。 登录园区物联网平台Console,点击右上角“进入园区物联网平台服务”。单击页面右上角的用户头像,在下拉菜单中选择“云服务配置管理”,输入AK和SK,点击“保存”,完成和华为云的对接。
  • 注册发现 微服务引擎专业版(Cloud Service Engine)限制请参见表1。 表1 微服务引擎专业版限制 项目 限制 心跳上报 每个微服务实例最频繁每30s一次 服务发现 每个微服务实例最频繁每30s一次 微服务实例注册 每秒10个 微服务引擎专享版限制请参见表2。 表2 微服务引擎专享版限制(最高规格) 项目 限制 备注 心跳上报 每个微服务实例最频繁每20s一次 总限流为2000tps 服务发现 每个微服务实例最频繁每20s一次 - 微服务实例注册 每秒1000个 -
  • 修改告警规则 登录GaussDB(DWS) 管理控制台。 在左侧导航栏,单击“告警管理”,切换至“告警”页签。 单击左上角的“查看告警规则”按钮,进入告警规则页面。 在指定告警规则名称所在行操作列,单击“修改”按钮进入修改告警规则页面。 告警规则名称 规则描述 规则绑定集群:用户可在该下拉框中选择当前租户下的集群作为告警模块的监控集群。 策略触发关系: 相互独立:各个告警策略之间互相独立触发。 按优先级:各个告警策略之间按照排列的先后顺序触发,当高优先级策略触发后低优先级策略就不会再做判断。 告警策略: 指标名称:GaussDB(DWS) 数据仓库的监控指标,告警引擎用来做阈值判断的数据源。 触发条件:定义对监控指标做阈值判断的计算规则。目前主要使用一段时间内的平均值来降低告警震荡的几率。 抑制条件:在指定的时间段内,抑制同类型告警的反复触发和消除。 告警级别:告警的严重程度,包含紧急、重要、次要和提示。 用户只能修改部分默认规则的选项(规则绑定集群,告警策略的触发阈值、数据抓取区间和告警抑制条件),可修改自定义规则的全部选项。 确认无误后,单击“确认”。
  • 自适应物化视图匹配规则说明 查询原始表的SQL最终是否能自适应转化为查询物化视图的SQL,需要满足如下匹配规则: SQL查询的表需要存在关联的物化视图。 创建的物化视图引擎为AggregatingMergeTree时才支持该功能。 SQL查询的SELECT字段中需要存在聚合函数,且该聚合函数在物化视图中也存在。 SQL查询若存在GROUP BY子句,则要求该字段在物化视图的GROUP BY子句中也存在。 物化视图若存在WHERE子句,则要求SQL查询的WHERE子句与物化视图WHERE子句完全相同。PREWHERE和HAVING匹配规则和WHERE使用规则一致。 SQL查询的字段在物化视图中需要存在。 如果有多组物化视图满足以上要求,则不对SQL查询进行自适应匹配,继续使用原SQL查询。 常见的自适应物化视图匹配失败问题案例可以参考自适应物化视图匹配失败常见案例。
  • 部署华为云区块链引擎实例 完成环境准备工作后,可按照如下步骤购买并部署华为云区块链引擎实例。 登录区块链服务管理控制台,进入“实例管理”,在华为云区块链引擎卡片上单击“购买”。 已部署的实例,单击左侧导航栏中的“实例管理”,单击右侧的“操作记录”,查看操作记录并在实例右侧进行“操作详情”及“删除”操作。 根据界面提示,配置区块链基本信息,参数如表1所示。 表1 基本信息配置 参数 描述 示例 管理模式 选择云端管理:使用华为云资源管理区块链数据。 云端管理 计费模式 华为云区块链引擎的收费模式,支持包年/包月。 包年/包月 区域 区块链基础设施所在的区域,建议选择与业务应用系统相同的地域。 使用默认区域 区块链实例名称 支持英文字符、数字及中划线,不能以中划线开头,长度为4-24个字符。 说明: 目前区块链实例名称不支持修改,只能删除重新创建。 bcs-hw 版本类型 提供专业版、企业版和铂金版供您选择。 专业版 组织配置 支持增加组织成员数。 专业版支持最大成员组织数2个,企业版支持最大成员组织数10个,铂金版支持最大成员组织数100个。 - 高级设置 共识策略:区块链网络中节点之间达成共识需要遵从的规则。默认为Raft(CFT)策略。 安全机制:保证数据安全的加密算法,默认为ECDSA;支持国密算法。 - 购买时长 支持自定义购买实例的使用时间,最短1个月。 您可根据需要选择勾选自动续费,按月购买的自动续费周期为1个月,按年购买的自动续费周期为1年。 1个月 单击“立即创建”。 确认配置信息无误后,勾选协议和免责声明,并单击“提交”。 进入支付页面,确认订单费用无误后,单击“确认付款”,订单支付成功后,即可返回区块链服务控制台查看正在创建的实例。 实例创建大概需要18-25分钟,请耐心等待。实例创建成功后,查看实例状态变为“正常”后,表示华为云区块链引擎实例部署完成。
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total Integer 当前微服务引擎专享版总个数。 data Array of EngineInfo objects 微服务引擎专享版详情。 表5 EngineInfo 参数 参数类型 描述 id String 微服务引擎专享版ID。 name String 微服务引擎专享版名称。 enterpriseProjectId String 微服务引擎专享版引擎所属企业项目ID。 enterpriseProjectName String 微服务引擎专享版引擎所属企业项目名称。 type String 引擎的类型,CSE为微服务引擎专享版。 description String 微服务引擎专享版描述。 flavor String 微服务引擎专享版规格。 payment String 微服务引擎专享版计费方式,0表示包周期,1表示按需,2表示免费。 authType String 微服务引擎专享版认证方式,RBAC为安全认证,NONE为无认证。 status String 微服务引擎专享版当前状态。 externalAddress String 微服务引擎专享版租户侧VPC内访问地址。 serviceEndpoint Object 微服务引擎专享版组件租户侧VPC内访问地址。 publicAddress String 微服务引擎专享版公网访问地址,需要开启公网访问。 publicServiceEndpoint Object 微服务引擎专享版组件公网访问地址,需要开启公网访问。 totalInstance Integer 微服务引擎专享版可支持的实例总数。 usedInstance Integer 已使用的实例总数。 availableInstance Integer 可用的实例总数。 version String 微服务引擎专享版当前版本。 latestVersion String 微服务引擎专享版最新版本。 createTime Integer 微服务引擎专享版创建时间。 dueTo Integer 微服务引擎专享版到期时间。 latestJobId Integer 微服务引擎专享版最近的任务ID。 engineAdditionalActions Array of String 微服务引擎专享版允许的附加操作。 Delete:删除。 ForceDelete:强制删除。 Upgrade:升级。 Retry:重试。 specType String 微服务引擎专享版部署类型。固定值:CSE2。 reference Object 微服务引擎专享版附加信息。 表6 Endpoint 参数 参数类型 描述 kie Object 配置中心Endpoint信息。 serviceCenter Object 服务中心Endpoint信息。 表7 EntryPoint 参数 参数类型 描述 masterEntrypoint String 微服务引擎专享版组件VPC内ipv4主访问地址。 masterEntrypointIpv6 String 微服务引擎专享版组件VPC内ipv6主访问地址。 slaveEntrypoint String 微服务引擎专享版组件VPC内ipv4备访问地址。 slaveEntrypointIpv6 String 微服务引擎专享版组件VPC内ipv6备访问地址。 type String 微服务引擎专享版组件类型。 CSE:专享版引擎。 表8 EngineReference 参数 参数类型 描述 vpc String vpc名称。 vpcId String vpc的id,长度不超过64位。 azList Array of String 微服务引擎专享版部署可用区列表。 networkId String 微服务引擎专享版子网网络ID。 subnetCidr String 微服务引擎专享版ipv4子网划分。 subnetCidrV6 String 微服务引擎专享版ipv6子网划分。 subnetGateway String 微服务引擎专享版子网网关。 publicIpId String 微服务引擎专享版公网地址ID,需要开启公网访问。 serviceLimit Integer 套餐可支持的微服务总数。 instanceLimit Integer 套餐可支持的实例总数。 inputs Map 微服务引擎专享版附加参数。 状态码: 400 表9 响应Body参数 参数 参数类型 描述 errorCode String 错误代码。 errorMessage String 错误信息。 detail String 详细定位信息。 状态码: 500 表10 响应Body参数 参数 参数类型 描述 errorCode String 错误代码。 errorMessage String 错误信息。 detail String 详细定位信息。
  • 使用流程 华为云区块链引擎服务(Huawei Cloud Blockchain Service,简称HBS)提供服务部署、区块链管理、业务链管理等功能。以下为华为云区块链引擎服务使用全景图,希望对您的使用有所引导及帮助。 HBS本身不涉及用户敏感信息。使用HBS处理数据的目的、范围、处理方式、时限等请遵从当地适用的法律法规。HBS本身不建议传输和存储敏感数据,如果传输和存储敏感数据,请自行加密后再传输和存储。 图1 华为云区块链引擎使用流程 注册帐号 新用户请先注册完成实名认证,具体请参见帐号注册和帐号实名认证。 权限管理 创建用户并授权使用HBS。 服务部署 购买华为云区块链引擎服务。 服务管理 提供华为云区块链引擎管理功能,可实时查看华为云区块链引擎服务运行状况,并对华为云区块链引擎服务做相应的操作。 管理区块链 提供界面化合约管理功能,包括合约安装、更新合约。 下载配置文件 开发应用之前需要进行配置文件下载,配置文件中包含用户证书和SDK。 设置配额 支持查看服务的配额使用情况和扩大配额。
  • 操作步骤 进入好望商城页面。 单击页面Banner处“进入商城”按钮,进入算法模型商品列表页。 在商品列表页单击“算法上传”,进入算法管理页面。 填写算法信息和产品属性,单击“下一步”。 待算法审核通过后,单击右侧操作栏的“商品发布”,前往卖家中心发布算法模型商品。 在页面上方的商品接入类型中选择“算法模型”。根据页面提示信息,填写“商品名称”、“商品版本”,并上传“商品LOGO”。 商品名称需填写中文与英文两个版本,英文版在用户的消费账单(切英文语言)页面对用户可见。 页面参数设置请参考商品发布说明。 单击“下一步”。 进入“基本信息”页面。 根据页面提示,填写商品信息(包括“商品主图与视频”、“商品简介”、“商品说明”、“商品亮点”)和客户案例。 商品说明编辑框支持正文、标题和图片组合输入。为保障在详情页的展示质量,请确保: 1、若为纯文字说明,内容不低于400字符; 2、若为图文说明,图片支持JPG/JPEG/PNG格式,图片要求宽度为900~1200px,高度不小于800px,最多可上传5张图片;图片在详情页将按宽为1136px百分百缩放展示。 可查看参考样例。 将鼠标放置商品说明编辑框右下角可拉长编辑框,便于文字编辑。 当鼠标移至已添加成功的客户案例区域,可以执行删除、编辑操作。 单击“下一步”。 进入“资质信息”页面。 根据页面提示信息,设置“商品服务协议”、“服务与支持”,上传“使用指南”、“软件著作权证书”、“开源软件声明”。 填写商品服务协议时,您可以在卖家中心商品服务协议编辑框下方单击“参考样例”,下载协议模板作为参考。 请将与商品名称相符的软件著作权证书上传至“软件著作权证书”中,此证书将作为运营审核您发布的商品是否符合上架要求的依据,上传后的商品资质证书不会在商品详情页展示。 单击“下一步”。 进入“业务信息”页面。 根据页面提示信息,填写商品属性、商品规格和搜索引擎优化信息。 搜索引擎优化信息 请严格按照填写指南的说明进行填写,配置适合商品的优化信息,利于百度等第三方搜索引擎收录。 其中,商品属性和商品规格的填写要求如下: 表1 商品属性 参数名称 填写规范 是否公开销售 保持默认值“否” 商品分类 请选择“企业应用 > 商业智能” 商品标签 请选择“视频应用” 结算ISV 算法公开销售后,订单结算所使用的ISV账号 合同名称/结算规则 填写合同的名称和结算规则 须知: 必须选择对应公司的合同名称,如“华为云云商店服务商合作协议-XXX公司”,选择不正确将影响该商品的分成结算。 表2 商品规格 参数名称 填写规范 规格名称 规格命名应有一定规则,不能简单地以“规格1”、“规格2”类似命名,不能简单地以计费方式“年”、“月”类似命名,不能简单地以计数单位“套”、“次”、“一套”类似命名。 计费方式 要求必须同时配置以下两种计费方式,且每种计费方式最多添加一次。 免费体验包:必须选择“按次套餐包” 套餐包配额:只能填写为“5”或者“10”,表示支持试用的路数 价格(元):固定为“0” 按需购买:必须选择“按次” 元/路:根据使用路数设置商品价格 选择算法 若为免费体验包,则选择“应用规格”为“免费体验包”的算法。 若为按需购买,则选择“应用规格”为“按需购买-1个月有效”、“按需购买-1年有效”或“按需购买-永久有效”的算法。 填写规格名称、计费方式等信息,如下图所示。 图1 免费体验包规格 图2 按需购买规格 预览无误后,单击“提交”。 系统提示“你确认要提交该商品吗?”。 单击“是”。 系统提示“发布商品成功!请等待审批!”。 在卖家中心上传文档、软件等的单日最大上传量为10GB,每天最多上传100个文件。 华为云云商店会对您提供的商品信息进行审核,商品审核SLA默认为3个工作日,当您在1个自然日内提交10个及以上的商品发布申请时,我们会参考具体商品数量延长审核SLA。审核结果会以邮件形式通知到贵司账号绑定的邮箱中,请注意查收;只有所有信息通过审核,您发布的商品才会正式上架。 用户购买后的使用操作,可参考HoloSens算法模型类商品使用指导。
  • 字段说明 表1 字段说明 属性 是否必选 参数类型 描述 storageEngine 是 string 数据库的存储引擎名 取值说明:wiredTiger 取值约束:仅可填写wiredTiger 使用建议:根据规格按需选择 dbtype 是 string 数据库的类型 取值说明:DDS-Community 取值约束:仅可填写DDS-Community 使用建议:根据规格按需选择 version 是 string 数据库的版本 取值说明:Mongo引擎支持4.0、3.2、3.0版本。取值示例:4.0。 取值约束:{u'valid_values': [u'4.0', u'3.4', u'3.2'], u'disable': True} 使用建议:根据规格按需选择
  • 问题描述 在对微服务引擎专享版执行创建、删除、变更规格、升级等操作时,可能会遇到非微服务引擎本身的错误。 例如,在创建微服务引擎专享版时,集群部署失败,报错如下: {"error_code":"SVCSTG.00500400","error_message":"{\"kind\":\"Status\",\"apiVersion\":\"v1\",\"metadata\":{},\"status\":\"Failure\",\"code\":400,\"errorCode\":\"CCE.01400013\",\"errorMessage\":\"Insufficient volume quota.\",\"error_code\":\"CCE_CM.0307\",\"error_msg\":\"Volume quota is not enough\",\"message\":\"volume quota checking failed as [60/240] insufficient volume size quota\",\"reason\":\"QuotaInsufficient\"}"}
  • 资源和成本规划 该解决方案主要部署如下资源,每月花费如表1所示,具体请参考华为云官网价格详情,实际收费以账单为准: 表1 资源和成本规划 产品 配置示例 成本预估/月 云数据库 按需计费:1.37元/小时,更多计费详情请参见价格详情。 区域:华北-北京四 计费模式:按需计费 数据库引擎:MySQL 数据库版本:5.7 实例类型:主备 存储类型:SSD云盘 性能规格:通用性 2 vCPUs | 8 GB 存储空间:100GB 购买数量:1 986.40 数据复制服务 按需计费:2.36元/小时,更多计费详情请参见价格详情。 区域:华北-北京四 计费模式:按需计费 任务类型:实时同步 数据流动方向:出云 源数据库引擎:MySQL 目标数据库引擎:CSS/ES 网络类型:VPC网络 2.36元/小时 (具体花费根据实际数据传输量估算) 云搜索服务 按需计费:4.23元/小时,更多计费详情请参见价格详情。 区域:华北-北京四 计费模式:按需计费 集群类型:Elasticsearch 数据库版本:7.9.3 节点数量:3 节点规格:ess.spec-4u8g 4 vCPUs | 8 GB 节点储存:超高I/O 存储空间:100GB 购买数量:1 3045.60元 合计 — 4032.00元 + 数据传输配置费(2.36元/GB)
  • 操作步骤 以租户管理员角色登录客户服务云,选择“ > 知识管理 > 栏目知识”。 单击“新增知识”,进入知识采编页面。 图1 知识基本信息 按照页面要求配置普通知识基本信息,其中“知识类型”选择普通知识。 业务状态:用于设置栏目知识的业务状态,存储数据使用。 是否更新索引:知识发布后是否同步该知识到搜索引擎,选择“是”,则在知识发布后,同步知识信息到VSearch搜索引擎,选择“否”,发布后不同步。 (可选)附件:在弹出的“上传附件”页面,单击“”上传需要的附件内容,确认附件信息无误后,单击“上传”关闭界面,也可以单击“关闭”取消附件上传。 附件只支持以下格式:doc、docx、ppt、pptx、xls、xlsx、pdf、png、jpg、gif,附件大小不能超过10M。 核对知识信息无误后,单击“保存”。 在弹出的操作成功提示界面,单击“确认”关闭当前窗口,进入知识内容配置界面。 输入知识内容,可在工具栏中配置内容格式,请参考图 普通知识内容。 图2 普通知识内容 :插入/编辑多媒体,“普通”配置多媒体信息地址,设置宽高,“内嵌”配置多媒体内嵌代码,“高级”配置多媒体代替地址和封面(图片地址)。 :插入特殊符号,包含货币、文字、引用、数学、拉丁语扩充、符号、箭头类型的符号,以供使用。 :预览,可以在编辑知识内容过程中,提前预览该知识在知识主页中的展示效果。 :内容模板,引用已发布的内容模板。 使用内容模板后,自主编辑的内容会被覆盖,请谨慎操作。 使用内容模板后,展示内容模板相关的编辑规范。编辑规范窗口支持移动和收起操作,不支持关闭编辑规则窗口。 确认输入信息内容无误后,单击“保存”。 在弹出的操作成功提示界面,单击“确认”关闭当前窗口,进入知识扩展信息界面。 图3 知识扩展信息 配置知识扩展信息。 添加属性:在弹出的“扩展属性”页面选择扩展信息,单击“保存”选择扩展信息,也可以单击“关闭”取消扩展属性选择,已选择的扩展属性,可以单击“删除属性”,删除不需要的扩展属性,也可以单击“上移”、“下移”,选择属性展示位置。 核对信息无误后,单击“提交”,普通知识采编完成。
  • 响应消息 响应参数如表3所示。 表3 响应参数 参数 参数类型 说明 is_success Boolean 请求是否成功。 error_message String 调用失败时的错误信息。 调用成功时无此字段。 error_code String 调用失败时的错误码,具体请参见错误码。调用成功时无此字段。 config_name String 训练作业参数的名称。 config_desc String 训练作业参数的描述信息。 worker_server_num Integer 训练作业worker的个数。 app_url String 训练作业的代码目录。 boot_file_url String 训练作业的代码启动文件。 model_id Long 训练作业的模型ID。 parameter JSON Array 训练作业的运行参数,为“label-value”格式;当为自定义镜像训练作业的时候,此参数为容器环境变量。详情请查看表8 spec_id Long 训练作业资源规格ID。 data_url String 训练作业的数据集。 dataset_id String 训练作业的数据集ID。 dataset_version_id String 训练作业的数据集版本ID。 data_source JSON Array 训练作业使用的多数据集。详情请查看表4。 engine_type Integer 训练作业的引擎类型。 engine_name String 训练作业的引擎名称。 engine_id Long 训练作业的引擎ID。 engine_version String 训练作业使用的引擎版本。 train_url String 训练作业的输出文件OBS路径URL,默认为空,如“/usr/train/”。 log_url String 训练作业的日志OBS输出路径URL,默认为空。如:“/usr/train/”。 user_image_url String 自定义镜像训练作业的自定义镜像的SWR-URL。 user_command String 自定义镜像训练作业的自定义镜像的容器的启动命令。 spec_code String 训练作业资源规格。 gpu_type String 资源规格gpu的类型。 create_time Long 训练作业参数创建时间 。 cpu String 资源规格CPU内存。 gpu_num Integer 资源规格gpu的个数。 core String 资源规格的核数。 dataset_name String 训练作业的数据集名称。 dataset_version_name String 训练作业的数据集名称。 pool_id String 资源池ID。 pool_name String 资源池名称。 volumes JSON Array 训练作业可使用的存储卷。具体请参见表5。 nas_mount_path String SFS Turbo (NAS) 训练本地挂载路径。如:“/home/work/nas”。 nas_share_addr String SFS Turbo (NAS) 共享路径。如:“192.168.8.150:/”。 nas_type String 当前仅支持 nfs。如:“nfs”。 表4 data_source属性列表 参数 参数类型 说明 dataset_id String 训练作业的数据集ID。 dataset_version String 训练作业的数据集版本ID。 type String 数据集类型。 “obs”:表示使用OBS的数据。 “dataset”:表示使用数据集的数据。 data_url String OBS的桶路径。
  • 示例代码 在ModelArts notebook平台,Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 示例一:使用OBS存储位置创建训练作业 1 2 3 4 5 6 7 8 9101112131415161718192021 from modelarts.session import Sessionfrom modelarts.estimator import Estimatorsession = Session()estimator = Estimator( modelarts_session=session, framework_type='PyTorch', # AI引擎名称 framework_version='PyTorch-1.0.0-python3.6', # AI引擎版本 code_dir='/bucket/src/', # 训练脚本目录 boot_file='/bucket/src/pytorch_sentiment.py', # 训练启动脚本目录 log_url='/bucket/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/bucket/output/', # 训练输出目录 train_instance_type='modelarts.vm.cpu.2u', # 训练环境规格 train_instance_count=1, # 训练节点个数 job_description='pytorch-sentiment with ModelArts SDK') # 训练作业描述job_instance = estimator.fit(inputs='/bucket/data/train/', wait=False, job_name='my_training_job') 示例二:使用数据集创建训练作业 1 2 3 4 5 6 7 8 9101112131415161718192021 from modelarts.session import Sessionfrom modelarts.estimator import Estimatorsession = Session()estimator = Estimator( modelarts_session=session, framework_type='PyTorch', # AI引擎名称 framework_version='PyTorch-1.0.0-python3.6', # AI引擎版本 code_dir='/bucket/src/', # 训练脚本目录 boot_file='/bucket/src/pytorch_sentiment.py', # 训练启动脚本目录 log_url='/bucket/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/bucket/output/', # 训练输出目录 train_instance_type='modelarts.vm.cpu.2u', # 训练环境规格 train_instance_count=1, # 训练节点个数 job_description='pytorch-sentiment with ModelArts SDK') # 训练作业描述job_instance = estimator.fit(dataset_id='4AZNvFkN7KYr5EdhFkH', dataset_version_id='UOF9BIeSGArwVt0oI6T', wait=False, job_name='my_training_job') 示例三:创建自定义镜像的训练作业 1 2 3 4 5 6 7 8 910111213141516171819 from modelarts.session import Sessionfrom modelarts.estimator import Estimatorsession = Session()estimator = Estimator( modelarts_session=session, log_url='/bucket/log/', # 训练日志目录 hyperparameters=[ {"label":"classes", "value": "10"}, {"label":"lr", "value": "0.001"} ], output_path='/bucket/output/', # 训练输出目录 train_instance_type='modelarts.vm.cpu.2u', # 训练环境规格 train_instance_count=1, # 训练节点个数 user_command='bash -x /home/work/run_train.sh python /home/work/user-job-dir/app/mnist/mnist_softmax.py --data_url /home/work/user-job-dir/app/mnist_data', # 自定义镜像启动命令 user_image_url='100.125.5.235:20202/jobmng/cpu-base:1.0', # 自定义镜像下载地址 job_description='pytorch-sentiment with ModelArts SDK') # 训练作业描述job_instance = estimator.fit(inputs='/bucket/data/train/', wait=False, job_name='my_training_job')
  • 背景信息 随着大规模图像检索、视频搜索、人脸识别、推荐等场景的数据规模越来越大,对高维空间向量检索的时延和准确率提出了更高的要求。云搜索服务针对大规模的向量检索场景提供了具体的解决方案,基于自研的向量搜索引擎,结合Elasticsearch的插件机制,高效集成了向量检索能力,能够同时满足高性能、高精度、低成本、多模态等多种高维向量检索场景。 相比于原生Elasticsearch自带的densevector暴力扫描的方式进行最近邻检索,云搜索服务内置了丰富的向量索引加速算法,更加高效。相比于开源向量检索引擎比如faiss、nmslib等,具备分布式、多副本、错误恢复、快照、权限控制等功能,兼容所有原生Elasticsearch生态,支持对接kibana、logstash等。 仅7.6.2和7.10.2版本的集群支持向量检索。 向量检索插件涉及较高的内存计算,内存要求比普通索引高,建议集群规格配置为内存优化型的计算规格。
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 versions Array of EsflavorsVersionsResp objects 引擎版本列表。 表3 EsflavorsVersionsResp 参数 参数类型 描述 version String Esasticsearch引擎版本号。详细请参考CSS支持的集群版本。 flavors Array of EsflavorsVersionsFlavorsResp objects 规格列表。 type String 实例类型,包括为ess、ess-cold、ess-master和ess-client。 表4 EsflavorsVersionsFlavorsResp 参数 参数类型 描述 cpu Integer 实例的CPU核数。 ram Integer 实例的内存大小。单位GB。 name String 规格名称。 region String 可用region。 diskrange String 实例的硬盘容量范围。 availableAZ String 可用区。 flavor_id String 规格对应的ID。
  • 数据过滤 数据过滤规则添加后,在源库执行更新操作的处理原则,以数据一致为首要目标。即: 更新前不符合过滤条件,更新后符合。继续同步,在目标库执行相同的更新操作,如果匹配不到数据,则会忽略,会导致数据不一致。 更新前符合过滤条件,更新后不符合。继续同步,在目标库执行相同的更新操作。 在“数据加工”页面选择“数据过滤”。 图3 数据过滤 在“对象选择”区域选择需要加工的表对象。 在过滤条件区域,填写过滤条件(只需填写SQL语句的WHERE之后部分,例如id=1)后,单击“校验规则”。 每张表仅支持添加一个校验规则。 数据过滤每次最多支持500张表。 过滤表达式不支持使用某种数据库引擎特有的package、函数、变量、常量等写法,须使用通用SQL标准。请直接输入SQL语句中WHERE之后的部分(不包含WHERE和分号,例如:sid > 3 and sname like "G %"),最多支持输入512个字符。 过滤条件填写的SQL语句中,关键字需要用反引号,datatime类型(包含日期和时间)需要用单引号,例如:`update` > '2022-07-13 00:00:00' and age >10。 不支持对LOB字段设置过滤条件,如CLOB、BLOB、BYTEA等大字段类型。 建议不要对非精确类型字段设置过滤条件,如FLOAT、DECIMAL、DOUBLE等。 建议不要对带有特殊字符的字段设置过滤条件。 不建议使用非幂等表达式或函数作为数据加工条件,如SYSTIMESTAMP,SYSDATE等,因其每次调用返回的结果可能会有差异,导致达不到预期。 校验通过后,单击“生成加工规则”,即可在加工规则表格中看到该规则。 检查无误后,单击“下一步”,进入下一步操作。
  • 配置流程 配置流程图如图1所示。 图1 DSC配置流程图 使用数据安全中心前,须先开通并使用OBS或RDS云产品中任意一种,确保有可供数据安全中心扫描的数据。 开通数据安全中心后,数据安全中心服务将自动检测用户已添加的资产,并应用敏感规则对其进行风险等级的评价。您可以在数据安全中心控制台总览页面查看文件风险概况和文件详情。 (可选)如需保护OBS自有桶数据,则需要开通华为云对象存储服务(OBS)/关系型数据库(RDS)服务。 若已开通,请跳过该步骤,直接执行步骤 2。 若未开通,请先开通后再执行步骤 2。 开通对象存储服务请参见OBS帮助文档,开通关系型数据库服务请参见RDS帮助文档。 (可选)开通后,还需要在对象存储服务中创建一个桶并上传需要存储的文件或在关系型数据库中创建实例数据库。 若已创建,请跳过该步骤,直接执行步骤 6。 若未创建,请先创建后再执行步骤 6。 OBS:创建桶详细操作请参见创建桶,上传文件详细操作请参见上传对象。 RDS:创建数据库详细操作请参见创建数据库。 (可选)如需保护OBS其他桶,则需要将OBS其他桶的“桶权限”设置为“公共”。 (可选)如需保护自建数据库资产,则需要获取自建数据库的引擎、版本、主机等相关信息。 (可选)如需保护自建数据库资产,则需要获取其他自建数据源的引擎、版本、主机等相关信息。 完成授权并添加资产。 授权的具体操作请参见云资源委托授权/停止授权。 添加OBS资产的具体操作请参见添加OBS资产。 添加云数据库资产的具体操作请参见添加RDS数据库。 添加大数据资产的具体操作请参见添加大数据源资产。 配置敏感数据识别规则。 配置敏感规则详细操作请参见敏感数据识别。 查看检测到的敏感数据或文件及其统计数据。 检测结果具体查看方法请参见识别结果。 针对检测出的结果,对异常事件处理或对敏感数据进行脱敏。 异常事件处理详细操作请参见处理异常事件。 敏感数据脱敏详细操作请参见数据脱敏。 针对异常事件设置告警通知。 配置告警通知的详细操作请参见告警通知。