华为云用户手册

  • DGC/Sparksql 单主键Hudi表。 create table hudi_table ( id int, name string, price double ) using hudi options ( type = 'cow', primaryKey = 'id', --必须指定主键 preCombineField = 'id', --必须指定precombine字段,通常和主键设置为同一个字段就可以实现按主键更新 hoodie.index.type = 'SIMPLE' --不指定时将使用默认索引 ); 多主键Hudi表。 create table hudi_table ( id1 int, id2 int, name string, price double ) using hudi options ( type = 'mor', primaryKey = 'id1,id2', --必须指定主键,联合主键数量无限制,使用逗号分隔。 preCombineField = 'id1', --必须指定precombine字段,precombine字段只能设置一个列 hoodie.index.type = 'BLOOM' --不指定时将使用默认索引 ); BUCKET索引Hudi表。 create table hudi_table ( id1 int, id2 int, name string, price double ) using hudi options ( type = 'mor', primaryKey = 'id1,id2', --必须指定主键,联合主键数量无限制,使用逗号分隔。 preCombineField = 'id1', --必须指定precombine字段,precombine字段只能设置一个列 hoodie.index.type = 'BUCKET', --必须指定 hoodie.bucket.index.num.buckets = '5', --必须指定,bucket桶数必须按照6.2.2章节去预估 hoodie.bucket.index.hash.field = 'id1,id2' --可选,bucket索引的hash字段默认和主键保持一致,通常不需要设置 ); 分区表。 create table hudi_table ( id1 int, id2 int, par1 int, par2 int, name string, price double ) using hudi options ( ...... ) partitioned by (par1, par2); 外表。 create table hudi_table ( id1 int, id2 int, par1 int, par2 int, name string, price double ) using hudi options ( ...... ) partitioned by (par1, par2) location "hdfs://.../hudi_table"; -- hdfs路径或者obs路径
  • 注意事项 delete不用来删除分区,删除分区请用drop partition命令,具体请参考常用SQL介绍。 对于bucket索引,写入任务可能会遇到重复Bucket ID的报错“Find multiple files at partition xxx belongs to the same bucket id = xxx”。 常见的报错场景: insert into作业与truncate冲突,truncate正在重新初始化Hudi表,但是insert into作业此时正在写文件,导致重新初始化出来的hudi表里残留上一次insert into作业的文件。 insert overwrite作业切换为insert into作业,insert overwrite作业写Hudi时clean和archive的配置必须按照选择合适的表服务执行方式的指导正确去使用,否则insert overwrite作业的replacecommit元数据已经被归档,但是数据文件还在。
  • 写入方式介绍 写入方式 支持的表类型 功能介绍 使用介绍 优选场景 insert into cow/mor insert into写入的数据将会按主键去更新表内的存量数据。 insert into SinkTable values() insert into SinkTable select * from SourceTable 多源表关联查询后的结果写Hudi表。 insert overwrite cow/mor 对于分区表,仅会覆盖写入数据所对应的分区。 对于无分区表,整表覆盖。 insert overwrite SinkTable values() insert overwrite SinkTable select * from SourceTable cow表,分区覆盖。 insert overwrite table cow/mor 可以整表覆盖,也可以分区覆盖。 insert overwrite table SinkTable values() insert overwrite table SinkTable select * from SourceTable insert overwrite table SinkTable partition (分区字段=分区值) values() insert overwrite table SinkTable partition (分区字段=分区值) select * from SourceTabl 整表覆盖。 bulk_insert cow/mor 给insert into设置bulk_insert方式写入,Hudi表可借助此方式完成快速初始化。 bulk_insert在迁移存量过程中只能使用一次,而且不去重。 参考常用参数介绍及使用场景。 Hudi表初始化。 update cow/mor 批量更新列。 update SinkTable set 字段名=值 where 字段名=值 批量的对某一列的值进行更新。 merge into cow/mor 一条语句完成update/insert/delete多种写入。 merge into SinkTable as t1 using (子查询) as t2 on t1.字段 = t2.字段 when matched then 不推荐,社区的merge into功能弱,限制多,用法复杂。 delete cow/mor 小批量删除数据。 delete from SinkTable where 字段名=值 delete from SinkTable where 字段名 in (子查询) 小批量删除数据,如删除表中30%以下的数据。
  • 约束与限制 多个编译语言的规则集不能选择一起同时检查。例如:C#语言规则集不可与其他语言规则集进行混合检查。 用户购买了代码安全检查增强包后,使用代码安全检查增强包规则集必须设置编译脚本检查参数。 如果是ARM类型机器,请在“检查参数”页面的“执行机”中选择对应架构类型。 选中的规则集使用了secbrella检查引擎时,必须要设置“检查参数”并开启配置开关,代码检查扩展参数请根据实际情况进行配置。 选中的规则集使用了oat检查引擎时,必须要设置“检查参数”并开启配置开关(默认已开启)。其中仓库地址为oat工具-n参数,用于匹配默认策略,可以使用默认值或根据实际情况进行配置。详见oat开源项目。
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 provider_code String 服务标识 缺省值:4 最小长度:3 最大长度:3 error_code String 请求响应代码,范围:0000~9999,正常时取值:0 最小长度:1 最大长度:20 error_msg String 请求响应描述 最小长度:0 最大长度:10240 data String WarRoom Id 最小长度:0 最大长度:255
  • 请求参数 表1 请求Body参数 参数 是否必选 参数类型 描述 war_room_name 是 String WarRoom标题 最小长度:1 最大长度:255 description 否 String WarRoom描述 最小长度:0 最大长度:255 region_code_list 否 Array of strings 区域id 最小长度:1 最大长度:255 数组长度:0 - 1000 application_id_list 是 Array of strings 影响应用id 最小长度:1 最大长度:255 数组长度:1 - 1000 incident_number 是 String 事件单号 最小长度:1 最大长度:255 schedule_group 是 Array of ScheduleGroupInfo objects 排班分组 数组长度:0 - 1000 participant 否 Array of strings 参与者 最小长度:0 最大长度:255 数组长度:0 - 1000 war_room_admin 是 String WarRoom管理员 最小长度:1 最大长度:255 application_names 否 Array of strings 应用名称列表 最小长度:0 最大长度:1000 数组长度:0 - 1000 region_names 否 Array of strings region名称列表 最小长度:0 最大长度:1000 数组长度:0 - 1000 enterprise_project_id 是 String 企业项目id 最小长度:1 最大长度:64 notification_type 否 String 创建群组方式 最小长度:0 最大长度:64 枚举值: WECHAT DING_TALK LARK NULL_GROUP 表2 ScheduleGroupInfo 参数 是否必选 参数类型 描述 role_id 是 String 角色id 最小长度:0 最大长度:255 scene_id 是 String 场景id 最小长度:0 最大长度:255
  • 请求示例 { "marker" : 10, "page_size" : 1, "incident_num" : "string", "title" : "string", "change_num" : "string", "region_ids" : [ 0 ], "level_names" : [ "string" ], "impacted_services_ids" : [ 0 ], "root_cause_service_ids" : [ 0 ], "site_ids" : [ 0 ], "admin" : [ 0 ], "status" : [ 0 ], "triggered_start_time" : 0, "triggered_end_time" : 0, "occur_start_time" : 0, "occur_end_time" : 0, "recover_start_time" : 0, "recover_end_time" : 0, "effectiveness" : [ "string" ], "recover_leader_id" : [ 0 ], "pre_warning_briefing_p2" : true, "is_verify" : true }
  • 请求参数 表1 请求Body参数 参数 是否必选 参数类型 描述 limit 否 Long limit 最小值:0 最大值:1000 缺省值:0 offset 否 Long 查询数量 最小值:0 最大值:9223372036854775807 缺省值:10 incident_num 否 String 事件单号 精确查询 最小长度:0 最大长度:64 title 否 String WarRoom名称 模糊查询 最小长度:0 最大长度:1000 region_code_list 否 Array of strings 区域 多选 最小长度:0 最大长度:200 数组长度:0 - 1000 incident_levels 否 Array of strings 事件级别 多选 最小长度:0 最大长度:32 数组长度:0 - 1000 impacted_application_ids 否 Array of strings 影响应用id 最小长度:0 最大长度:200 数组长度:0 - 1000 admin 否 Array of strings WarRoom管理员 最小长度:0 最大长度:200 数组长度:0 - 1000 status 否 Array of strings WarRoom状态 最小长度:0 最大长度:10 数组长度:0 - 100 triggered_start_time 否 Long 拉起开始时间 默认前30天 最小值:0 最大值:9223372036854775807 triggered_end_time 否 Long 拉起结束时间 默认当前时间 最小值:0 最大值:9223372036854775807 occur_start_time 否 Long 发生开始时间 最小值:0 最大值:9223372036854775807 occur_end_time 否 Long 发生结束时间 最小值:0 最大值:9223372036854775807 recover_start_time 否 Long 恢复开始时间 最小值:0 最大值:9223372036854775807 recover_end_time 否 Long 恢复结束时间 最小值:0 最大值:9223372036854775807 notification_level 否 Array of strings 通报级别 最小长度:0 最大长度:32 数组长度:0 - 1000 enterprise_project_ids 否 Array of strings 企业项目id 最小长度:0 最大长度:64 数组长度:0 - 500 war_room_num 否 String WarRoom 单号 前端使用 最小长度:0 最大长度:255 statistic_flag 否 Boolean 是否统计,false 返回基本信息;true接口只返回统计结果:total_num,running_num,closed_num 缺省值:false
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 provider_code String 服务标识 缺省值:4 最小长度:3 最大长度:3 error_code String 请求响应代码,范围:0000~9999,正常时取值:0 最小长度:1 最大长度:20 error_msg String 请求响应描述 最小长度:0 最大长度:10240 data data object 响应数据 表3 data 参数 参数类型 描述 list Array of WarRoomTenantInfo objects WarRoom信息 数组长度:0 - 1000 total Long 总数 最小值:0 最大值:9223372036854775807 running_num Long 进行中WarRoom总数 最小值:0 最大值:9223372036854775807 closed_num Long 已关闭WarRoom总数 最小值:0 最大值:9223372036854775807 total_num Long WarRoom总数 最小值:0 最大值:9223372036854775807 表4 WarRoomTenantInfo 参数 参数类型 描述 id String 主键 最小长度:0 最大长度:100 title String 标题 最小长度:0 最大长度:255 admin String WarRoom管理员 最小长度:0 最大长度:255 recover_member Array of strings 恢复成员 最小长度:0 最大长度:255 数组长度:0 - 1000 recover_leader Array of strings 主恢复责任人 最小长度:0 最大长度:255 数组长度:0 - 1000 incident WarRoomIncident object 事件 source String 事件来源 最小长度:0 最大长度:255 regions Array of regions objects 影响的Region 数组长度:0 - 1000 change_num String 变更单号 最小长度:0 最大长度:255 occur_time Long 开始时间 最小值:0 最大值:9223372036854775807 recover_time Long 故障恢复时间 最小值:0 最大值:9223372036854775807 fault_cause String 故障原因 最小长度:0 最大长度:255 create_time Long 添加时间 最小值:0 最大值:9223372036854775807 first_report_time Long 首次通报时间 最小值:0 最大值:9223372036854775807 recovery_notification_time Long 恢复通报时间 最小值:0 最大值:9223372036854775807 fault_impact String 故障影响 最小长度:0 最大长度:255 description String WarRoom描述 最小长度:0 最大长度:255 circular_level String 通报级别 租户区同事件级别 最小长度:0 最大长度:32 war_room_status WarRoomEnumeration object WarRoom 状态 impacted_application Array of impacted_application objects 影响应用 数组长度:0 - 1000 processing_duration Long 处理时长(分钟) 最小值:0 最大值:9223372036854775807 restoration_duration Long 恢复时长(分钟) 最小值:0 最大值:9223372036854775807 war_room_num String WarRoom 单号 最小长度:0 最大长度:255 enterprise_project_id String 企业项目id 最小长度:0 最大长度:64 表5 WarRoomIncident 参数 参数类型 描述 id String 主键 最小长度:0 最大长度:100 incident_id String 事件id 最小长度:0 最大长度:32 is_change_event Boolean 是否变更事件 failure_level String 事件级别 最小长度:0 最大长度:32 incident_url String 事件单号链接 最小长度:0 最大长度:20000 表6 regions 参数 参数类型 描述 code String 主键 最小长度:0 最大长度:100 name String 名称 最小长度:0 最大长度:255 表7 WarRoomEnumeration 参数 参数类型 描述 id String 枚举值id 最小长度:0 最大长度:255 name_zh String 枚举值中文名 最小长度:0 最大长度:255 name_en String 枚举值英文名 最小长度:0 最大长度:255 type String 枚举类型 最小长度:0 最大长度:255 表8 impacted_application 参数 参数类型 描述 id String 主键 最小长度:0 最大长度:100 name String 名字 最小长度:0 最大长度:255 状态码: 400 表9 响应Body参数 参数 参数类型 描述 provider_code String 服务标识 缺省值:4 最小长度:3 最大长度:3 error_code String 请求响应代码,范围:0000~9999,正常时取值:0 最小长度:1 最大长度:20 error_msg String 请求响应描述 最小长度:0 最大长度:10240 data Object 响应数据
  • 错误码 错误码 状态码 错误码 错误信息 描述 处理措施 400 COC.00040601 Exist script with same name: test1111_param. 存在相同名称的脚本 修改脚本名称 400 COC.00040701 Internal server error 服务内部错误 联系客服 400 COC.00040601 The paramValue is invalid. 脚本参数错误 修改脚本参数,满足填写规范 父主题: 附录
  • 响应示例 状态码: 200 节点补丁信息 { "count" : 1, "compliance_items" : [ { "classification" : "", "compliance_level" : "UNSPECIFIED", "instance_id" : "string", "patch_detail" : { "installed_time" : 1713864585000, "patch_baseline_id" : "JX-f2d85e2554f7385cbbf2c23a01f41", "patch_baseline_name" : "COC-EulerOSDefaultPatchBaseline", "patch_status" : "PENDING_REBOOT" }, "severity_level" : "", "title" : "string" } ] } 状态码: 500 错误信息返回 { "error_code" : "string", "error_msg" : "string" }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 count Long 总条数 compliance_items Array of ComplianceItem objects 补丁合规信息 数组长度:0 - 1000 表4 ComplianceItem 参数 参数类型 描述 instance_id String 节点id title String 补丁名称 classification String 分类 severity_level String 严重性级别 compliance_level String 合规性级别 patch_detail PatchDetail object 补丁详情 表5 PatchDetail 参数 参数类型 描述 installed_time Long 安装时间 patch_baseline_id String 补丁基线id patch_baseline_name String 补丁基线名称 patch_status String 补丁状态 状态码: 500 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:8 最大长度:64 error_msg String 错误描述 最小长度:2 最大长度:512
  • URI GET /v1/patch/instance/compliant/{instance_compliant_id} 表1 路径参数 参数 是否必选 参数类型 描述 instance_compliant_id 是 String 合规性报告id 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 偏移量 最小值:1 最大值:1000000 缺省值:1 limit 否 Integer 每页数量 最小值:1 最大值:100 缺省值:10 title 否 String 补丁名称 sort_dir 否 String 排序 asc:升序 desc:降序 sort_key 否 String 排序字段 -installed_time:补丁安装时间 patch_status 否 String 补丁状态 INSTALLED:已安装 INSTALLED_OTHER:已安装其他 MISSING:缺失 REJECT:拒绝 FAILED:失败 PENDING_REBOOT:已安装待重启 classification 否 String 分类 severity_level 否 String 严重性级别 compliance_level 否 String 合规性级别
  • 响应示例 状态码: 200 节点合规性报告信息 { "count" : 1, "instance_compliant" : [ { "baseline_id" : "JX-f2d85e2554f7385cbbf2c23a01f41", "baseline_name" : "COC-EulerOSDefaultPatchBaseline", "cce_info_id" : null, "compliant_summary" : { "compliant_count" : 264, "severity_summary" : { "critical_count" : 0, "high_count" : 0, "informational_count" : 0, "low_count" : 0, "medium_count" : 0, "unspecified_count" : 264 } }, "eip" : null, "enterprise_project_id" : "string", "execution_summary" : { "job_id" : "string", "order_id" : "string", "report_time" : 1715308575000 }, "group" : null, "id" : "string", "instance_id" : "string", "ip" : "string", "name" : "string", "node_id" : "", "non_compliant_summary" : { "non_compliant_count" : 204, "severity_summary" : { "critical_count" : 0, "high_count" : 0, "informational_count" : 0, "low_count" : 0, "medium_count" : 0, "unspecified_count" : 0 } }, "operating_system" : "EulerOS", "region" : "string", "report_scene" : "E CS ", "rule_type" : "standard", "status" : "non_compliant" } ] } 状态码: 500 错误信息返回 { "error_code" : "string", "error_msg" : "string" }
  • 响应参数 状态码: 200 表2 响应Body参数 参数 参数类型 描述 count Long 总条数 instance_compliant Array of InstanceCompliant objects 节点合规报告 数组长度:0 - 1000 表3 InstanceCompliant 参数 参数类型 描述 compliant_summary CompliantSummary object 合规补丁信息 non_compliant_summary NonCompliantSummary object 不合规补丁信息 execution_summary ExecutionSummary object 执行信息 id String id enterprise_project_id String 企业项目id name String 节点名称 instance_id String 节点ID node_id String cce集群节点ID ip String 节点IP eip String 弹性公网ip region String 区域 group String 分组 report_scene String 报告场景(CCE,ECS) cce_info_id String cce 集群信息id status String 合规性状态 baseline_id String 基线id baseline_name String 基线名称 rule_type String 基线规则类型 operating_system String 操作系统 表4 CompliantSummary 参数 参数类型 描述 compliant_count Integer 合规补丁数量 severity_summary SeveritySummary object 合规总结 表5 NonCompliantSummary 参数 参数类型 描述 non_compliant_count Integer 不合规补丁数量 severity_summary SeveritySummary object 合规总结 表6 SeveritySummary 参数 参数类型 描述 critical_count Integer 重大合规性报告数量 high_count Integer 高合规性报告数量 informational_count Integer 信息性合规性报告数量 low_count Integer 低合规性报告数量 medium_count Integer 中级合规性报告数量 unspecified_count Integer 未指定合规性报告数量 表7 ExecutionSummary 参数 参数类型 描述 order_id String 工单Id job_id String 脚本执行Id report_time Long 报告时间 状态码: 500 表8 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:8 最大长度:64 error_msg String 错误描述 最小长度:2 最大长度:512
  • URI GET /v1/patch/instance/compliant 表1 Query参数 参数 是否必选 参数类型 描述 enterprise_project_id 否 String 企业项目id name 否 String 名称 instance_id 否 String ECS实例id ip 否 String 内网ip eip 否 String 弹性公网ip operating_system 否 String 操作系统 HuaweiCloudEulerOS CentOS EulerOS region 否 String 区域 group 否 String 分组 compliant_status 否 String 合规性状态 non_compliant:不合规 compliant:合规 order_id 否 String 工单id offset 否 Integer 偏移量 最小值:1 最大值:1000000 缺省值:1 limit 否 Integer 每页数量 最小值:1 最大值:100 缺省值:10 sort_dir 否 String 排序 asc:升序 desc:降序 sort_key 否 String 排序字段 report_time:报告时间 report_scene 否 String 报告场景 CCE ECS cce_info_id 否 String cce 集群信息id
  • 请求示例 https://coc.myhuaweicloud.com/v1/event/huawei/custom/{integration_key} { "alarmId" : "18cfxxxxxxxxxx0f8", "alarmName" : "Cpu 使用超额预警", "alarmLevel" : "Critical", "time" : 1709118444540, "nameSpace" : "shanghai", "regionId" : "cn-north-4", "applicationId" : "18cfa0a5ef8d", "resourceName" : "machine-1", "resourceId" : "18cxxxxxxxxxxxxff68625", "alarmDesc" : "string", "URL" : "https://example.com", "alarmStatus" : "alarm", "alarmSource" : "coc", "additional" : { } }
  • 响应示例 状态码: 200 请求成功 { "error_code" : "COC.00000000", "error_msg" : "success", "data" : null, "provider_code" : "049" } 状态码: 400 请求体有误 { "error_code" : "COC.00000001", "error_msg" : "alarmName must not be null | alarmId must not be null", "data" : null, "provider_code" : "049" } 状态码: 401 鉴权有误 { "error_code" : "common.01010001", "error_msg" : "Token missing or invalid.", "data" : null, "provider_code" : "049" }
  • 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 alarmId 是 String 告警id 最小长度:1 最大长度:255 alarmName 是 String 告警名称 最小长度:1 最大长度:255 alarmLevel 是 String 告警级别。取值为Critical(紧急), Major(重要), Minor(次要), Info(提示) 最小长度:1 最大长度:255 枚举值: Critical Major Minor Info time 是 Long 告警发生时间 nameSpace 是 String 服务的命名空间 最小长度:1 最大长度:255 regionId 否 String 告警发生区域 最小长度:0 最大长度:255 applicationId 是 String 应用id 最小长度:1 最大长度:255 resourceName 否 String 资源名称 最小长度:0 最大长度:255 resourceId 否 String 资源ID 最小长度:0 最大长度:255 alarmDesc 是 String 告警描述 最小长度:1 最大长度:255 URL 否 String 原始告警URL 最小长度:0 最大长度:255 alarmStatus 否 String 告警状态。一般取值为alarm(告警中)和ok(已恢复) 最小长度:0 最大长度:255 枚举值: alarm ok alarmSource 是 String 告警源 最小长度:1 最大长度:255 additional 否 Object 告警附加信息
  • 事件状态 status KEY 中文名称 英文名称 incident_draft 草稿 DRAFT INCIDENT_STATUS_TRIGGERED 未受理 TRIGGERED INCIDENT_STATUS_ACKNOWLEDGED 已受理 ACKNOWLEDGED INCIDENT_STATUS_REJECTED 被驳回 REJECTED INCIDENT_STATUS_RESOLVED 已解决待验证 RESOLVED INCIDENT_STATUS_COMPLETED 已完成 COMPLETED 父主题: 事件相关枚举信息
  • 事件类别 KEY 中文名称 英文名称 inc_type_p_security_issues 安全问题 Security issues inc_type_p_function_issues 功能问题 function issues inc_type_p_reliability_issues 性能/可靠性问题 reliability issues inc_type_p_config_issues 配置问题 config issues inc_type_p_middleware_issues 中间件问题 middleware issues inc_type_p_hardware_issues 硬件问题 hardware issues inc_type_p_networking_issues 网络问题 networking issues inc_type_p_shelter_issues 机房问题 shelter issues inc_type_p_monitoring_issues 监控问题 monitoring issues inc_type_p_consulting_issues 业务咨询类 consulting issues inc_type_p_suppliers_issues 供应商问题 suppliers issues inc_type_p_ohter_issues 其他 ohter issues inc_type_p_change_issues 变更操作问题 Change operation problem 父主题: 事件相关枚举信息
  • 监控安全风险 结合 应用运维管理 AOM服务,CCE提供基于Kubernetes原生类型的容器监控能力,可实时监控应用及资源,采集各项指标及事件等数据以分析应用健康状态,提供全面、清晰、多维度 数据可视化 能力。此外,您还可以根据自己的需求,采集和监控工作负载的自定义指标,实现个性化的监控策略。 资源监控指标 资源基础监控包含CPU/内存/磁盘等指标数据,您可以全面监控集群的健康状态和负荷程度,具体请参见监控概述。您可以在CCE控制台从集群、节点、工作负载等维度查看这些监控指标数据,也可以在 AOM 中查看。 自定义指标 CCE支持采集应用程序中的自定义指标并上传到AOM,为您提供个性化的监控服务。您可以根据特定业务需求,扩展监控指标范围,具体使用方法请参见自定义监控。 父主题: 安全
  • 日志 CCE支持配置工作负载日志策略,便于日志的统一收集、管理和分析,同时支持按周期进行防爆处理。 CCE配合AOM收集工作负载的日志,在创建节点时会默认安装AOM的ICAgent(在集群kube-system命名空间下名为icagent的DaemonSet),ICAgent负责收集工作负载的日志(支持*.log、*.trace和*.out类型的文本日志文件)并上报到AOM,您可以在CCE控制台和AOM控制台查看工作负载的日志。 关于CCE工作负载日志记录的详细介绍和配置方法,请参见容器日志。
  • 审计 云审计 服务(Cloud Trace Service, CTS ),是华为 云安全 解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务后,系统将开始记录CCE资源的操作,并为您保存最近7天的操作记录。CTS支持记录的CCE操作请参见云审计服务支持CCE操作列表。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 CCE用户查看云审计日志方法,请参见云审计日志。 图1 云审计服务
  • 数据保护技术 CCE通过多种数据保护手段和特性,保障数据的安全可靠。 表1 CCE的数据保护手段和特性 数据保护手段 简要说明 详细介绍 服务发现支持证书配置 CCE集群中的应用服务支持使用HTTPS传输协议,保证数据传输的安全性,您可以根据需求创建四层或七层的访问方式来对接负载均衡器。 七层证书配置 四层证书配置 高可用部署 CCE为您提供高可用的部署方案: 集群支持3个控制节点的高可用模式 Node节点支持分布在不同AZ 创建工作负载时支持选用不同可用区或节点 容灾部署 磁盘加密 CCE支持多种存储类型,满足各类高可用以及部分存储加密场景,可为您的数据提供强大的安全防护。 存储概览 集群密钥配置 密钥(Secret)是一种用于存储工作负载所需要认证信息、密钥的敏感信息等的集群资源类型,内容由用户决定。资源创建完成后,可在容器工作负载中作为文件或者环境变量使用。 密钥配置 敏感操作保护 CCE控制台支持敏感操作保护,开启后执行删除集群敏感操作时,系统会进行身份验证,进一步保证CCE的安全性。 敏感操作保护介绍 父主题: 安全
  • 责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。 华为云租户的安全责任在于对使用的 IaaS、PaaS 和 SaaS 类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、 虚拟主机 和访客虚拟机的操作系统,虚拟防火墙、API 网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 CCE服务安全责任共担模型 父主题: 安全
  • 应用场景1:多类型作业混合部署 随着各行各业的发展,涌现出越来越多的领域框架来支持业务的发展,这些框架都在相应的业务领域有着不可替代的作用,例如Spark,Tensorflow,Flink等。在业务复杂性能不断增加的情况下,单一的领域框架很难应对现在复杂的业务场景,因此现在普遍使用多种框架达成业务目标。但随着各个领域框架集群的不断扩大,以及单个业务的波动性,各个子集群的资源浪费比较严重,越来越多的用户希望通过统一调度系统来解决资源共享的问题。 Volcano在Kubernetes之上抽象了一个批量计算的通用基础层,向下弥补Kubernetes调度能力的不足,向上提供灵活通用的Job抽象。Volcano通过提供多任务模板功能实现了利用Volcano Job描述多种作业类型(Tensorflow、Spark、MPI、PyTorch等),并通过Volcano统一调度系统实现多种作业混合部署,解决集群资源共享问题。
  • 应用场景2:多队列场景调度优化 用户在使用集群资源的时候通常会涉及到资源隔离与资源共享,Kubernetes中没有队列的支持,所以它在多个用户或多个部门共享一个机器时无法做资源共享。但不管在HPC还是大数据领域中,通过队列进行资源共享都是基本的需求。 在通过队列做资源共享时,CCE提供了多种机制。可以为队列设置weight值,集群通过计算该队列weight值占所有weight总和的比例来给队列划分资源;另外也可以为队列设置资源的Capability值,来确定该队列能够使用的资源上限。 例如下图中,通过这两个队列去共享整个集群的资源,一个队列获得40%的资源,另一个队列获得60%的资源,这样可以把两个不同的队列映射到不同的部门或者是不同的项目中。并且在一个队列里如果有多余的空闲资源,可以把这些空闲资源分配给另外一个队列里面的作业去使用。
  • 应用场景5:在线离线作业混合部署 当前很多业务有波峰和波谷,部署服务时,为了保证服务的性能和稳定性,通常会按照波峰时需要的资源申请,但是波峰的时间可能很短,这样在非波峰时段就有资源浪费。另外,由于在线作业SLA要求较高,为了保证服务的性能和可靠性,通常会申请大量的冗余资源,因此,会导致资源利用率很低、浪费比较严重。将这些申请而未使用的资源(即申请量与使用量的差值)利用起来,就是资源超卖。超卖资源适合部署离线作业,离线作业通常关注吞吐量,SLA要求不高,容忍一定的失败。在线作业和离线作业混合部署在Kubernetes集群中将有效的提升集群整体资源利用率。 目前Kubernetes的默认调度器是以Pod为单位进行调度的,不区分Pod中运行的业务类型。因此无法满足混部场景对资源分配的特殊要求。针对上述问题,Volcano实现了基于应用模型感知的智能调度算法,根据用户提交的作业类型,针对其应用模型对资源的诉求和整体应用负载的情况,优化调度方式,通过资源抢占,分时复用等机制减少集群资源的空闲比例。
  • 优势 CCE通过集成Volcano,在高性能计算、大数据、AI等领域有如下优势: 多种类型作业混合部署:支持AI、大数据、HPC作业类型混合部署。 多队列场景调度优化:支持分队列调度,提供队列优先级、多级队列等复杂任务调度能力。 多种高级调度策略:支持gang-scheduling、公平调度、资源抢占、GPU拓扑等高级调度策略。 多任务模板:支持单一Job多任务模板定义,打破Kubernetes原生资源束缚,Volcano Job描述多种作业类型(Tensorflow、MPI、PyTorch等)。 作业扩展插件配置:在提交作业、创建Pod等多个阶段,Controller支持配置插件用来执行自定义的环境准备和清理的工作,比如常见的MPI作业,在提交前就需要配置SSH插件,用来完成Pod资源的SSH信息配置。 在线离线业务混部:支持集群内在离线作业混部以及节点CPU和内存资源超卖,提升集群整体资源利用率。
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全