华为云用户手册

  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token认证,需要确认Token中包含的Project ID与请求URI中修改资源的Project ID匹配。 最小长度:1 最大长度:16384 表3 请求Body参数 参数 是否必选 参数类型 描述 cloud_type 是 String 云类型 AWS:亚马逊 Aliyun:阿里云 Qiniu:七牛云 QingCloud:青云 Tencent:腾讯云 Baidu:百度云 KingsoftCloud:金山云 Azure:微软云 UCloud:优刻得 HuaweiCloud:华为云 URLSource:URL HEC:HEC 缺省值:Aliyun 最小长度:0 最大长度:100 ak 否 String 源端桶的AK(最大长度100个字符),task_type为非url_list时,本参数为必选。 最小长度:0 最大长度:100 sk 否 String 源端桶的SK(最大长度100个字符),task_type为非url_list时,本参数为必选。 最小长度:0 最大长度:100 app_id 否 String 当源端为腾讯云时,会返回此参数。 最小长度:0 最大长度:255 bucket_name 是 String 桶名 最小长度:0 最大长度:100
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 id String region ID 最小长度:0 最大长度:1024 name String region 名称 最小长度:0 最大长度:1024 support Boolean 此region是否支持迁移 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_msg String 错误信息。 error_code String 错误码。
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String IAM Token认证,需要确认Token中包含的Project ID与请求URI中修改资源的Project ID匹配。 最小长度:1 最大长度:16384 表3 请求Body参数 参数 是否必选 参数类型 描述 cloud_type 是 String 云类型 AWS:亚马逊 Aliyun:阿里云 Qiniu:七牛云 QingCloud:青云 Tencent:腾讯云 Baidu:百度云 KingsoftCloud:金山云 Azure:微软云 UCloud:优刻得 HuaweiCloud:华为云 URLSource:URL HEC:HEC 缺省值:Aliyun 最小长度:0 最大长度:100 ak 否 String 源端桶的AK(最大长度100个字符),task_type为非url_list时,本参数为必选。 最小长度:0 最大长度:100 sk 否 String 源端桶的SK(最大长度100个字符),task_type为非url_list时,本参数为必选。 最小长度:0 最大长度:100 app_id 否 String 当源端为腾讯云时,会返回此参数。 最小长度:0 最大长度:255
  • 响应示例 状态码: 200 OK { "bandwidth_policy" : [ { "end" : "23:59", "max_bandwidth" : 0, "start" : "00:00" } ], "complete_size" : 0, "description" : "test log", "dst_node" : { "bucket" : "dst_bucket", "region" : "cn-north-1" }, "enable_failed_object_recording" : true, "enable_kms" : true, "enable_restore" : false, "error_reason" : { "error_code" : "string", "error_msg" : "string" }, "failed_num" : 0, "failed_object_record" : { "result" : true, "list_file_key" : "string", "error_code" : "string" }, "group_id" : "string", "id" : 0, "is_query_over" : true, "left_time" : 0, "migrate_since" : 0, "migrate_speed" : 0, "name" : "string", "progress" : 0, "real_size" : 0, "skipped_num" : 0, "src_node" : { "bucket" : "src_bucket", "cloud_type" : "AWS", "region" : "cn-north-1", "app_id" : "string", "object_key" : [ "string", "string" ], "list_file" : { "list_file_key" : "object_list_file.txt", "obs_bucket" : "obs_bucket" } }, "start_time" : 0, "status" : 0, "successful_num" : 0, "task_type" : "list", "total_num" : 0, "total_size" : 0, "total_time" : 0, "smn_info" : { "notify_result" : true, "notify_error_message" : "string", "topic_name" : "string" }, "source_cdn" : { "domain" : "xxx.xxx.xxx", "protocol" : "http", "authentication_type" : "string" } }
  • 独享型负载均衡的优势 超高性能 可实现性能独享,资源隔离,单实例单AZ最高支持2千万并发连接,满足用户的海量业务访问需求。 此外,选择多个可用区之后,对应的最高性能规格(新建连接数/并发连接数等)会加倍。例如:单实例单AZ最高支持2千万并发连接,那么单实例双AZ最高支持4千万并发连接。 对于公网访问,会根据源IP的不同将流量分配到创建的多个AZ中的ELB上,多个AZ的ELB性能加倍。 对于内网访问: 当从创建ELB的AZ发起访问时,流量将被分配到本AZ中的ELB上,当本AZ的ELB不可用时,容灾到创建的其他AZ的ELB上。 如果本AZ的ELB正常,但是本AZ的流量超过规格,业务也会受影响,内网场景要考虑客户端访问的均衡性。内网流量使用率建议通过AZ粒度监控观察是否超限。 当从未创建ELB的AZ访问时,会根据源IP的不同将流量分配到创建的多个AZ中的ELB上。 对于云专线访问,流量优先分配到专线对接的AZ下部署的ELB,否则分配到其他AZ下的ELB。 对于客户端跨VPC访问,流量优先分配至源VPC子网所在AZ部署的ELB,否则分配到其他AZ下的ELB。 高可用 支持多可用区的同城多活容灾,无缝实时切换。完善的健康检查机制,保障业务实时在线。 超安全 支持TLS 1.3,提供全链路HTTPS数据传输,支持多种安全策略并支持创建自定义安全策略,根据业务不同安全要求灵活选择安全策略。 多协议 支持TCP/UDP/HTTP/HTTPS/QUIC协议,满足不同协议接入需求。 更灵活 支持请求方法、HEADER、URL、PATH、源IP等不同应用特征,并可对流量进行转发、重定向、固定返回码等操作。 无边界 提供混合负载均衡能力(跨VPC后端),可以将云上的资源和云下、多云之间的资源进行统一负载。 简单易用 快速部署ELB,实时生效,支持多种协议、多种调度算法可选,用户可以高效地管理和调整分发策略。
  • 共享型负载均衡的优势 高性能 共享型负载均衡支持性能保障模式后,提供并发连接数5万、每秒新建连接数5000、每秒查询速率5000 的保障能力。 高可用 采用集群化部署,支持多可用区的同城双活容灾,无缝实时切换。完善的健康检查机制,保障业务实时在线。 图1 高可用 多协议 支持TCP/UDP/HTTP/HTTPS,满足不同协议接入需求。 简单易用 快速部署ELB,实时生效,支持多种协议、多种调度算法可选,用户可以高效地管理和调整分发策略。 可靠性 支持跨可用区双活容灾,流量分发更均衡。
  • 责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的 云安全 挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。 华为云租户的安全责任在于对使用的 IaaS、PaaS 和 SaaS 类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、 虚拟主机 和访客虚拟机的操作系统,虚拟防火墙、API 网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
  • 响应示例 状态码: 200 请求已成功 { "keypair" : { "name" : "demo2", "private_key" : "-----BEGIN RSA PRIVATE KEY-----..." } } 状态码: 400 Error response { "error_code" : "KPS.XXX", "error_msg" : "XXX" }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 keypair 是 KeypairBean object 表4 KeypairBean 参数 是否必选 参数类型 描述 name 是 String SSH密钥对名称。
  • 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型 描述 keypair ExportPrivateKeyKeypairBean object 表6 ExportPrivateKeyKeypairBean 参数 参数类型 描述 name String SSH密钥对的名称。 private_key String SSH密钥对的私钥 状态码: 400 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述
  • 响应参数 状态码: 200 表7 响应Body参数 参数 参数类型 描述 keypair ImportPrivateKeyKeypairBean object 表8 ImportPrivateKeyKeypairBean 参数 参数类型 描述 name String SSH密钥对的名称。 - 新创建的密钥对名称不能和已有密钥对的名称相同。 - SSH密钥对名称由英文字母、数字、下划线、中划线组成,长度不能超过64个字节 user_id String SSH密钥对所属的用户信息 key_protection ImportPrivateKeyProtection object SSH密钥对私钥托管与保护。 表9 ImportPrivateKeyProtection 参数 参数类型 描述 private_key String 导入SSH密钥对的私钥。 encryption Encryption object 对私钥进行加密存储的方式。 表10 Encryption 参数 参数类型 描述 type String 取值范围:“kms”或“default”。 “default”为默认加密方式,适用于没有kms服务的局点。 “kms”为采用kms服务加密方式。 若局点没有kms服务,请填“default”。 kms_key_name String kms密钥的名称。 若“type”为“kms”,则必须填入kms服务密钥名称。 状态码: 400 表11 响应Body参数 参数 参数类型 描述 error_code String 错误码 error_msg String 错误描述
  • 请求示例 { "keypair" : { "name" : "demo2", "key_protection" : { "private_key" : "-----BEGIN RSA PRIVATE KEY-----...", "encryption" : { "type" : "kms", "kms_key_name" : "kps/default" } } } }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 keypair 是 ImportPrivateKeyKeypairBean object 表4 ImportPrivateKeyKeypairBean 参数 是否必选 参数类型 描述 name 是 String SSH密钥对的名称。 - 新创建的密钥对名称不能和已有密钥对的名称相同。 - SSH密钥对名称由英文字母、数字、下划线、中划线组成,长度不能超过64个字节 user_id 否 String SSH密钥对所属的用户信息 key_protection 是 ImportPrivateKeyProtection object SSH密钥对私钥托管与保护。 表5 ImportPrivateKeyProtection 参数 是否必选 参数类型 描述 private_key 是 String 导入SSH密钥对的私钥。 encryption 是 Encryption object 对私钥进行加密存储的方式。 表6 Encryption 参数 是否必选 参数类型 描述 type 是 String 取值范围:“kms”或“default”。 “default”为默认加密方式,适用于没有kms服务的局点。 “kms”为采用kms服务加密方式。 若局点没有kms服务,请填“default”。 kms_key_name 是 String kms密钥的名称。 若“type”为“kms”,则必须填入kms服务密钥名称。
  • HDFS客户端对接OBS文件系统 使用本章节前已参考配置存算分离集群(委托方式)或配置存算分离集群(AKSK方式)完成存算分离集群配置。 以客户端安装用户登录安装了HDFS客户端的节点。 执行以下命令,切换到客户端安装目录。 cd 客户端安装目录 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 在hdfs命令行显式添加要访问的OBS文件系统。 例如: 使用以下命令访问OBS文件系统。 hdfs dfs -ls obs://OBS并行文件系统名称/路径 使用以下命令上传客户端节点“/opt/test.txt”文件到OBS文件系统路径下。 hdfs dfs -put /opt/test.txt obs://OBS并行文件系统名称/路径 OBS文件系统打印大量日志可能导致读写性能受影响,可通过调整OBS客户端日志级别优化,日志调整方式如下: cd 客户端安装目录/HDFS/hadoop/etc/hadoop vi log4j.properties 在文件中添加OBS日志级别配置: log4j.logger.org.apache.hadoop.fs.obs=WARN log4j.logger.com.obs=WARN 图1 添加OBS日志级别 父主题: MRS 集群组件对接OBS(基于委托)
  • 补丁基本信息 表1 补丁基本信息 解决的问题 补丁号:MRS 1.9.0.10 发布时间:2023-01-17 修复问题列表: MRS 大数据组件 OBSA支持流控重试 补丁号:MRS 1.9.0.9 发布时间:2022-08-10 修复问题列表: MRS 大数据组件 superior调度器算法优化 补丁号:MRS 1.9.0.8 发布时间:2021-02-20 修复问题列表: MRS 大数据组件 增加调用E CS getSecuritykey接口异常的监控 优化临时AK/Sk流程 解决ResourceManager内存泄露问题 MRS 1.9.0.7 修复问题列表: MRS Manager 解决扩容刷新队列导致队列丢失问题 MRS 大数据组件 解决Hive on Spark任务报block id乱码,导致任务卡顿问题 解决Hadoop的task任务报空间不足失败问题 Hive中增加自研的接口 解决map.xml无法读取的问题 解决ZK脏数据导致Yarn服务不可用问题 解决Yarn的ResourceManager内存泄漏问题 Hive har特性优化 OBS包升级 JDK版本升级 MRS 1.9.0.6 修复问题列表: MRS Manager MRS Manager支持包周期集群指定节点缩容 MRS 大数据组件 解决Hivese提交sql卡顿问题 支持jobhistory查询失败信息接口 解决细粒度权限不生效问题 解决hive on Spark读取数据异常问题 解决Hive on mrs任务执行两次数据量增大问题 解决Hive开启矢量向量化查询有些字符串性能差问题 MRS 1.9.0.5 修复问题列表: MRS Manager MRS Manager优化保存配置时的服务重启过程 MRS Manager解决周期备份失败问题 MRS 大数据组件 Ranger的私有patch 解决Yarn出现JVM Create GC thread failed问题 新增Hiveserver2 任务堆积告警 新增Hiveserver HiveMetastore GC时间超过5s告警 新增HiveServer2 解注ZK告警 新增20分钟内Yarn任务失败与kill数超过5个的告警 解决spark jobhistory时区不对问题 优化metastore重启机制 解决HIVE-22771开源问题 解决Hive beeline不打印日志的问题 解决Yarn页面上active node数目不对问题 解决RM线程数过多导致RM页面打开慢问题 支持OBS监控 OBS包升级 解决hive-jdbc并发插入10条数据时部分数据未插入问题 解决hive偶现报kryo反序列化失败问题 解决Spark jobhistory内存泄漏问题 解决Spark jobhistory偶现无法显示application列表问题 MRS 1.9.0.3 修复问题列表: MRS Manager MRS Manager升级ARM JDK MRS Manager解决Core节点日志撑满系统盘问题 MRS 大数据组件 解决Ranger日志不能设置个数,有撑满磁盘风险的问题 MRS 1.9.0.2 修复问题列表: MRS Manager 解决集群中部分Core节点互信丢失问题 解决补丁安装后添加实例失败问题 MRS Manager页面支持修改hiveserver的滚动重启超时时间 MRS 大数据组件 obs包升级 MRS 1.9.0.1 修复问题列表: MRS Manager MRS Manager支持滚动安装补丁时不重启服务 MRS 大数据组件 解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问 解决SPARK-27637开源问题 优化hive滚动重启 obs包升级 补丁兼容关系 MRS 1.9.0.10补丁包中包含MRS 1.9.0版本发布的所有补丁解决的问题。
  • 安装补丁的影响 安装MRS 1.9.0.10补丁期间会重启MRS Manager,滚动重启Hadoop、Hive、Spark、Presto以及相关依赖服务,重启MRS Manager服务期间会引起服务暂时不可用,滚动重启服务不断服。 MRS 1.9.0.10补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主Master节点的原始客户端全量更新,请参见全量更新主Master节点的原始客户端。 备Master节点的原始客户端全量更新,请参见全量更新备Master节点的原始客户端。 自行搭建的客户端全量安装方法,请参见安装客户端(3.x之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。 (可选)通过委托获取临时AKSK访问OBS场景下,通过参数“fs.obs.auth.node-cache-short-circuit.enable”的不同配置控制是否允许访问ECS元数据接口,从而控制是否允许触发ECS流控。 MRS集群支持通过委托获取临时AKSK访问OBS。临时AKSK通过ECS元数据接口获取。ECS元数据接口有单机器5分钟140次的流控阈值,触发流控后机器被加入黑名单,30分钟内不能再次请求元数据接口。为防止触发流控,MRS实现了节点级别跨进程的缓存服务meta,用于缓存临时AKSK。 使用场景:适用于通过委托适用临时aksk访问OBS的Spark,Hadoop等Yarn作业。配置在客户端core-site.xml中。 默认配置为true,MRS集群上的Yarn应用进程首先从节点级缓存服务meta中获取临时aksk。若meta故障,则从ecs元数据接口获取临时AKSK。 如果希望meta故障时也不直接访问ECS元数据接口,以免触发流控导致节点被加入黑名单,则将参数配置为false。
  • 处理步骤 执行命令python -m pip install backports.lzma安装lzma模块,如下图所示: 进入“/usr/local/python3/lib/python3.6”目录(机器不同,目录也有所不同,可以通过which命令来查找当前运行python是使用的那个目录的),然后编辑lzma.py文件。 将: from _lzma import * from _lzma import _encode_filter_properties, _decode_filter_properties 更改为: try: from _lzma import * from _lzma import _encode_filter_properties, _decode_filter_properties except ImportError: from backports.lzma import * from backports.lzma import _encode_filter_properties, _decode_filter_properties 修改前: 修改后: 保存退出,然后再次import,如下图所示:
  • Presto Presto是一个开源的分布式SQL查询引擎,适用于交互式分析查询。了解更多请访问官网http://prestodb.io/。 本样例脚本能够自动化安装Presto,脚本路径如下: 添加引导操作时填入的脚本路径: 华北-北京一:s3a://mrs-samples-bootstrap-cn-north-1/presto/presto_install.sh 华东-上海二:s3a://mrs-samples-bootstrap-cn-east-2/presto/presto_install.sh 华南-广州:s3a://mrs-samples-bootstrap-cn-south-1/presto/presto_install.sh 华北-北京四:s3a://mrs-samples-bootstrap-cn-north-4/presto/presto_install.sh 样例脚本下载路径: 华北-北京一:https://mrs-samples-bootstrap-cn-north-1.obs.cn-north-1.myhuaweicloud.com/presto/presto_install.sh 华东-上海二:https://mrs-samples-bootstrap-cn-east-2.obs.cn-east-2.myhuaweicloud.com/presto/presto_install.sh 华南-广州:https://mrs-samples-bootstrap-cn-south-1.obs.cn-south-1.myhuaweicloud.com/presto/presto_install.sh 华北-北京四:https://mrs-samples-bootstrap-cn-north-4.obs.cn-north-4.myhuaweicloud.com/presto/presto_install.sh
  • Zeppelin Zeppelin是一个基于web的notebook,支持交互式的数据分析。了解更多请访问Zeppelin官网http://zeppelin.apache.org/。 本样例脚本能够自动化安装Zeppelin。根据创建集群的region选择对应的脚本路径,在创建集群的添加引导操作时填入到“脚本路径”即可,该脚本无需填入参数。根据Zeppelin使用习惯,您只须在Active Master节点上执行该脚本。 添加引导操作时填入的脚本路径: 华北-北京一:s3a://mrs-samples-bootstrap-cn-north-1/zeppelin/zeppelin_install.sh 华东-上海二:s3a://mrs-samples-bootstrap-cn-east-2/zeppelin/zeppelin_install.sh 华南-广州:s3a://mrs-samples-bootstrap-cn-south-1/zeppelin/zeppelin_install.sh 华北-北京四:s3a://mrs-samples-bootstrap-cn-north-4/zeppelin/zeppelin_install.sh 样例脚本下载路径: 华北-北京一:https://mrs-samples-bootstrap-cn-north-1.obs.cn-north-1.myhuaweicloud.com/zeppelin/zeppelin_install.sh 华东-上海二:https://mrs-samples-bootstrap-cn-east-2.obs.cn-east-2.myhuaweicloud.com/zeppelin/zeppelin_install.sh 华南-广州:https://mrs-samples-bootstrap-cn-south-1.obs.cn-south-1.myhuaweicloud.com/zeppelin/zeppelin_install.sh 华北-北京四:https://mrs-samples-bootstrap-cn-north-4.obs.cn-north-4.myhuaweicloud.com/zeppelin/zeppelin_install.sh 引导操作执行完成后,可用如下方法验证正确安装了zeppelin。 第一种:可以root远程登录集群Active Master节点,执行/home/apache/zeppelin-0.7.3-bin-all/bin/zeppelin-daemon.sh status,结果显示“Zeppelin is running [ OK ]",则表示安装成功。 第二种:在同一个VPC启动一个Windows云服务器,访问集群Active Master节点的7510端口,能访问到Zeppelin的页面,说明安装成功。
  • 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.7.1.3 发布时间 2018-09-18 解决的问题 MRS Manager MRS Manager新增运维通道功能。 MRS Manager单击审计日志详细信息下载报错。 MRS Manager界面中主机列表下的磁盘使用率计算优化。 Kafka组件问题 KAFKA-5413 Kafka日志清理失败:segment文件offset跨度过大。 KAFKA-6529 客户端异常断开场景,Broker内存泄露。 KAFKA-5417 并发场景下,客户端连接状态不一致。 Hbase问题 HBase解决每次执行balance命令,重复计算region location的问题。 补丁兼容关系 包含1.7.1.3及之前发布的所有补丁解决的问题。
  • 注意事项 由于1.7.1 集群的健康检查中存在一项误报,而补丁安装前会进行集群的健康检查。从而导致客户第一次提交安装补丁后,提示集群异常,补丁安装终止。在确认报错是误报后,客户可以再次提交安装补丁请求,第二次安装补丁会跳过健康检查,进行补丁安装。 误报内容可以通过如下方式确认: 查看并导出检查报告,健康检查结果上只存在这两个主机报错:“安装目录及数据目录检查: 目录下文件异常. 请检查安装目录和数据目录下的内容”。 图1 健康检查的结果
  • 安装补丁的影响 安装补丁后需要重启服务才能生效,重启服务期间引起服务暂不可用。 安装补丁后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主Master节点的原始客户端全量更新,请参见全量更新主Master节点的原始客户端。 备Master节点的原始客户端全量更新,请参见全量更新备Master节点的原始客户端。 自行搭建的客户端全量安装方法,请参见安装客户端(3.x之前版本)。 重新安装客户端前建议先对老客户端进行备份。 若您根据业务场景修改过客户端配置,请重装客户端后再次修改客户端配置。
  • 操作步骤 登录主管理节点。 执行以下命令切换用户: sudo su - root su - omm 执行以下命令在主管理节点“${ OMS _RUN_PATH}/workspace0/ha/local/cert”目录生成“root-ca.crt”和“root-ca.pem”: sh ${OMS_RUN_PATH}/workspace/ha/module/hacom/script/gen-cert.sh --root-ca --country=country --state=state --city=city --company=company --organize=organize --common-name=commonname --email=管理员邮箱 --password=password 命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 例如,执行以下命令:sh ${OMS_RUN_PATH}/workspace/ha/module/hacom/script/gen-cert.sh --root-ca --country=CN --state=gd --city=sz --company=hw --organize=IT --common-name=HADOOP.COM --email=abc@hw.com --password=xxx 提示以下信息表示命令执行成功: Generate root-ca pair success. 在主管理节点以“omm”用户执行以下命令,复制“root-ca.crt”和“root-ca.pem”到“${BIGDATA_HOME}/om-0.0.1/security/certHA”目录。 cp -arp ${OMS_RUN_PATH}/workspace0/ha/local/cert/root-ca.* ${BIGDATA_HOME}/om-0.0.1/security/certHA 使用“omm”用户将主管理节点生成的“root-ca.crt”和“root-ca.pem”复制到备管理节点“${BIGDATA_HOME}/om-0.0.1/security/certHA”目录。 执行以下命令,生成HA用户证书并自动替换。 sh ${BIGDATA_HOME}/om-0.0.1/sbin/replacehaSSLCert.sh 根据提示信息输入password,并按回车键确认。 Please input ha ssl cert password: 界面提示以下信息表示HA用户证书替换成功: [INFO] Succeed to replace ha ssl cert. 执行以下命令,重启OMS。 sh ${BIGDATA_HOME}/om-0.0.1/sbin/restart-oms.sh 界面提示以下信息: start HA successfully. 登录备管理节点并切换到omm用户,重复6~7。 执行sh ${BIGDATA_HOME}/om-0.0.1/sbin/status-oms.sh,查看管理节点的“HAAllResOK”是否为“Normal”,并可以重新访问MRS Manager表示操作成功。
  • 接口约束 您必须是桶拥有者或拥有下载对象的权限,才能下载对象。建议使用IAM或桶策略进行授权,如果使用IAM则需授予obs:object:GetObject权限,如果使用桶策略则需授予GetObject权限。相关授权方式介绍可参见OBS权限控制概述,配置方式详见使用IAM自定义策略、配置对象策略。 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 对于存储类别为归档存储的对象,需要确认对象的状态为“已恢复”才能对其进行下载。
  • 方法定义 ObsClient.downloadFiles(bucketName, prefix, downloadFolder, taskNum, taskQueueSize, headers, imageProcess, interval, taskCallback, progressCallback, threshold, partSize, subTaskNum, enableCheckpoint, checkpointFile)
  • 代码样例 1 2 3 4 5 6 7 8 9 try: resp = obsClient.downloadFiles(bucketName='bucketname', prefix='objectkey', downloadFolder='localFolder') result = "DownloadFiles summary : total_task:%d, success:%d ,failure:%d" % (resp.total_tasks, resp.successful_tasks, resp.failed_tasks) print(result) except: import traceback print(traceback.format_exc())
  • 返回结果 表5 返回结果 类型 说明 GetResult 参数解释: SDK公共结果对象。 表6 GetResult 参数名称 参数类型 描述 status int 参数解释: HTTP状态码。 取值范围: 状态码是一组从2xx(成功)到4xx或5xx(错误)的数字代码,状态码表示了请求响应的状态。完整的状态码列表请参见状态码。 默认取值: 无 reason str 参数解释: HTTP文本描述。 默认取值: 无 errorCode str 参数解释: OBS服务端错误码,当status参数小于300时为空。 默认取值: 无 errorMessage str 参数解释: OBS服务端错误描述,当status参数小于300时为空。 默认取值: 无 requestId str 参数解释: OBS服务端返回的请求ID。 默认取值: 无 indicator str 参数解释: OBS服务端返回的错误定位码。 默认取值: 无 hostId str 参数解释: 请求的服务端ID,当status参数小于300时为空。 默认取值: 无 resource str 参数解释: 发生错误时相关的桶或对象,当status参数小于300时为空。 默认取值: 无 header list 参数解释: 响应消息头列表,由多个元组构成。每个元组均包含两个元素,代表响应头的键值对。 默认取值: 无 body object 参数解释: 操作成功后的结果数据,当status大于300时为空。该值根据调用接口的不同而不同,参见“桶相关接口”章节和“对象相关接口”章节的详细描述。 默认取值: 无
  • 资源和成本 表1 资源和成本规划 资源 资源说明 数量 每月费用 OBS 算子请求OBS API。 1 通过算子对数据进行处理,都会涉及到对OBS API的调用,每调用一次API都计算一次请求次数。 对象存储服务 OBS会根据调用API的请求次数进行费用收取,收取详情参见OBS请求费用说明。 FunctionGraph函数 算子使用FunctionGraph 函数工作流 。 1 通过算子对数据进行处理,会使用到函数工作流的资源,比如算子执行时长,函数工作流会根据资源使用情况进行收费,收费详情参见函数工作流计费说明。 视频转码 新建转码任务可以将视频进行转码,并在转码过程中压制水印、视频截图等。视频转码前需要配置转码模板。 待转码的音视频需要存储在与 媒体处理 服务同区域的OBS桶中,且该OBS桶已授权。 1 由媒体处理服务MPC进行收费,详情查看计费说明。
  • 按需计费的EIP费用 按需计费的EIP费用由弹性公网IP保有费和固定带宽费用组成。 表1 按需计费的EIP费用组成 计费项 计费说明 弹性公网IP保有费 已购买的EIP未绑定云资源时,会收取弹性公网IP保有费,即IP保有费。 固定带宽费用 (不同计费方式有不同的计费主体) 按需计费(按带宽计费)的带宽费用 按需计费(按流量计费)的流量费用 共享带宽费用 不同的EIP资源状态,EIP的费用不同。具体参见表2。 表2 按需计费EIP在不同资源状态的费用 EIP资源状态 按需计费(按带宽计费) 按需计费(按流量计费) 按需计费(加入共享带宽) 未绑定EIP计费 弹性公网IP保有费 带宽费 弹性公网IP保有费 弹性公网IP保有费 共享带宽费 绑定EIP计费 带宽费 说明: 无论EIP绑定的实例是否运行,都会收取带宽费,比如ECS关机后,会继续收取带宽费,不收取弹性公网IP保有费。 流量费 说明: EIP绑定的实例停止运行后,不产生流量则不收取流量费,比如ECS关机后,停止收取流量费,不收取弹性公网IP保有费。 共享带宽费 解绑EIP计费 弹性公网IP保有费 带宽费 弹性公网IP保有费 弹性公网IP保有费 共享带宽费 释放EIP计费 停止收取带宽费和弹性公网IP保有费。 停止收取流量费和弹性公网IP保有费。 停止收取弹性公网IP保有费。 删除共享带宽,停止收取带宽费。
  • 成本分配 成本管理的基础是树立成本责任制,让各部门、各业务团队、各责任人参与进来,为各自消耗云服务产生的成本负责。企业可以通过成本分配的方式,将云上成本分组,归集到特定的团队或项目业务中,让各责任组织及时了解各自的成本情况。 华为云成本中心支持通过多种不同的方式对成本进行归集和重新分配,您可以根据需要选择合适的分配工具。 通过关联账号进行成本分配 企业主客户可以使用关联账号对子客户的成本进行归集,从而对子账号进行财务管理。详细介绍请参见通过关联账号维度查看成本分配。 通过企业项目进行成本分配 在进行成本分配之前,建议开通企业项目并做好企业项目的规划,可以根据企业的组织架构或者业务项目来划分。在购买EIP时选择指定企业项目,新购EIP将按此企业项目进行成本分配。详细介绍请参见通过企业项目维度查看成本分配。 图2 为弹性公网IP选择企业项目 通过成本标签进行成本分配 标签是华为云为了标识云资源,按各种维度(例如用途、所有者或环境)对云资源进行分类的标记。推荐企业使用预定义标签进行成本归集,具体流程如下: 图3 为弹性公网IP添加标签 详细介绍请参见通过成本标签维度查看成本分配。 使用成本单元进行成本分配 企业可以使用成本中心的“成本单元”来拆分公共成本。公共成本是指多个部门共享的计算、网络、存储或资源包产生的云成本,或无法直接通过企业项目、成本标签分配的云成本。这些成本不能直接归属于单一所有者,因此不能直接归属到某一类别。使用拆分规则,可以在各团队或业务部门之间公平地分配这些成本。详细介绍请参见使用成本单元查看成本分配。
共100000条