华为云用户手册

  • 使用方法 在HBase客户端执行以下命令可索引的定义及状态: hbase org.apache.hadoop.hbase.hindex.global.mapreduce.GlobalTableIndexer -Dtablename.to.show='table' 相关参数介绍如下: tablename.to.show:表示需查看相关索引定义的数据表名称。 查询结果如图1所示,会打印索引列定义、覆盖列定义、TTL、预分区信息、索引状态等: 图1 索引查询结果
  • 场景介绍 使用HBase二级索引可以加速带Filter的条件查询,支持HIndex(本地索引,即Local Secondary Index )和全局二级索引(Global Secondary Index)。全局二级索引相较于本地索引(HIndex),查询性能更好,适合读时延要求高的场景。 HBase全局二级索引,使用独立的索引表存储索引数据。当给定的查询条件可以命中索引时,可以将对数据表的全表查询转换为对索引表的精确范围查询,提升查询速度。开启全局二级索引特性后,应用侧代码无需特殊修改,简单易用。 HBase全局二级索引支持以下重点特性: 复合索引 支持指定多个列作为索引列(支持跨列族)。 覆盖索引 支持指定多个列/列族作为覆盖列/列族冗余存储到索引表中,用于支持索引查询中对非索引列的快速查询。 索引TTL 支持索引表TTL,用于支持数据表开启TTL的场景,为了保障与数据表的一致性,索引表TTL将自动继承数据表索引列和覆盖列的TTL,不支持手动指定。 索引在线变更 支持索引在线创建、删除和修改状态,不影响数据表读写。 索引在线修复 当查询命中的索引数据无效时,可以触发索引修复,保障最终查询结果正确。 索引工具 支持索引一致性检查、索引修复、索引创建/删除/修改状态、索引数据重建等功能。
  • Clickhouse命令简介 本章节主要介绍常用的ClickHouse组件命令。安装ClickHouse客户端后,加载环境变量,可使用以下命令。 连接ClickHouse集群。 非安全集群连接命令 ./clickhouse client --host 集群内网地址 --port 9000 --user admin --password password 安全集群连接命令,详细操作请参见安全集群连接步骤 ./clickhouse client --host 集群内网地址 --port 9440 --user admin --password password --secure --config-file /root/config.xml 创建数据库。 create database demo; 使用数据库。 use demo; 查看当前使用数据库。 select currentDatabase(); 创建数据表。 create table demo_t(uid Int32,name String,age UInt32,gender String)engine = TinyLog; 查看表结构。 desc demo_t; 插入数据。 insert into demo_t values(1,'Candy','23','M'),(2,'cici','33','F'); 查看表。 select * from demo_t; 查看数据库和表。 查看数据库。 show databases; 查看表。 show tables; 删除数据库和表。 删除表。 drop table demo_t; 删除数据表前,需确认此数据表是否应用中,以免引起不必要的麻烦。 删除数据表后可在24小时内恢复,超过24小时无法恢复。恢复命令如下: set allow_experimental_undrop_table_query = 1; UNDROP TABLE 数据表名; 删除数据库。 drop database demo; 父主题: 连接ClickHouse集群
  • 集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时,其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时,集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常,比如,可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足,则其状态为“冻结”。 当集群状态为“冻结”时,您需要通过续费保证账户余额不为0才能解冻,详细操作请参见如何续费?。 说明: 冻结期间集群不可用且关闭集群中所有云主机,解冻后集群自动恢复为“服务中”状态。如果用户没有续费,冻结期限到期后集群会被删除。
  • ClickHouse使用流程 ClickHouse是面向联机分析处理的列式数据库,其独立于Hadoop大数据体系,最核心的特点是压缩率和极速查询性能。同时支持SQL查询,且查询性能好,特别是基于大宽表的聚合分析查询性能非常优异,比其他分析型数据库速度快一个数量级。CloudTable ClickHouse集群管理还有以下功能: ClickHouse集群管理下,用户申请专属集群,按需使用,专属集群是物理隔离且不受其他业务影响,方便用户管理。 ClickHouse集群创建成功后,使用客户端访问集群,请参见以下章节。 准备弹性云服务。 使用客户端访问集群。 ClickHouse命令简介。 图1 ClickHouse使用流程 表1 ClickHouse使用流程 流程 子任务 说明 详细指导 准备工作 创建用户并授权使用CloudTable 使用CloudTable ClickHouse之前,您需要注册华为云账号并进行实名认证,给新账号授权。 将策略授予用户组,并将用户添加至用户组中从而使用户拥有对应的服务权限。 创建用户并授权使用CloudTable 创建集群 创建ClickHouse集群 使用ClickHouse执行任务前,需要创建一个ClickHouse集群。 创建ClickHouse集群 下载客户端 下载ClickHouse客户端 创建集群后,需要下载客户端并安装客户端,安装客户端后,用户才可以借助SSH工具连接集群。 ClickHouse手动安装客户端 准备弹性云服务 - 如果客户端工具的运行环境为Linux环境,您需要准备一台和ClickHouse集群在相同虚拟私有云的Linux弹性云服务器作为客户端主机。 如果客户端工具的运行环境为Windows环境,您需要准备一台和ClickHouse集群在相同虚拟私有云的Windows弹性云服务器作为客户端主机。 准备弹性云服务 安装客户端 - 将下载的客户端放入E CS ,解压安装客户端。 使用MySQL客户端连接ClickHouse集群 连接集群 - 在ECS安装好MySQL客户端后,可用命令连接集群并进行业务操作。 ClickHouse手动安装客户端 父主题: 使用ClickHouse
  • 注意事项 当集群状态处于“服务中”,且没有任何任务操作(如:规格变更、节点扩容、磁盘扩容)时,可以执行扩容操作。 请确定计划扩容的计算单元数小于等于用户计算单元的剩余配额,否则系统会提示无法进行扩容操作。 节点扩容过程中,不会自动重启集群,保证业务不中断,平滑扩容。纵向扩容过程中,集群会停止运行,直到参数设置完后才会重启集群的各个节点。 如果扩容失败,“任务状态”将显示为“单元扩容失败”,集群会自动回滚到扩容前的状态。用户可以再次重试扩容操作。
  • 查看Doris集群详情 集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 表1 集群信息 参数 说明 集群名称 集群的名称,创建集群时设置。 集群ID 集群的ID。 集群状态 集群状态信息。 集群版本 集群的内核版本。 集群访问地址 集群访问的地址,用户可以单击,将访问的链接地址复制到剪切板。 计费模式 显示集群的计费模式。 创建时间 显示集群创建的时间。 数据库引擎 用于存储、处理和保护数据的核心服务。 是否开启Broker进程 是否打开Broker进程,用于给客户做数据导入场景。 是否开启https “是”表示已经开启安全通道,可以下载证书。 是否开启冷热分离 “是”表示开启冷热分离;“否”表示未开始,单击“开启”,弹出开启冷热分离窗口,确认无误,单击“确定”,开启冷热分离特性。 存储资源名称 冷存储的资源名称。 冷存储已使用容量 集群开启冷热分离,显示此字段,表示冷存储的使用量。 集群存储模式 集群存储模式为存算一体。 是否开启接口认证 “是”表示开启接口认证,Doris集群内的rest接口需要账号密码认证,“否”表示未开启接口认证。 说明: 当开启https后,显示此字段。 此功能只在Doris2.0.5版本显示。 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有企业项目的使用权限时,可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。 表2 网络配置 参数 说明 区域 集群的工作区域,在创建集群时设置。 可用区 显示创建集群时所选择的可用区信息。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 子网 子网信息,创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 FE节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 存储规格 选Doris计算节点的磁盘规格、容量。 说明: 选Doris计算节点的磁盘规格、容量: 高IO。 通用型SSD。 超高IO。 极速SSD。 容量范围为200~2000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3个或者5个。 表4 BE节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 存储规格 选Doris计算节点的磁盘规格、容量。 说明: 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速SSD。 容量范围为400~10000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100个。 表5 BE节点本地SSD盘配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U32G(本地盘容量:1.6T)。 16U64G(本地盘容量:3.2T)。 32U128G(本地盘容量:6.4T)。 存储规格 磁盘:支持本地SSD盘。 容量根据选择的计算规格变化。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100。 父主题: 管理Doris集群
  • 集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时,其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时,集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常,比如,可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足,则其状态为“冻结”。 当集群状态为“冻结”时,您需要通过续费保证账户余额不为0才能解冻,详细操作请参见如何续费?。 说明: 冻结期间集群不可用且关闭集群中所有云主机,解冻后集群自动恢复为“服务中”状态。如果用户没有续费,冻结期限到期后集群会被删除。
  • 步骤 登录 表格存储服务 管理控制台。 单击管理控制台左上角的,选择区域。 单击右上角的购买集群按钮,进入“购买集群”页面。 参考下面表格配置集群的基本信息。 表1 区域 参数 参数说明 区域 集群的工作区域。 选择集群节点实际工作区域。 有关区域的详细信息,请参见地区和终端节点。 可用区域 选择集群工作区域下关联的可用区。目前Doris支持的可用区请参见区域和可用区。 计费模式 计费模式有按需付费和包年/包月。 订购周期 当计费模式选择包年/包月时,才会出现此选项。客户根据需求选择订购时间。 自动续费 在购买页面勾选此选项,集群到期后会自动续费,不勾选集群到期需要手动续费。 表2 集群和网络配置 参数 参数说明 名称 集群的名称。 集群名称在4位到32位之间,必须以字母开头,可以包含字母、数字或者中划线,不能包含其他的特殊字符,不区分大小写。 虚拟私有云 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 默认即可。如果没有虚拟私有云,请单击“查看虚拟私有云”进入虚拟私有云,创建一个新的虚拟私有云。 子网 指定虚拟私有云的一个子网。 集群使用子网实现与其他网络的隔离,并独享所有网络资源,以提高网络安全。 安全组 安全组用来实现安全组内和安全组间弹性云服务器的访问控制,加强弹性云服务器的安全保护。用户可以在安全组中定义各种访问规则,这些规则可以限定弹性云服务器的哪些端口或者协议可以访问,这些访问规则可以作用在进出虚拟机的网络访问上。当弹性云服务器加入该安全组后,即受到这些访问规则的保护。不属于该安全组的弹性云服务器,是无法同安全组内的弹性云服务器通信的。 您可以选择使用已有的安全组,或者单击“查看安全组”创建新的安全组。 关于安全组的更多信息,请参见《虚拟私有云用户指南》中的安全组。 数据引擎 选择需要创建的数据组件类型。 集群存储模式 集群存储模式为存算一体。 Doris内核版本 组件引擎版本。 CloudTable Doris集群规格说明:FE节点至少为3个,从而保证高可用。 切换内核版本时,需要重新选择规格,避免创建集群出现问题。 FE的小规格4U16G、高IO、容量200G、节点3个,免费赠送,用于客户体验。 小规格支持包周期和按需计费。 图1 FE节点配置 表3 FE节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U16G。 16U32G。 32U64G。 64U128G。 4U16G。 8U32G。 16U64G。 32U128G。 64U256G。 Doris支持的计算规格详情,请参见 表格存储 服务。 存储规格 选Doris计算节点的磁盘规格、容量。 说明: 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为200~2000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3个或5个。 图2 BE节点配置 表4 BE节点 云存储 配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G(此规格建议仅用于功能体验,生产环境建议使用8U32G及以上)。 8U16G。 16U32G。 32U64G。 64U128G。 8U32G。 16U64G。 32U128G。 64U256G。 Doris支持的计算规格详情,请参见表格存储服务。 存储规格 选Doris计算节点的磁盘规格、容量。 说明: 支持的存储规格: 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为400~10000GB/节点。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100。 表5 BE节点本地SSD盘配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 8U32G(本地盘容量:1.6T)。 16U64G(本地盘容量:3.2T)。 32U128G(本地盘容量:6.4T)。 存储规格 磁盘:支持本地SSD盘。 容量根据选择的计算规格变化。 节点数量 选择集群中的节点个数。 支持的节点数范围3~100。 图3 密码设置 表6 用户名密码参数 参数 参数说明 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有企业项目的使用权限时,可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。 用户名 Doris管理用户,用于连接Doris集群,默认为admin,不可修改。 密码 设置admin用户密码。 密码复杂度要求如下: 8~12个字符。 至少包含以下字符中的4种:大写字母,小写字母、数字、特殊字符($@!%*?&)。 不能与用户名或倒序用户名相同。 强弱密码检查。 说明: 请妥善保管并定期更新密码,避免安全风险。 确认密码 设置admin用户密码。 是否开启Broker进程 是否打开Broker进程,用于给客户做数据导入场景, 仅支持创建时开启。 是否开启https 是否开启https访问通道加密,https协议端口为8050。 说明: 开启https时连接集群只能使用MySQL8及以上客户端,连接端口为9030,使用方法请参见连接客户端。 创建集群开启https选项,后续无法关闭。 创建集群未开启https选项,后续无法开启。 是否开启接口认证 开启后,集群内rest接口需要添加账号密码认证,但同时会略微降低集群性能。 说明: 开启https选项后,显示此字段。 此功能只在Doris2.0.5及以上版本显示。 开启该选项后,再使用Doris集群内的rest接口,如:修改参数、获取集群监控数据等接口需要添加账号密码认证。 是否开启冷热分离 打开开关,集群支持冷热分离特性,将数据分类存储在不同介质上,有效降低存储成本。关闭开关,集群不支持冷热分离特性。 说明: 冷热分离正常收费。 配置好参数,单击“立即购买”。 进“规格详情”页面,确认集群规格订单信息,单击“提交”,成功提交集群创建任务。 单击“返回集群管理列表”,可以查看到集群创建的状态。 集群创建需要时间,请您耐心等待。所创集群的初始状态为“创建中”,创建成功后状态更新为“服务中”。 如果创建的集群计费模式为包年/包月,单击提交,成功提交集群创建任务。 单击“去支付”,跳转到购买页面,确认信息后,选择合适的支付方式,确认付款。 返回控制台,查看集群状态,集群创建需要时间,请您耐心等待。所创集群的初始状态为“创建中”,创建成功后状态更新为“服务中”。
  • Doris使用流程 CloudTable集群模式提供了基于Doris的分布式、可伸缩、全托管的实时 数据仓库 ,它提供了亚秒级返回海量数据查询结果的能力,可以支持高并发的点查询场景,也能支持高吞吐的复杂分析场景。 Doris集群管理下,用户申请专属集群,按需使用,专属集群是完全物理隔离且不受其他业务影响,方便用户管理。 Doris集群创建成功后,用户可通过使用客户端访问集群:详情请参见使用Doris章节,介绍如何使用Doris集群。 图1 Doris使用流程 表1 Doris使用流程 流程 子任务 说明 详细指导 准备工作 创建用户并授权使用CloudTable 使用CloudTable Doris之前,您需要注册华为云账号并进行实名认证,给新账号授权。 将策略授予用户组,并将用户添加至用户组中从而使用户拥有对应的服务权限。 创建用户并授权使用CloudTable 创建集群 创建Doris集群 使用Doris执行任务前,需要创建一个Doris集群。 创建Doris集群 下载客户端 下载Doris客户端 创建集群后,需要下载客户端并安装客户端,安装客户端后,用户才可以借助SSH工具连接集群。 - 准备弹性云服务 - 如果客户端工具的运行环境为Linux环境,您需要准备一台和Doris集群在相同虚拟私有云的Linux弹性云服务器作为客户端主机。 如果客户端工具的运行环境为Windows环境,您需要准备一台和Doris集群在相同虚拟私有云的Windows弹性云服务器作为客户端主机。 准备弹性云服务 安装客户端 - 将下载的客户端放入ECS,解压安装客户端。 使用MySQL客户端访问Doris集群 连接集群 - 在ECS安装好MySQL客户端后,可用命令连接集群并进行业务操作。 使用MySQL客户端访问Doris集群 父主题: 使用Doris
  • 示例流程 图1 给用户授权CloudTable权限流程 创建用户组并授权。 使用云登录 IAM 控制台,创建用户组,并授予表格存储服务的管理员权限“cloudtable Administrator”。 创建用户并加入用户组。 在IAM控制台创建用户,并将其加入步骤1中创建的用户组。 用户登录并验证权限。 使用新创建的用户登录控制台,切换至授权区域,验证权限: 在“服务列表”中选择表格存储服务,进入CloudTable主界面,单击右上角“购买集群”,尝试创建表格存储服务集群,如果可以创建(假设当前权限仅包含cloudtable Administrator),表示“cloudtable Administrator”已生效。 在“服务列表”中选择除表格存储服务之外(假设当前策略仅包含cloudtable Administrator)的任一服务,如果提示权限不足,表示“cloudtable Administrator”已生效。
  • 通过IAM账户使用CloudTable 如果您需要对您所拥有的云服务进行精细的权限管理,您可以使用 统一身份认证 服务(Identity and Access Management,简称IAM)。通过IAM,您可以: 根据企业的业务组织,在您的云账号中,给企业中不同职能部门的员工创建IAM用户,让员工拥有唯一安全凭证,并使用云服务资源。 根据企业用户的职能,设置不同的访问权限,以达到用户之间的权限隔离。 将云服务资源委托给更专业、高效的其他云账号或者云服务,这些账号或者云服务可以根据权限进行代运维。 如果云账号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用CloudTable服务的其它功能。 本章节为您介绍对用户授权的方法,操作流程如图1所示。
  • 前提条件 CloudTable服务暂不支持细粒度策略,仅支持系统角色“cloudtable Administrator”。当前CloudTable默认的系统角色“cloudtable Administrator” 仅适用于未开通企业项目的账号,如已开通,请使用IAM自定义策略并直接给用户授权。 给用户组授权之前,请您了解用户组可以添加的CloudTable权限,并结合实际需求进行选择,CloudTable支持的系统权限,请参见:CloudTable系统权限。如果您需要对除CloudTable之外的其它服务授权,IAM支持服务的所有权限请参见权限策略。
  • 使用CopyTable工具导入数据 准备Linux弹性云服务器作为客户端主机,并在客户端主机上部署CloudTable HBase客户端工具。 具体操作请参见使用HBase Shell连接HBase集群。 在部署客户端工具时,ZK链接地址请配置为源表所在的CloudTable HBase集群的“ZK链接地址(内网)”。 (可选)如果要将表复制到另一个集群,请获取HBase目标集群的“ZK链接地址(内网)”。 登录表格存储服务管理控制台,在左侧导航树单击集群管理,然后在集群列表中找到所需要的集群,并获取相应的“ZK链接地址(内网)”。 在使用CopyTable复制表数据前,需要先确保在CloudTable HBase目标集群中目标表已经存在。如果目标表不存在,请先创建目标表。 创建表的具体步骤,请参考HBase Shell命令简介。 在客户端主机,打开命令行终端窗口,进入客户端工具安装目录的hbase目录下,然后执行CopyTable命令导入数据到CloudTable集群。 命令示例如下,该示例是将“TestTable”表指定1小时范围内的数据复制到目标集群: cd ${客户端工具的安装目录}/hbase ./bin/hbase org.apache.hadoop.hbase.mapreduce.CopyTable --starttime=1265875194289 --endtime=1265878794289 --peer.adr=${CloudTable目标集群的“ZK链接地址”}:/hbase --families=myOldCf:myNewCf,cf2,cf3 TestTable
  • 在CloudTable中查看导入的数据 准备Linux弹性云服务器。 假设该弹性云服务器名称为“ecs_20170916”,准备的具体操作请参见准备弹性云服务器章节。 安装客户端并启动Shell访问CloudTable集群。 使用HBase Shell访问集群的具体操作请参见使用HBase Shell连接HBase集群章节。 在CloudTable客户端中执行查询命令,查看使用 CDM 迁移到CloudTable的数据。 命令示例如下,其中table_name请替换为在CDM集群中新建作业时指定的表名。 scan 'table_name'
  • 一键部署客户端 准备Linux弹性云服务器。 使用一键部署客户端工具,建议Linux弹性云服务器的操作系统类型为EulerOS,CentOS,Ubuntu和SUSE。具体操作请参见准备弹性云服务器。 下载客户端一键部署工具。 使用SSH登录工具(如PuTTY)通过“弹性IP”远程登录到Linux弹性云服务器,然后执行如下命令,获取客户端一键部署工具: curl -O -k "https://cloudtable-publish.obs.myhuaweicloud.com/quick_start_hbase_shell.sh" 此命令适用于HBase 1.x版本。 curl -O -k "https://cloudtable-publish.obs.myhuaweicloud.com/cloudtable-client/quick_start_hbase_shell.sh" 此命令适用于HBase 2.x版本。 一键部署包内置校验文件。 准备集群访问地址。 登录表格存储服务管理控制台,在左侧导航树单击集群管理,然后在集群列表中找到所需要的集群,并获取相应的“ZK链接地址(内网)”。该参数值就是集群访问地址,如图1所示。 图1 ZK链接地址 使用工具部署客户端。 请将以下命令中的"$zookeeper_address"参数替换为3获取的ZK链接地址,然后在弹性云服务器命令行窗口,执行该命令一键部署客户端。 普通集群一键部署命令。 source quick_start_hbase_shell.sh $zookeeper_address 安全集群一键部署命令。 source quick_start_hbase_shell $zookeeper_address enable 启动Shell访问集群。 在上一步执行source命令自动部署客户端后,就已自动启动了HBase Shell。在后续使用过程中,您也可以执行“bin/hbase shell”命令启动Shell访问集群。
  • 查看HBase集群详情 集群创建完成后,可对集群进行监控和管理。在CloudTable管理控制台单击集群管理,在集群列表中找到所要查看的集群并单击集群名称,进入集群基本信息页面,用户可查看集群信息和集群的网络配置。 集群基本信息参数说明如表1和表2所示。 表1 集群信息 参数 参数说明 集群名称 集群的名称,创建集群时设置。 集群ID 集群的ID。 集群状态 集群状态信息。 已使用存储容量(GB) 显示已经使用的存储容量。 计费模式 显示集群的计费模式。 集群版本 集群内核版本。 创建时间 显示集群创建的时间。 企业项目 企业项目管理帮助您将相关的资源(如具有相同使用用途的资源)集中在一起,按企业项目的方式来管理云资源。 说明: 当企业业务发生变化,原用户不再拥有企业项目的使用权限时,可将这些用户与该企业项目的关联关系删除。 可进行单个删除和批量删除。 当用户与企业项目的关联关系被删除后,该用户将无法管理该企业项目,如需再次使用,需要重新给该用户关联企业项目。 ZK链接地址(内网) Zookeeper地址。 用户可以单击,将ZK链接地址复制到剪切板。 热存储已使用容量 集群开启冷热分离高级特性,热数据的存储容量。 冷存储已使用容量 集群开启冷热分离高级特性,冷数据的存储容量。 是否开启安全通道 如果界面显示“否”,表示未开启安全通道;如果界面显示“是”,表示开启安全通道。 是否开启Thrift Server 如果界面显示“否”,表示未开启Thrift Server;如果界面显示“是”,表示开启Thrift Server,并且显示Thrift Server的IP地址。 Thrift Server IP 如果开启Thrift Server,集群详情页面会显示此字段;如果未开启Thrift Server,集群详情页面不显示此字段。 数据库引擎 HBase。 进入只读模式阈值 当集群存储达到某一阈值后,如果继续向存储写入数据,存储会写满,可能会导致性能以及其他功能问题。因此需要给集群设置阈值,当达到设置的阈值后,集群进入只读模式,并发出告警提示用户及时处理集群状态。阀值默认值是85%,取值范围70到90之间。 说明: Core节点存储规格为“普通IO”时,不支持只读模式。 是否为只读模式 “是”代表阀值达到设置的值;“否”代表阀值未达到设置的值。 表2 网络配置 参数 参数说明 区域 集群的工作区域,在创建集群时设置。 可用区 显示创建集群时所选择的可用区信息。 虚拟私有云 VPC信息,创建集群时所选。 VPC即虚拟私有云,是通过逻辑方式进行网络隔离,提供安全、隔离的网络环境。 子网 子网信息,创建集群时所选。 通过子网提供与其他网络隔离的、可以独享的网络资源,以提高网络安全。 安全组 显示创建集群时所选择的安全组信息。 表3 Master节点配置 参数 参数说明 计算规格 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G。 8U16G。 8U32G。 16U32G。 16U64G。 32U64G。 存储规格 默认超高IO。 节点数量 默认2个master节点。 表4 Core节点配置 参数 参数说明 计算节点 请根据业务需求合理选择计算规格。在计算规格列表中展示了每一种计算规格单个节点的CPU、内存和建议使用场景。 说明: 支持的计算规格: 4U16G 8U16G 8U32G 16U32G 16U64G 32U64G 32U128G 64U128G 存储规格 选择HBase计算节点的磁盘规格、容量。 说明: 支持的存储规格: 普通IO。 高IO。 通用型SSD。 超高IO。 极速型SSD。 容量范围为400~30000GB/节点。 节点数量 选择集群中的节点个数,节点范围2~20。 父主题: 管理HBase集群
  • 集群状态 表3 集群状态说明 状态 说明 创建中 表示集群正在创建中。 服务中 当集群创建成功并正常提供服务时,其集群状态为服务中。 亚健康 当超过指定时间监控不到集群状态时,集群状态将显示为“亚健康”。“亚健康”状态的集群需要人工干预让集群恢复正常,比如,可以通过重启集群尝试恢复正常状态。 创建失败 表示集群创建失败。 冻结 续费时所支付的余额已不足,则其状态为“冻结”。 当集群状态为“冻结”时,您需要通过续费保证账户余额不为0才能解冻,详细操作请参见如何续费?。 说明: 冻结期间集群不可用且关闭集群中所有云主机,解冻后集群自动恢复为“服务中”状态。如果用户没有续费,冻结期限到期后集群会被删除。
  • HBase使用流程 CloudTable HBase集群模式提供了基于Apache HBase的分布式、可伸缩、全托管的NoSQL数据存储系统,它提供了毫秒级的随机读写能力,适用于海量结构化数据、半结构化数据存储和查询应用。 HBase集群创建成功后,用户可通过以下方式访问HBase集群: 使用客户端访问集群。 详情请参见此章节:使用HBase:介绍了如何使用HBase Shell访问集群等内容。 调用开源原生接口,开发HBase应用,通过CloudTable HBase链接地址访问集群。 详情请参见《表格存储服务开发指南》。 图1 HBase使用流程 表1 HBase使用流程 流程 子任务 说明 详细指导 准备工作 创建用户并授权使用CloudTable 使用CloudTable HBase之前,您需要注册华为云账号并进行实名认证,给新账号授权。 将策略授予用户组,并将用户添加至用户组中从而使用户拥有对应的服务权限。 创建用户并授权使用CloudTable 创建集群 创建HBase集群 使用HBase执行任务前,需要创建一个HBase集群。 创建HBase集群 下载客户端 下载HBase客户端 创建集群后,需要下载客户端并安装客户端,安装客户端后,用户才可以借助SSH工具连接集群。 使用HBase Shell连接HBase集群 准备弹性云服务 - 如果客户端工具的运行环境为Linux环境,您需要准备一台和HBase集群在相同虚拟私有云的Linux弹性云服务器作为客户端主机。 如果客户端工具的运行环境为Windows环境,您需要准备一台和HBase集群在相同虚拟私有云的Windows弹性云服务器作为客户端主机。 准备弹性云服务器 安装客户端 - 将下载的客户端放入ECS,解压安装客户端。 手动安装客户端 连接集群 - 在ECS安装好MySQL客户端后,可用命令连接集群并进行业务操作。 连接HBase集群 父主题: 使用HBase
  • 数据回源 如果数据上传逻辑不做改变,则可使用OBS的“数据回源”功能,在文件访问请求到达OBS而OBS桶里没有该文件时,可通过“数据回源”将客户端请求重定向到设定的源站并异步地从源站将数据拉取到OBS存储下来,架构如下: 详细流程说明: 客户端向华为CDN发起获取文件的请求 华为CDN回源到华为OBS请求文件,OBS侧事先配置好数据回源,当请求的文件不存在时,会响应302重定向到配置的源站(此处为其他云对象存储) 华为CDN接收到OBS返回的302请求 OBS异步从客户配置的源站请求文件 华为CDN处理302跳转到其他云对象存储侧获取数据 其他云对象存储响应华为CDN的文件请求 华为CDN将文件内容返回给客户端,当下次客户端请求同样的文件时,华为CDN直接回源到OBS获取。 “数据回源”功能是被动触发式,即只有向OBS发起请求后OBS才会到设置的源站将数据拉取过来,所以当一个新文件上传到其他云对象存储后,建议业务应用程序向OBS触发一个GET请求来请求数据(发起GET请求后可关闭连接,无需接收实体数据)。另外该架构会在其他云对象存储侧产生两份数据流量(针对同一个文件,CDN拉取一次,OBS拉取一次)。
  • 应用场景 CDN是构建在现有互联网基础之上的一层智能虚拟网络,通过在网络各处部署节点服务器,实现将源站内容分发至所有CDN节点,使用户可以就近获得所需的内容,所以接入CDN的网站都能有比较快的响应速度。 Web应用防火墙 (WAF:Web Application Firewall),通过对HTTP(S)请求进行检测,识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击,保护Web服务安全稳定。 如果您的网站对安全性能要求比较高,同时又有加速的需求,可以使用华为云CDN联动WAF配置,实现加速的同时防护Web攻击,全面提升网站防护能力。 本实践建立在用户已经开通CDN服务、准备好 域名 (www.example.com),且解析在华为云。 待加速的域名已在华为云完成备案。
  • 数据准备 准备项 说明 示例 网站域名 游戏网站域名。如果您的服务范围是“中国大陆”或者“全球”,根据中国《互联网管理条例》的要求,此域名必须在工信部备案并在有效期内才可以使用 CDN加速 。 域名在华为云备案请参考备案。 download.game-apk1.com(已备案) OBS桶 版本号为3.0以上的OBS存储桶。 桶策略为公共读,未开通静态网站托管。 支持CDN加速的区域:华北-北京一、华北-北京四、华东-上海一、华南-广州、华南-广州-友好用户环境、西南-贵阳一。 obs-doc-test01
  • 方案概述 华为云CDN可以有效加速网站,为用户提供良好的体验。通过CDN加速搭建在ECS服务器上的网站,这样构造的业务系统可以在降低成本的同时,提高终端用户使用感受。 业务流程:当终端用户发起访问请求时,会首先通过CDN查找对此域名响应速度较快的CDN节点,并查询此节点是否有缓存终端用户请求的内容。如果CDN节点有缓存用户所需资源,直接将资源返回给用户;如果CDN节点无缓存,则回源请求资源返回给用户,同时将资源缓存到CDN节点。
  • 方案优势 低成本 CDN加速OBS桶文件后,资源缓存在CDN节点,用户请求无需回源,而CDN加速的费用较低,二者配合使用可以节约50%到57%的带宽成本,详见通过CDN减少OBS公网带宽费用。 OBS桶提供CDN回源流量包折扣方式,使CDN从OBS桶获取数据时流量费用更低,计费详情请见CDN加速OBS计费规则。 CDN加速OBS桶不支持走内网。 高效率 华为云CDN具有加速资源丰富、节点分布广泛优势,保证将用户请求精准调度至较优边缘节点,提供有效且稳定的加速效果。 自动刷新 通过OBS控制台为您的桶绑定加速域名后,支持自动刷新配置,您可以参考配置CDN自动刷新完成相关配置。
  • 适用场景 通过OBS桶提供文件下载业务的应用或服务。例如:通过HTTP/HTTPS提供文件下载业务的网站、工具下载、游戏客户端、APP商店等。 通过OBS桶提供音 视频点播 业务的应用或服务。例如:在线教育类网站、在线视频分享网站、互联网电视点播平台、音乐视频点播APP等。 通过OBS桶提供图片素材等的网站。例如:包括门户网站、电商平台、资讯APP、UGC应用(User Generated Content,用户原创内容)等
  • 资源与成本规划 本实践所需资源请见下表。 资源 资源说明 每月费用 内容分发网络 CDN 流量/带宽:用户访问CDN节点产生的流量/带宽,“计费方式”“流量计费”时可购买流量包抵扣。 具体的计费方式及标准请参考计费说明。 对象存储服务 OBS 流量:CDN回源OBS时会产生公网流出费用,按需计费,版本为3.0以上的桶且以“OBS桶域名”形式接入CDN可购买回源流量包抵扣。 具体的计费方式及标准请参考OBS计费说明。
  • KMS加密文件配置 CDN默认无法读取OBS桶中的加密文件,如果您的OBS桶存在此类文件,建议您慎重开启CDN加速,避免加密对象泄露。如果您因业务需求,需要加速OBS桶中的KMS加密文件,请注意: 如果您的OBS桶是公有桶,CDN将无法读取桶中的KMS加密文件,从而导致回源失败,用户无法访问到加密文件。 解决方案:将公有桶中的加密文件转移到私有桶中,再接入CDN加速。 如果您的OBS桶是私有桶,需要为“CDNAccessPrivateOBS”委托配置“kms:cmk:get”和“kms:dek:crypto”权限。如此,CDN才能读取OBS私有桶中的KMS加密文件并加速,配置过程详见OBS委托授权。
  • CDN加速OBS文件方案 华为云CDN可以有效加速网站,为用户提供良好的体验,而OBS桶提供海量文件存储。将数据存放在OBS桶中然后通过配置CDN加速,这样构造的业务系统可以在降低成本的同时,提高终端用户使用感受。当终端用户发起访问请求时,会首先通过CDN查找对此域名响应速度较快的CDN节点,并查询此节点是否有缓存终端用户请求的内容。如果CDN节点有缓存用户所需资源,直接将资源返回给用户;如果CDN节点无缓存,则回源请求资源返回给用户,同时将资源缓存到CDN节点。
  • 约束与限制 只有版本号为3.0及以上的桶支持此方案。桶版本号可以在OBS控制台上,进入桶概览页面后,在“基本信息”中查看。 当OBS配置了镜像回源且CDN侧开启Range回源时,如果镜像源站未遵循RFC Range Requests标准,对range请求响应非206 ,CDN会回源失败。如需支持该场景,请提工单申请。 当CDN源站类型为“OBS桶域名”且接入的是OBS私有桶时,不支持文件上传操作。如果您需要通过CDN将文件上传到OBS私有桶,需要以“源站域名”的形式将OBS私有桶接入CDN,同时,客户端携带鉴权请求头上传文件。 OBS私有桶以源站域名接入CDN后,因CDN无私有桶上传权限,此时客户端无法正常访问加速域名。使用GET/HEAD等方式通过此加速域名请求资源时,也需携带鉴权请求头。
  • 背景介绍 现在越来越多的行业使用OBS桶存储图片、视频、软件包等静态资源文件,并将OBS桶作为网站、论坛、APP、游戏等业务的存储源。在需要获取这些静态资源时,用户通过URL直接从OBS桶请求数据。OBS桶能够很好的解决本地存储不够用的难题,但一般情况下文件只存储在一个区域,不同区域的用户访问OBS桶的响应速度存在差异。在需要频繁访问的场景下,直接访问OBS桶来获取相应文件,还会消耗大量的流量费用。
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全