华为云用户手册

  • 约束与限制 如果创建Redis实例时设置了密码,使用Redisson客户端连接Redis时,需要配置密码进行连接,建议不要将明文密码硬编码在代码中。 连接单机、读写分离、Proxy集群实例需要使用Redisson的SingleServerConfig配置对象中的useSingleServer方法,连接主备实例需要使用Redisson的MasterSlaveServersConfig配置对象中的useMasterSlaveServers方法,Cluster集群实例需要使用ClusterServersConfig对象中的useClusterServers方法。 Springboot版本不得低于2.3.12.RELEASE,Redisson版本不得低于3.37.0。
  • 测试命令 未开启SSL场景: ./memtier_benchmark -s {IP} -p {port} -c {connect_number} -t {thread} -n allkeys --key-prefix="xxxx" --key-minimum=1 --key-maximum={max_key} --key-pattern=P:P --ratio=1:0 -d {datasize} --cluster-mode 参数参考值:-c {connect_number}:1000,--key-maximum{max_key}:2000000,-d {datasize}:32。 开启SSL场景: ./memtier_benchmark -s {IP} -p {port} -c {connect_number} -t {thread} -n allkeys --key-prefix="xxxx" --key-minimum=1 --key-maximum={max_key} --key-pattern=P:P --ratio=1:0 -d {datasize} --cluster-mode --tls --cacert ca.crt 参数参考值:-c {connect_number}:1000,--key-maximum{max_key}:2000000,-d {datasize}:32。
  • 测试结果 以下测试结果仅供参考,不同局点环境和网络波动等客观条件可能产生性能差异。 以下仅提供几种实例规格的测试结果作为示例,其他实例规格的指标请参考D CS 实例规格。 QPS:即Query Per Second,表示每秒处理的读写操作数,单位是次/秒。 平均/最大时延:操作的平均/最大延迟时间,单位为毫秒(ms)。 x%延迟:指x%操作的延迟时间,单位为毫秒(ms)。例如该指标的值为10ms,99.99%延迟表示99.99%的请求可以在10ms内被处理。 表1 SET操作命令测试结果(未开启SSL场景) 实例规格 实例CPU类型 并发连接数(个) QPS 平均时延(ms) 99%延迟(ms) 99.9%延迟(ms) 32G X86 1000 322899.21 2.661 4.319 8.511 3000 360336.14 7.757 13.055 29.439 10000 330378.22 29.411 97.279 153.599 表2 SET操作命令测试结果(开启SSL场景) 实例规格 实例CPU类型 并发连接数(个) QPS 平均时延(ms) 99%延迟(ms) 99.9%延迟(ms) 32G X86 1000 238307.26 3.603 5.151 6.527 3000 185455.62 13.196 20.607 352.255 10000 111913.19 57.537 96.767 121.343 表3 GET操作命令测试结果(未开启SSL场景) 实例规格 实例CPU类型 并发连接数(个) QPS 平均时延(ms) 99%延迟(ms) 99.9%延迟(ms) 32G X86 1000 450422.66 1.875 2.767 6.879 3000 432450.2 6.451 12.095 28.415 10000 507338.44 23.001 95.231 176.127 表4 GET操作命令测试结果(开启SSL场景) 实例规格 实例CPU类型 并发连接数(个) QPS 平均时延(ms) 99%延迟(ms) 99.9%延迟(ms) 32G X86 1000 274066.16 3.076 4.255 7.071 3000 201063.51 11.743 18.047 387.071 10000 116026.38 51.284 84.479 136.191
  • 查询Redis实例运行日志 登录分布式缓存服务管理控制台。 在管理控制台左上角单击,选择实例所在的区域。 单击左侧菜单栏的“缓存管理”,进入实例信息页面。 单击需要查看运行日志的DCS缓存实例名称,进入该实例的基本信息页面。 单击“运行日志”页签。 单击“采集日志文件”,选择采集时长后,单击“确定”。 如果是主备、读写分离和集群实例,支持根据分片和副本进行日志采集,您需要选择指定分片和副本。如果是单机实例,实例只有一个节点,默认采集该节点的日志。 采集的日志文件以一个自然天为单位,例如选择采集的时长为前3天,则会根据日期生成为3个不同的日志文件。 采集日志文件成功后,单击运行日志文件后的“下载”,可以下载并查看该文件。 Redis内核产生日志较少,您选择的时段内可能日志为空。
  • 约束与限制 只有当DCS缓存实例处于“运行中”或“故障”状态,才能执行此操作。 单机实例或关闭了AOF持久化(参数appendonly配置为no)的主备、集群、读写分离实例,在重启实例后,实例中原有的数据将被清空,请谨慎操作。 在重启DCS缓存实例过程中,您无法对实例进行读写操作。 在重启DCS缓存实例过程中,如果有正在进行的备份操作,备份任务会终止,也可能会重启失败。 重启DCS缓存实例会断开原有客户端连接,建议在应用中配置自动重连。
  • 重启DCS实例 登录分布式缓存服务管理控制台。 在管理控制台左上角单击,选择实例所在的区域。 单击左侧菜单栏的“缓存管理”。 勾选“名称”列下需要重启的DCS缓存实例左侧的方框(可选择一个或多个缓存实例),单击信息栏左上侧的“重启”。 如果重启单个实例,也可以在需要重启的DCS缓存实例右侧,单击“操作”列下的“重启”。 单击“是”,重启DCS缓存实例。DCS缓存实例重启成功后,缓存实例状态切换为“运行中”。 重启DCS缓存实例大约需要10秒到30分钟,具体需要时长与实例的缓存大小有关。 默认情况只会重启实例进程。如果勾选“强制重启”,Redis 3.0、Memcached实例将会重启虚拟机,Redis 4.0及以上版本实例不支持强制重启,将会重启实例进程。
  • DCS使用流程 图1 DCS使用流程图 创建用户并授权使用DCS。 购买Redis实例。 连接Redis实例。 DCS实例创建后,您可以通过客户端连接Redis实例,同时,DCS也支持通过控制台连接Redis。 管理DCS缓存实例及数据。 DCS提供了管理实例、管理实例生命周期、变更实例、测试实例性能、分析诊断实例、实例备份恢复管理、迁移实例数据等操作指导,用户可根据业务需要管理您的缓存实例及数据。
  • 前提条件 已成功创建Redis实例,且状态为“运行中”。创建Redis实例的操作请参考购买Redis实例。 已创建弹性云服务器,创建弹性云服务器的方法,请参见购买弹性云服务器。 如果弹性云服务器为Linux系统,该弹性云服务器必须已经安装gcc编译环境。 如果ECS未安装gcc编译环境,请执行以下命令进行安装: yum install -y makeyum install -y pcre-develyum install -y zlib-develyum install -y libevent-develyum install -y openssl-develyum install -y gcc-c++ 连接实例前确保客户端与Redis实例之间网络互通,具体请参考连接Redis网络要求。
  • 查看DCS性能监控 登录分布式缓存服务管理控制台。 在管理控制台左上角单击,选择实例所在的区域。 单击左侧菜单栏的“缓存管理”,进入缓存实例信息页面。 单击需要查看性能监控指标的缓存实例,进入实例基本信息页面。 单击“性能监控”,页面显示该实例的所有监控指标信息。 您也可以在需要查看的缓存实例的“操作”列,单击“查看监控”,进入 云监控服务 的页面查看,这和在缓存实例信息页面“性能监控”页签内容一致。
  • Redis-cli客户端连接Redis(Windows版) Windows版本的Redis客户端安装包,请单击这里下载编译包。下载后直接解压安装到自定义目录,然后使用cmd工具进入该目录,执行以下命令连接redis实例: redis-cli.exe -h XXX -p 6379 其中:“XXX”为Redis实例的IP地址/ 域名 ,“6379”为Redis实例的端口。IP地址/域名和端口获取见查看实例信息,请按实际情况修改后执行。
  • 备份方式 DCS缓存实例支持自动和手动两种备份方式。 自动备份 您可以通过管理控制台设置一个定时自动备份策略,在指定时间点将实例的缓存数据自动备份存储。 自动备份频率以天为单位,您根据需要,选择每周备份一次或多次。备份数据保留最多7天,过期后系统自动删除。 自动备份主要目的在于让实例始终拥有一个完整的数据副本,在必要时可以及时恢复实例数据,保证业务稳定,实例数据安全多一重保障。 手动备份 除了定时备份,DCS还支持由用户手动发起备份请求,将实例当前缓存数据进行备份,并存储到OBS服务中。 您在执行业务系统维护、升级等高危操作前,可以先行备份实例缓存数据。
  • 数据恢复 数据恢复流程 您通过控制台发起数据恢复请求。 DCS从 对象存储服务 (OBS)获取数据备份文件。 暂停实例数据读写服务。 替换主实例的持久化文件。 重新加载新的持久化文件。 完成数据恢复,对外提供数据读写服务。 数据恢复对业务系统的影响 恢复操作是将备份文件在主节点执行,实例数据恢复期间需暂停数据读写服务,直到主实例完成数据恢复。 数据恢复异常处理 数据恢复文件如果被损坏,DCS在恢复过程中会尝试修复。修复成功则继续进行数据恢复,修复失败,DCS主备实例会将实例还原到执行恢复前的状态。
  • 备份的其他说明 支持备份的实例类型 Redis的“主备”、“Proxy集群”、“Cluster集群”和“读写分离”实例支持数据备份与恢复功能,“单机”实例暂不支持。单机实例若需要备份,可参考Redis单机实例使用Redis-cli工具备份,使用redis-cli工具导出RDB文件。 Memcached的“主备”实例支持数据备份与恢复功能,“单机”实例暂不支持。 备份原理 Redis 3.0实例采用的是AOF文件进行持久化,Redis 4.0及以上基础版实例,手动备份支持选择RDB格式和AOF格式进行持久化;自动备份仅支持RDB格式进行持久化。 如果需要导出Redis 3.0的RDB备份文件,可以通过redis-cli导出,使用命令:redis-cli -h {redis_address} -p 6379 -a {password} --rdb {output.rdb}。 DCS Redis 3.0已下线,暂停售卖,建议使用Redis 4.0及以上版本。 放通了SYNC命令的Redis 3.0单机实例可以通过执行此命令将RDB文件导出;Redis 3.0 proxy实例由于架构的原因,不支持放通SYNC命令,因此不能导出RDB文件。 备份任务在备节点执行,DCS通过将备节点的数据持久化文件压缩并转移到OBS服务中存储,从而实现实例数据备份。 DCS以小时为单位,定期检查所有实例的备份策略,对于需要执行备份的实例,启动备份任务。 备份时间点的选择 建议选择业务量少的时间段进行备份。 备份文件的存储 备份文件存储在对象存储服务(OBS)中。 自动备份异常的处理 自动备份任务触发后,如果实例当前正在进行重启、扩容等操作,则定时任务顺延到下一时间段处理。 实例备份失败或者因为其他任务正在进行而推迟备份,DCS会在下一时间段继续尝试备份,一天最多会尝试三次。 备份数据保存期限 自动备份产生的备份文件根据您设置的策略保留1-7天,超期由系统自动删除,但至少会保留最近一次的数据备份记录。 如果备份数量没有超出最大限制(24个),手动备份数据不会自动清除,您可根据需要手动删除备份数据。 自动和手动备份记录总数最多不超过24个,当备份记录超过24个时,自动删除最早的备份记录。 当删除实例时,备份数据会随实例删除,如果需要保存备份数据,请提前将备份数据下载保存。 删除所有备份文件,会影响备份文件相关能力,如故障时执行备份恢复,请谨慎操作。
  • 配置步骤(按指定资源) 以配置是否存在慢日志(is_slow_log_exist)监控指标的告警规则为例: 登录分布式缓存服务管理控制台。 在管理控制台左上角单击,选择实例所在的区域。 单击左侧菜单栏的“缓存管理”,进入缓存实例信息页面。 在需要查看的缓存实例的“操作”列,单击“查看监控”,进入该实例的监控指标页面。 图3 查看实例监控指标 在实例监控指标页面中,找到指标名称为“是否存在慢日志”的指标项,鼠标移动到指标区域,然后单击指标右上角的,创建告警规则。 跳转到创建告警规则页面。 在告警规则页面,设置告警信息。 设置告警名称和告警的描述。 设置告警策略和告警级别。 如图4所示,在指标监控时,如果连续2个周期,客户执行了耗时命令,产生了慢查询,则产生告警,如果未及时处理,则每一天发送一次告警通知,直至指标恢复到0,表示不存在慢日志。 图4 设置告警内容 设置“发送通知”开关。当开启时,设置告警生效时间、产生告警时通知的对象以及触发的条件。 单击“立即创建”,等待创建告警规则成功。 如果创建告警规则有问题,可查看 云监控 服务的用户指南“创建告警规则”。 如果需要修改或停用所创建的告警,请参考告警规则管理。
  • 对比使用场景 对比实时校验项可以清晰反馈出源数据库和目标数据库的数据是否存在差异。为了尽可能减少业务的影响和业务中断时间,校验场景提供了以下几种对比方式: 对象级对比:支持对数据库、表、索引等进行对比。 数据级对比-行对比:对比选择的表的行数是否一致,只查询表的行数,对比速度较快,建议优先使用。 数据级比对-内容比对-静态比对:比对选择的表的内容是否一致,对比速度取决于表的数据量。 内容对比和行数对比不能同时运行。 内容对比和对象级对比不能同时运行。
  • 创建对比任务 在“校验任务管理”界面,选择指定的校验任务,单击任务名称。 页面跳转至“基本信息”,切换到“校验任务”页签,进入“对比”信息页面。 选择对比的内容。 创建对象级对比:选择“对象级对比”页签,单击“开始对比”后稍等一段时间再单击,观察源数据库和目标数据库的各个对比项结果是否一致。若需要查看结果详情,可单击指定对比项操作列的“详情”按钮。 图1 对象对比 创建数据级对比:选择“数据级对比”页签,单击“创建对比任务”,选择“对比类型”和“对象选择”,单击“是”提交对比任务。 图2 创建数据对比任务 行数对比:用于对比源和目标端的表的行数是否相等。 内容对比:用于对比源和目标端的表的内容是否相同。 静态对比:适用于无数据变化的非业务时间。 对象选择:可根据具体的业务场景选择需要进行对比的对象。 创建数据过滤对比:选择“数据级对比”页签,单击“创建对比任务”,选择“对比类型”、“对比方式”勾选“进行数据过滤”选项。 图3 创建数据过滤对比任务 选择具体的对象,单击“下一步”,选择需要校验的表,输入过滤条件,单击“校验规则”。 图4 选择对象 校验完成后,点击“生成过滤规则”,然后单击“是”完成对比任务的创建。 图5 过滤规则 对比任务提交成功后,在“数据级对比”页签,单击刷新列表,可以查看到所选对比类型的对比结果。 图6 同步数据对比 若需要查看行数对比或者内容对比详情,可单击指定对比类型操作列的“查看对比报表”,页面将跳转至新的窗口,可观察对比结果的详细情况。 图7 数据级对比详情 单击“导出报告”,可导出对比报告。 导出的报告,可以单击“下载报告”,将报告下载至本地。 已取消的对比任务也支持查看对比报表。 导出的报告保留24小时,请尽快下载至本地。
  • 操作步骤 在“校验任务管理 ”页面,选择需要修改校验对象的任务,单击任务名称。 页面跳转至“基本信息”,切换到“对象选择”页签。 选择需要增加或者修改的表,单击操作列的“编辑”。 图1 对象选择 在“对象选择”页面,进行对象选择,可参考4。 在“校验规则”页,可选择需要的表进进行规则校验。 如果不需要校验规则,单击“下一步”。 如果需要进行校验规则,可参考5,设置相关规则。 在“预检查”页面,进行任务预校验,校验全部通过后,单击“下一步”。 在“任务确认”页面,确认校验任务信息无误后,单击“提交并启动”。
  • 任务状态说明 校验任务提供了多种任务状态,以便区分不同的阶段,方便用户进行任务管理。任务的状态和说明,请参见表1。 表1 任务状态和说明 状态 说明 配置 任务已创建,但还没有启动任务,可以继续配置任务。 启动中 正在启动校验任务。 运行中 校验任务运行中。 任务启动失败 校验任务启动失败。 结束任务中 正在释放校验任务所使用的实例和资源。 已结束 释放校验任务所占实例成功。 父主题: 校验任务管理
  • 产品架构 DataArts Insight的产品架构如图1所示: 图1 DataArts Insight产品架构 极简:自然语言生成图表 盘古 for BI,全自然语言交互,“0门槛”自助分析,人人会BI。 AutoGraph引擎自动生成可视化图表,风格统一、样式美观。 智能:业务态势智能洞察 内置或集成行业算法, AutoML自动学习优化,深入挖掘数据价值。 支持自动分析洞察见解和专题故事生成,辅助业务管理者高效决策。 极致性能:10亿数据秒级响应 高性能BI引擎支持多种加速模式,展现快、计算快,提供极致顺滑体验。 企业级:企业级数据管理和安全保护 华为云库/仓/湖/治理等数据平台产品原生集成,提供全链路数据安全保护能力。 提供完善的指标管理能力,统一指标计算口径,消除业务管理歧义。 生态开放:嵌入式分析 轻松将可视化图表和盘古 for BI 智能问答机器人 嵌入到您的SaaS应用界面中。 使能SaaS应用智能化升级,提升用户体验,并催生新的盈利机会。
  • 访问方式 云服务平台提供了Web化的服务管理平台,即管理控制台和基于HTTPS请求的API(Application programming interface)管理方式。 如果用户已注册云服务平台,可直接登录DataArts Insight管理控制台。 使用DataArts Insight的其他相关操作,请参考用户指南。 控制台方式 如果用户已注册,可直接登录DataArts Insight管理控制台。如果未注册,参考 注册华为账号 并开通华为云。 API方式 如果用户需要将云平台上的DataArts Insight服务集成到第三方系统,用于二次开发,请使用API方式访问DataArts Insight服务。具体操作请参见《DataArts Insight API参考》。
  • 审计 云审计 服务(Cloud Trace Service, CTS )是华为 云安全 解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 CTS可记录的DataArts Insight操作列表详见云审计服务支持的DataArts Insight操作列表说明。用户开通云审计服务并创建和配置追踪器后,CTS开始记录操作事件用于审计。关于如何开通云审计服务以及如何查看追踪事件,请参考《云审计服务快速入门》中的相关章节。 CTS支持配置关键操作通知。用户可将与 IAM 相关的高危敏感操作,作为关键操作加入到CTS的实时监控列表中进行监控跟踪。当用户使用DataArts Insight服务时,如果触发了监控列表中的关键操作,那么CTS会在记录操作日志的同时,向相关订阅者实时发送通知。
  • 访问控制 您可以使用 统一身份认证 服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能,可以帮助您安全的控制华为云资源的访问。 关于IAM的详细介绍,参考IAM产品介绍。 权限根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:不允许某用户组删除集群,仅允许DataArts Insight基本操作(如创建、查询作业等)。 DataArts Insight支持的授权项参考权限管理概述。 如表1所示,包括了DataArts Insight的所有系统权限。 表1 DataArts Insight系统权限 系统角色/策略名称 描述 类别 DataArts Insight FullAccess DataArts Insight管理员权限,拥有该权限的用户具有DataArts Insight所有权限,如管理DataArts Insight项目、新建资源等。 系统策略 DataArts Insight DevelopAccess DataArts Insight开发者权限,拥有该权限的用户可以新建数据源、数据集、仪表板、大屏等。 系统策略 DataArts Insight AnalysisAccess DataArts Insight分析师权限,拥有该权限的用户可以使用已创建的数据集创建仪表板、大屏等。 系统角色 DataArts Insight ReadOnlyAccess DataArts Insight只读权限,拥有该权限的用户仅能查看DataArts Insight的仪表板、大屏等资源。 系统角色
  • DataArts Insight权限 默认情况下,管理员创建的IAM用户没有任何权限,您需要将其加入用户组,并给用户组授予策略或角色,才能使得该用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 DataArts Insight部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域对应的项目中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问DataArts Insight时,需要先切换至授权区域。 权限类别:根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为细粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对DataArts Insight服务,管理员能够控制IAM用户仅能对某一类云服务器资源进行指定的管理操作。DataArts Insight支持的API授权项参考《权限策略和授权项》。 表1 DataArts Insight系统权限 系统角色/策略名称 描述 类别 DataArts Insight FullAccess DataArts Insight管理员权限,拥有该权限的用户具有DataArts Insight所有权限,如管理DataArts Insight项目、新建资源等。 系统策略 DataArts Insight DevelopAccess DataArts Insight开发者权限,拥有该权限的用户可以新建数据源、数据集、仪表板、大屏等。 系统策略 DataArts Insight AnalysisAccess DataArts Insight分析师权限,拥有该权限的用户可以使用已创建的数据集创建仪表板、大屏等。 系统角色 DataArts Insight ReadOnlyAccess DataArts Insight只读权限,拥有该权限的用户仅能查看DataArts Insight的仪表板、大屏等资源。 系统角色 表2列出了DataArts Insight常用操作与系统权限的授权关系,您可以参照该表选择合适的系统策略。 表2 DataArts Insight常用操作与系统权限的关系 资源 操作 DataArts Insight FullAccess DataArts Insight DevelopAccess DataArts Insight AnalysisAccess DataArts Insight ReadOnlyAccess 项目 创建项目 Y N N N 删除项目 Y N N N 编辑项目 Y N N N 查询项目列表 Y N N N 用户标签 新建用户标签 Y N N N 更新用户标签 Y N N N 删除用户标签 Y N N N 查询用户标签列表 Y N N N 数据源 新建数据源 Y Y N N 编辑数据源 Y Y N N 查询数据源列表 Y Y N N 查询数据源详情 Y Y N N 上传文件 Y Y N N 查询文件列表 Y Y N N 删除文件 Y Y N N 数据集 新建数据集 Y Y N N 编辑数据集 Y Y N N 查询数据集列表 Y Y Y N 查询数据集详情 Y Y Y N 删除数据集 Y Y N N 开启行列权限 Y Y N N 查询权限列表 Y Y N N 更新行列权限 Y Y N N 删除行列权限 Y Y N N 仪表板 新建仪表板 Y Y Y N 编辑仪表板 Y Y Y N 查询仪表板列表 Y Y Y Y 查询仪表板详情 Y Y Y Y 删除仪表板 Y Y Y N 仪表板发布 Y Y Y N 仪表板下线 Y Y Y N 导出报表数据 Y Y Y Y 大屏 新建大屏 Y Y Y N 编辑大屏 Y Y Y N 查询大屏列表 Y Y Y Y 查询大屏详情 Y Y Y Y 删除大屏 Y Y Y N 大屏发布 Y Y Y N 大屏下线 Y Y Y N
  • 规格明细 数据源规格限制 表2 数据源规格 规格分类 规格描述 限制值 数据源 数据源数(单个工作空间) 100 数据源上传文件大小 50(MB) 数据集规格限制 表3 数据集规格 规格分类 规格描述 限制值 数据集 数据集数(单个工作空间) 1000 行列权限个数(单个数据集) 100 仪表板规格限制 表4 仪表板规格 规格分类 规格描述 限制值 仪表板 仪表板图表总数 200 仪表板故事板(story)总数 100 仪表板(单个工作空间) 1000 大屏规格限制 表5 大屏规格 规格分类 规格描述 限制值 大屏 大屏组件数 300 大屏数(单个工作空间) 1000 智能分析助手规格限制 表6 智能分析助手规格 规格分类 规格描述 限制值 智能分析助手 智能分析助手(单个工作空间) 1000 数据门户规格限制 表7 数据门户规格 规格分类 规格描述 限制值 数据门户 数据门户菜单数 500 数据门户菜单层数 5 数据门户数(单个工作空间) 100 嵌入分析规格限制 表8 嵌入分析规格 规格分类 规格描述 限制值 嵌入分析 嵌入分析(单个工作空间) 1000 办公协同规格限制 表9 办公协同规格 规格分类 规格描述 限制值 订阅推送 订阅推送总数 500 其他规格限制 表10 其他规格 规格分类 规格描述 限制值 组织用户 组织用户总数 1000 用户/用户标签数 200 工作空间 工作空间数 200
  • 责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。 华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、 虚拟主机 和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
  • 步骤三:准备应用程序及数据 MRS 集群创建成功后,可获取集群客户端内预置的wordcount样例程序进行运行,也可准备自行开发的大数据应用程序并上传至集群。 本指南以运行MRS集群客户端内的wordcount样例程序为例进行介绍,需先准备wordcount样例程序运行所需的数据文件。 以root用户登录Master1节点。 准备数据文件。 例如文件名为“wordcount1.txt”和“wordcount2.txt”,内容如下所示: vi /opt/wordcount1.txt hello wordhello wordcount vi /opt/wordcount2.txt hello mapreducehello hadoop 执行以下命令切换到客户端安装目录,配置环境变量并创建用于存放样例数据的HDFS目录,例如“/user/example/input”。 cd /opt/client source bigdata_env hdfs dfs -mkdir -p /user/example/input 执行以下命令,将样例数据上传至HDFS。 hdfs dfs -put /opt/wordcount1.txt /user/example/input hdfs dfs -put /opt/wordcount2.txt /user/example/input
  • 步骤一:创建MRS集群 进入购买MRS集群页面。 在服务列表中搜索“ MapReduce服务 MRS”,进入MRS服务管理控制台。 单击“购买集群”,进入“购买集群”页面,选择“快速购买”页签。 根据实际业务规划情况填写集群配置信息(本示例为快速创建按需计费的MRS 3.1.5版本集群,如需了解更多参数配置请参考快速创建MRS集群)。 表1 MRS集群配置参数 参数 示例 参数说明 计费模式 按需计费 选择待创建的集群的计费模式,MRS提供“包年/包月”与“按需计费”两种计费模式。 按需计费是一种后付费模式,即先使用再付费,按照MRS集群实际使用时长计费。 区域 华北-北京四 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 集群名称 mrs_demo 待创建的MRS集群名称。 集群类型 自定义 根据实际业务需要选择待创建的MRS集群类型。 “自定义”类型集群提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 版本类型 普通版 待创建的MRS集群版本类型。 集群版本 MRS 3.1.5 待创建的MRS集群版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 组件选择 Hadoop分析集群 基于系统预置的集群模板选择要购买的集群组件。 可用区 可用区1 选择集群工作区域下关联的可用区。 虚拟私有云 vpc-default 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 子网 subnet-default 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网,请单击“创建子网”进行创建。 集群节点 保持默认 配置集群节点信息。 Kerberos认证 不开启 是否启用Kerberos认证。 用户名 admin/root 登录集群管理页面及ECS节点的用户名。 密码 - 设置登录集群管理页面及ECS节点用户的密码。 确认密码 - 再次输入设置用户密码。 企业项目 default 选择集群所属的企业项目。 通信安全授权 勾选 勾选确认授权。 图1 购买Hadoop分析集群 单击“立即购买”,进入任务提交成功页面。 单击“返回集群列表”,在“现有集群”列表中可以查看到集群创建的状态。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。
  • 步骤二:安装集群客户端 MRS集群创建成功后,用户需手动安装集群客户端用于连接集群内各组件服务,进行客户端Shell连接、作业任务提交等操作。 客户端可以安装在集群内的节点上,也可以安装在集群外的节点上,本指南以在集群内的Master1节点上安装客户端为例进行介绍。 MRS集群创建成功后,在集群列表中单击MRS集群名称进入集群概览页面。 单击“集群管理页面”后的“前往 Manager”,在弹出的窗口中选择“EIP访问”并配置弹性IP信息。 首次访问时,可单击“管理弹性公网IP”,在弹性公网IP控制台购买一个弹性公网IP,购买成功后刷新弹性公网IP列表并选择。 勾选确认信息后,单击“确定”,登录集群的 FusionInsight Manager管理界面。 Manager登录用户名为admin,密码为购买集群时配置的用于登录Manager管理界面的“admin”用户的自定义密码。 在“主页”页签的集群名称后单击,单击“下载客户端”下载集群客户端。 图2 下载客户端 在“下载集群客户端”弹窗中,配置以下参数: 选择客户端类型:选择“完整客户端”。 选择平台类型:必须与待安装客户端的节点的架构匹配,例如“x86_64”。 对于集群内的节点,节点架构类型可在Manager页面选择“主机”,在待安装客户端节点所在行的“平台类型”列查看。 勾选“仅保存到如下路径”,使用默认保存路径,文件生成后将保存在集群主 OMS 节点(通常为Master1节点)的“/tmp/FusionInsight-Client”目录下。 图3 下载集群客户端提示框 单击“确定”后,等待客户端软件生成成功。 在MRS服务管理控制台的集群列表中,单击集群名称,在集群的“节点管理”页签,单击包含“master1”的节点名称,在ECS详情页面右上角单击“远程登录”登录Master1节点。 图4 查看Master1节点 使用root用户登录Master1节点,密码为购买集群时配置用于登录集群节点的“root”用户的自定义密码。 执行以下命令切换到客户端软件包所在目录,并解压客户端软件包。 cd /tmp/FusionInsight-Client/ tar -xvf FusionInsight_Cluster_1_Services_Client.tar tar -xvf FusionInsight_Cluster_1_Services_ClientConfig.tar 执行以下命令进入安装包所在目录,安装客户端。 cd FusionInsight_Cluster_1_Services_ClientConfig 执行如下命令安装客户端到指定目录(目录可以不存在,如果存在则必须为空)。 例如安装到“/opt/client”目录,执行以下命令: ./install.sh /opt/client 等待客户端安装完成。 ...... component client is installed successfully...
  • 操作流程 开始使用如下样例前,请务必按准备工作指导完成必要操作。 创建MRS集群:创建一个MRS 3.1.5版本的“Hadoop分析集群”。 安装集群客户端:下载并安装MRS集群客户端。 准备应用程序及数据:准备MRS集群客户端内wordcount样例程序运行所需的数据文件。 提交作业并查看结果:在集群客户端提交wordcount数据分析作业并查看执行结果。 释放资源:如果您在完成实践后不需要继续使用MRS集群,请及时清理资源以免产生额外扣费。
  • 步骤一:创建MRS集群 进入购买MRS集群页面。 在服务列表中搜索“MapReduce服务 MRS”,进入MRS服务管理控制台。 单击“购买集群”,进入“购买集群”页面,选择“快速购买”页签。 根据实际业务规划情况填写集群配置信息(本示例为快速创建按需计费的MRS 3.2.0-LTS.1版本集群,如需了解更多参数配置请参考快速创建MRS集群)。 表1 MRS集群配置参数 参数 示例 参数说明 计费模式 按需计费 选择待创建的集群的计费模式,MRS提供“包年/包月”与“按需计费”两种计费模式。 按需计费是一种后付费模式,即先使用再付费,按照MRS集群实际使用时长计费。 区域 华北-北京四 选择区域。 不同区域的云服务产品之间内网互不相通。请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 集群名称 mrs_demo 待创建的MRS集群名称。 集群类型 自定义 根据实际业务需要选择待创建的MRS集群类型。“自定义”类型集群提供丰富的组件搭配,可自行选择对应版本MRS集群所支持的所有组件。 版本类型 LTS版 待创建的MRS集群版本类型,不同版本所包含的开源组件版本及功能特性可能不同。 集群版本 MRS 3.2.0-LTS.1 待创建的MRS集群版本,不同版本所包含的开源组件版本及功能特性可能不同,推荐选择最新版本。 组件选择 HBase查询集群 基于系统预置的集群模板选择要购买的集群组件。 可用区 可用区1 选择集群工作区域下关联的可用区。 虚拟私有云 vpc-default 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。如果没有VPC,需要创建一个新的VPC。 子网 subnet-default 选择需要创建集群的子网,可进入VPC服务查看VPC下已创建的子网名称和ID。如果VPC下未创建子网,请单击“创建子网”进行创建。 集群节点 保持默认 配置集群节点信息。 Kerberos认证 不开启 是否启用Kerberos认证。 用户名 admin/root 登录集群管理页面及ECS节点的用户名。 密码 - 设置登录集群管理页面及ECS节点用户的密码。 确认密码 - 再次输入设置用户密码。 企业项目 default 选择集群所属的企业项目。 通信安全授权 勾选 勾选确认授权。 图1 购买HBase查询集群 单击“立即购买”,进入任务提交成功页面。 单击“返回集群列表”,在“现有集群”列表中可以查看到集群创建的状态。 集群创建需要时间,所创集群的初始状态为“启动中”,创建成功后状态更新为“运行中”,请您耐心等待。
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全