数据管理与分析-华为云

数据管理与分析-华为云数据治理平台

华为云数据治理平台数据治理总体架构数据治理中心 DataArtsStudio https://support.huaweicloud.com/dataartsstudio/index.html 数据湖探索 DLI https://support.huaweicloud.com/dli/index.html 数据仓库服务DWS https://support.huaweicloud.com/dws/index.html 数据复制服务 DRS https://support.huaweicloud.com/drs/index.html 云数据迁移 CDM https://support.huaweicloud.com/cdm/ 应用与数据集成平台 ROMAConnect https://support.huaweicloud.com/roma/index.html 父主题：实施步骤

数据管理与分析实施步骤

数据管理与分析-方案概述:方案架构

方案架构该解决方案部署架构图如下：图1 方案架构图该解决方案会部署如下资源：创建三个弹性公网IP EIP，提供独立的公网IP资源，用于提供节点访问公网和被公网访问的能力。创建十一台弹性云服务器ECS，其中包含三个TiDB节点用于数据计算，三个TiKV节点用于数据存储，一个TiFlash节点用于列式存储，一个中控节点用于集群部署与监控，中控节点绑定弹性公网IP；三个PD节点用于集群的协调，其中一个PD节点绑定弹性公网IP用于访问仪表盘，PD节点的弹性公网配置具体请参考3.3-开始使用创建一个弹性负载均衡 ELB，并绑定弹性公网IP，用于访问TiDB数据库节点。

数据管理与分析

数据管理与分析-方案概述:约束与限制

约束与限制部署该解决方案之前，您需注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态，如使用包周期部署确保余额充足。如果计费模式选择“包年包月”，请确保账户余额充足以便一键部署资源的时候可以自动支付；或者在一键部署的过程进入费用中心，找到“待支付订单”并手动完成支付。请确保在部署解决方案前，使用的华为云账号有IAM的足够权限，具体请参考3.1-创建rf_admin_trust委托

数据管理与分析

数据管理与分析-快速部署

快速部署本章节主要帮助用户快速部署该解决方案表1 参数说明参数名称类型是否必填参数解释默认值 enterprise_project_id string 是企业项目id，请参考部署指南到项目管理界面获取https://console.huaweicloud.com/eps/，0代表default项目。 0 vpc_name string 是虚拟私有云 VPC名称，该模板新建VPC，不允许重名。取值范围：1-54个字符，支持数字、字母、中文、_（下划线）、-（中划线）、.（点）。 high-availability-tidb security_group_name string 是安全组名称，该模板新建安全组。取值范围：1-64个字符，支持数字、字母、中文、_（下划线）、-（中划线）、.（点）。 high-availability-tidb eip_bandwidth_size number 是弹性公网IP EIP带宽大小，单位：Mbit/s。取值范围：1-2,000。 100 eip_bandwidth_mode string 是弹性公网IP EIP计费模式，取值为：bandwidth（按带宽计费），traffic（按流量计费）。 traffic ecs_name string 是弹性云服务器 ECS名称前缀，不允许重名。命名规则{ecs_name}-tidb0X、{ecs_name}-tiflash、{ecs_name}-pd0X及{ecs_name}-tikv0X、{ecs_name}-monitor，其中X取值[1,3]。取值范围：1-56个字符，支持数字、字母、_（下划线）、-（中划线）、.（点）。 high-availability-tidb ecs_password string 是 ECS初始化密码及Console运维平台初始化密码，请参考重置ECS实例密码登录ECS控制台修改密码。取值范围：长度为8-26位，密码至少必须包含大写字母、小写字母、数字和特殊字符（!@$%?*#.）中的三种，密码不能包含用户名或用户名的逆序。管理员账户为root。无 tidb_flavor string 是 TiDB-ECS规格，推荐使用16vCPUs32GB及以上规格。具体规格请参考官网弹性云服务器规格清单。 c7.4xlarge.2 pd_flavor string 是 PD-ECS规格，推荐使用4vCPUs8GB及以上规格。具体规格请参考官网弹性云服务器规格清单。 c7.xlarge.2 tikv_flavor string 是 TiKV-ECS规格，推荐使用16vCPUs32GB及以上规格。具体规格请参考官网弹性云服务器规格清单。 c7.4xlarge.2 tiflash_flavor string 是 TiFlash-ECS规格，推荐使用32vCPUs64GB及以上规格。具体规格请参考官网弹性云服务器规格清单。 c7.8xlarge.2 monitor_flavor string 是 Monitor&Grafana-ECS规格，推荐使用4vCPUs8GB及以上规格。具体规格请参考官网弹性云服务器规格清单。 c7.xlarge.2 ecs_disk_size number 是各组件系统盘大小，磁盘类型默认通用型SSD，以GB为单位，取值范围为40-1,024，不支持缩盘。 100 tiflash_disk_size number 是 TiFlash数据盘大小，磁盘类型默认通用型SSD，以GB为单位，取值范围为10-32,768，不支持缩盘。 2048 tikv_disk_size number 是 TiKV数据盘大小，磁盘类型默认通用型SSD，以GB为单位，取值范围为10-32,768，不支持缩盘。 2048 monitor_disk_size number 是 Monitor&Grafana数据盘大小，磁盘类型默认通用型SSD，以GB为单位，取值范围为10-32,768，不支持缩盘。 500 elb_name string 是弹性负载均衡，用于访问TiDB 输入为ELB名称前缀，命名规则{elb_name}_elb。取值范围：1-51个字符组成，支持中文、英文字母、数字、_（下划线）、-（中划线）、.（点）。 high-availability-tidb charge_mode string 是计费模式，默认自动扣费，可选值为：postPaid（按需计费）、prePaid（包年包月）。 postPaid charge_period_unit string 是订购周期类型，仅当charge_mode为prePaid（包年/包月）生效。取值范围：month（月），year（年）。 month charge_period number 是订购周期，仅当charge_mode为prePaid（包年/包月）生效。取值范围：charge_period_unit=month（周期类型为月）时，取值为1-9；charge_period_unit=year（周期类型为年）时，取值为1-3。 1 登录华为云解决方案实践，选择“快速构建高可用TiDB集群”，单击“一键部署”，跳转至解决方案创建资源栈界面。图1 解决方案实践在选择模板界面中，单击“下一步”。图2 选择模板在配置参数界面中，参考表3-1 参数填写说明完成自定义参数填写，单击“下一步”。图3 配置参数（可选，如果使用华为主账号或admin用户组下的IAM子账户可不选委托）在资源设置界面中，在权限委托下拉框中选择“rf_admin_trust”委托，单击“下一步”。图4 资源栈设置在配置确认界面中，单击“创建执行计划”。图5 配置确认在弹出的创建执行计划框中，自定义填写执行计划名称，单击“确定”。图6 创建执行计划单击“部署”，并且在弹出的执行计划确认框中单击“执行”。图7 执行计划图8 执行计划确认（可选）如果计费模式选择“包年包月”，在余额不充足的情况下（所需总费用请参考2-表资源和成本规划（包年包月））请及时登录费用中心，手动完成待支付订单的费用支付。待“事件”中出现“Apply required resource success”，表示该解决方案资源已经部署完成，后台将自动完成环境构建。图9 部署完成父主题：实施步骤

数据管理与分析

数据管理与分析-准备工作:创建rf_admin_trust委托（可选）

创建rf_admin_trust委托（可选）进入华为云官网，打开控制台管理界面，鼠标移动至个人账号处，打开“统一身份认证”菜单。图1 控制台管理界面图2 统一身份认证菜单进入“委托”菜单，搜索“rf_admin_trust”委托。图3 委托列表如果委托存在，则不用执行接下来的创建委托的步骤。如果委托不存在时执行接下来的步骤创建委托。单击步骤2界面中的“创建委托”按钮，在委托名称中输入“rf_admin_trust”，委托类型选择“云服务”，选择“RFS”，单击“下一步”。图4 创建委托在搜索框中输入“Tenant Administrator”权限，并勾选搜索结果，单击“下一步”。图5 选择策略选择“所有资源”，并单击下一步完成配置。图6 设置授权范围 “委托”列表中出现“rf_admin_trust”委托则创建成功。图7 委托列表

数据管理与分析实施步骤

数据管理与分析-资源和成本规划

数据管理与分析

数据管理与分析-准备工作:创建rf_admin_trust委托（可选）

创建rf_admin_trust委托（可选）进入华为云官网，打开控制台管理界面，鼠标移动至个人账号处，打开“统一身份认证”菜单。图1 控制台管理界面图2 统一身份认证菜单进入“委托”菜单，搜索“rf_admin_trust”委托。图3 委托列表如果委托存在，则不用执行接下来的创建委托的步骤如果委托不存在时执行接下来的步骤创建委托单击步骤2界面中的“创建委托”按钮，在委托名称中输入“rf_admin_trust”，委托类型选择“云服务”，输入“RFS”，单击“下一步”。图4 创建委托在搜索框中输入”Tenant Administrator”并勾选搜索结果，单击“下一步”。图5 选择策略选择“所有资源”，并单击下一步完成配置。图6 设置授权范围 “委托”列表中出现“rf_admin_trust”委托则创建成功。图7 委托列表

数据管理与分析

数据管理与分析-方案概述:方案架构

方案架构该解决方案基于华为云弹性云服务器 ECS上资源一键式部署，帮用户快速构建Flink集群环境。解决方案架构图如下：图1 方案架构图部署该方案中需要使用的资源：创建一台弹性云服务器 ECS，充当Flink集群的JobManager角色和TaskManager角色。创建两台弹性云服务器 ECS，分别充当Flink集群的TaskManager角色。创建虚拟私有云 VPC、子网及安全组，保护弹性云服务器的网络安全，通过配置安全组规则，限定云服务器的访问端口，保证个人网站安全。

数据管理与分析

数据管理与分析-方案概述:约束与限制

约束与限制该解决方案部署前，需注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态。如果计费模式选择“包年包月”，请确保账户余额充足以便一键部署资源的时候可以自动支付；或者在一键部署的过程进入费用中心，找到“待支付订单”并手动完成支付。如果选用IAM委托权限部署资源，请确保使用的华为云账号有IAM的足够权限，具体请参考3.1-创建rf_admin_trust委托；如果使用华为主账号或admin用户组下的IAM子账户可不选委托，将采用当前登录用户的权限进行部署。该解决方案默认部署在新建VPC下，VPC默认网段为：172.16.0.0/16。必须保证业务系统和Flink集群服务网络互通，具体配置操作可参考创建VPC对等连接，更多详情可参考VPC对等连接官网。

数据管理与分析

数据管理与分析-快速部署

快速部署本章节主要帮助用户快速部署“快速构建高可用Flink集群”解决方案。表1 参数说明参数名称类型是否可选参数解释默认值 vpc_name string 必填虚拟私有云名称，该模板新建VPC，不允许重名。取值范围：1-57个字符，支持数字、字母、中文、_(下划线)、-（中划线）、.（点） building-an-ha-flink-cluster secgroup_name string 必填安全组名称，该模板新建安全组，安全组规则请参考部署指南进行配置。取值范围：1-64个字符，支持数字、字母、中文、_(下划线)、-（中划线）、.（点）。 building-an-ha-flink-cluster ecs_name string 必填弹性云服务器名称前缀，不支持重名，命名方式为{ecs_name}-master、{ecs_name}-slavex(x取[1-98])，取值范围：1-56个字符，支持字母、数字、中文、下划线（_）、中划线（-）、英文句号（.）。 building-an-ha-flink-cluster flink_ecs_count number 必填 Flink集群服务器个数，注意值为1时为单机版Flink环境，取值范围为1～99。 3 ecs_flavor string 必填 Flink云服务器规格，具体规格请参考官网弹性云服务器规格清单。 s6.large.2 ecs_password string 必填弹性云服务器初始密码，创建完成后，请参考重置ECS实例密码登录ECS控制台修改密码。取值范围：长度为8-26位，密码至少必须包含大写字母、小写字母、数字和特殊字符（!@$%^-_=+[{}]:,./?）中的三种，密码不能包含用户名或用户名的逆序。管理员账户为root。空 system_disk_size number 必填系统盘大小，磁盘类型默认通用型SSD，以GB为单位，取值范围为40～1024，不支持缩盘。 100 charging_mode string 必填弹性云服务器ECS计费模式，默认自动扣费，取值为prePaid（包年包月）或postPaid（按需计费）。 postPaid charging_unit string 必填弹性云服务器ECS订购周期单位，当计费方式设置为prePaid，此参数是必填项。有效值为：month（包月）和year（包年）。 month charging_period number 必填弹性云服务器ECS计费周期，当计费方式设置为prePaid，此参数是必填项，当计费周期单位设置为month，取值范围为1~9；当计费周期单位设置为year，取值范围为1~3。 1 登录华为云解决方案实践，选择“快速构建高可用Flink集群”，单击“一键部署”，跳转至解决方案创建资源栈界面。图1 解决方案实施库在选择模板界面中，单击“下一步”。图2 选择模板在配置参数界面中，参考表1完成自定义参数填写，单击“下一步”。图3 配置参数（可选，如果使用华为主账号或admin用户组下的IAM子账户可不选委托）在资源设置界面中，在权限委托下拉框中选择“rf_admin_trust”委托，单击“下一步”。图4 资源栈设置在配置确认界面中，单击“创建执行计划”。图5 配置确认在弹出的创建执行计划框中，自定义填写执行计划名称，单击“确定”。图6 创建执行计划单击“部署”，并且在弹出的执行计划确认框中单击“执行”。图7 执行计划图8 执行计划确认（可选）如果计费模式选择“包年包月”，在余额不充足的情况下（所需总费用请参考表1）请及时登录费用中心，手动完成待支付订单的费用支付。待“事件”中出现“Apply required resource success”，表示该解决方案已经部署完成。图9 部署完成父主题：实施步骤

数据管理与分析实施步骤

数据管理与分析-方案概述:方案架构

方案架构该解决方案基于FunctionGraph、OBS、KAFKA、GES等服务的组合，辅助运维人员定位车辆故障原因。图1 方案架构图该解决方案将会部署如下资源：创建分布式消息服务 Kafka版专享版实例，并创建 Topic，用于写入车辆数据，为用户提供便捷高效的消息队列。创建一个对象存储服务 OBS桶，用于存储车辆数据。使用函数工作流 FunctionGraph创建3个函数，用于数据转换、导入数据到GES。创建一个API网关 APIG API，将车辆数据生成GES故障图封装为一个API用户调用。创建一个图引擎服务 GES图，用于生成时序图谱，查询关联事件，定位故障点位。

数据管理与分析

数据管理与分析-准备工作:给rf_admin_trust委托添加IAM Agency Management FullAccess策略（可选）

给rf_admin_trust委托添加IAM Agency Management FullAccess策略（可选）打开“统一身份认证”菜单图12 统一身份认证菜单进入“委托”菜单，选择rf_admin_trust委托图13 委托列表进入“授权记录”菜单，单击“授权”按钮图14 授权记录在搜索框输入IAM Agency Management FullAccess，勾选过滤出来的记录，单击下一步，并确认完成权限的配置图15 配置IAM Agency Management FullAccess策略配置好后的情况：rf_admin_trust委托拥有Tenant Administrator和IAM Agency Management FullAccess权限图16 授权记录列表

数据管理与分析实施步骤

数据管理与分析-准备工作:创建rf_admin_trust委托（可选）

创建rf_admin_trust委托（可选）进入华为云官网，打开控制台管理界面，鼠标移动至个人账号处，打开“统一身份认证”菜单。图1 控制台管理界面图2 统一身份认证菜单进入“委托”菜单，搜索“rf_admin_trust”委托。图3 委托列表如果委托存在，则不用执行接下来的创建委托的步骤如果委托不存在时执行接下来的步骤创建委托单击步骤2界面中的“创建委托”按钮，在委托名称中输入“rf_admin_trust”，委托类型选择“云服务”，选择“RFS”，单击“下一步”。图4 创建委托在搜索框中输入“Tenant Administrator”权限，并勾选搜索结果。图5 选择策略选择“所有资源”，并单击下一步完成配置。图6 设置授权范围 “委托”列表中出现“rf_admin_trust”委托则创建成功。图7 委托列表

数据管理与分析实施步骤

数据管理与分析-方案概述:应用场景

应用场景该解决方案基于华为云数据湖探索 DLI Spark作业构建，通过对驾驶人驾驶行为的分析，帮助您快速的进行车辆数据管理与分析。DLI 是一个强大的大数据处理平台，它可以帮助您轻松地管理和分析车辆数据。通过使用标准 SQL 和 Spark 程序，您可以在云上进行多数据源的联合计算分析，从而挖掘和探索数据价值。适用于以下场景： 1、智能驾驶: 通过分析车辆数据，可以提供有关驾驶行为的深入见解，以改善驾驶体验、提高道路安全，并优化交通流量。 2、自动驾驶: 通过分析车辆数据，可以训练自动驾驶模型，以提高自动驾驶的准确性和效率。 3、安全预警: 通过分析车辆数据，可以预测和识别潜在的安全问题，提前采取措施，防止事故发生。 4、用户行为分析: 通过分析车辆数据，可以了解用户的驾驶习惯和行为，以提供更好的服务和产品。

数据管理与分析

数据管理与分析-方案概述:约束与限制

约束与限制部署该解决方案之前，您需注册华为账号并开通华为云，完成实名认证，且账号不能处于欠费或冻结状态，如使用包周期部署确保余额充足。如果选用IAM委托权限部署资源，请确保使用的华为云账号有IAM的足够权限，具体请参考创建rf_admin_trust委托（可选）；如果使用华为主账号或admin用户组下的IAM子账户可不选委托，将采用当前登录用户的权限进行部署。第一次使用数据湖数据湖 DLI时需要登录DLI控制台，如果使用IAM子账户部署该解决方案，请参考部署指南确保该账号已经有DLI的相关授权，第一次使用DLI时候也需要用子账号登录一次控制台。具体请参考数据湖探索 DLI帮助文档。

数据管理与分析

云服务器内容精选

数据管理与分析

7*24

备案

专业服务

退订

建议反馈

售前咨询热线