检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
存算分离场景对接OBS文件系统时,也能够支持TASK容错,但是中间数据仍然落盘至HDFS临时目录中。
-85c9-4c05-bd0a-4cb786937a09", "status" : "GA", "features" : [ "anti_affinity", "auto_scaling", "bootstrap_scripts", "bootstrap_support_obs
设置为OBS桶的路径或虚拟机本地的路径。 OBS桶的路径:直接手动输入脚本路径。示例:s3a://XXX/scale.sh 虚拟机本地的路径:用户需要输入正确的脚本路径。脚本所在的路径必须以‘/’开头,以.sh结尾。
如需为集群MRS集群绑定委托,需提前创建具有所需权限的IAM委托,系统默认生成了一个“MRS_ECS_DEFAULT_AGENCY”委托,该委托拥有对象存储服务的OBSOperateAccess权限和在集群所在区域拥有CESFullAccess(对开启细粒度策略的用户)、CES Administrator
当选择保留作业日志到OBS或HDFS时,系统在作业执行结束后,将日志压缩并存储到对应路径。因此,此类作业运行结束后,作业状态仍然为“运行中”,需等日志存储成功后,状态变更为“已完成”。日志存储花费时间依赖于日志大小,需要数分钟以上。
Observer NameNode:与Active NameNode中的数据保持同步,处理来自客户端的读请求。 DataNode 用于存储每个文件的“数据块”数据,并且会周期性地向NameNode报告该DataNode的数据存放情况。
配置示例:参照方案一中示例,配置策略为“允许”,目的地址为通信安全授权地址、NTP、OBS、Openstack及DNS地址的出方向规则。 如果需要解除网络ACL与子网的关联,处理方法请参见如何解除网络ACL的关联子网。 关于VPC的详细介绍,请参见什么是虚拟私有云。
强制停止一个运行中的Job(仅支持streaming jobs、业务代码 source 端需要 implements StoppableFunction) flink cancel -m,--jobmanager <host:port>:指定JobManager。
org.apache.hadoop.yarn.server.resourcemanager.monitor.capacity.ProportionalCapacityPreemptionPolicy yarn.resourcemanager.monitor.capacity.preemption.observe_only
图1 示例 创建一个从SFTP服务器导入数据到HDFS的Loader作业,具体操作请参见使用Loader从SFTP服务器导入数据到HDFS/OBS。 使用安装客户端的用户登录客户端所在节点。 执行以下命令,进入schedule-tool工具的conf目录。
强制停止一个运行中的Job(仅支持streaming jobs、业务代码 source 端需要 implements StoppableFunction) flink cancel -m,--jobmanager <host:port>:指定JobManager。
图1 示例 创建一个从SFTP服务器导入数据到HDFS的Loader作业,具体操作请参见典型场景:从SFTP服务器导入数据到HDFS/OBS。 使用安装客户端的用户登录客户端所在节点。 执行以下命令,进入schedule-tool工具的conf目录。
ExistingJobStatus 已存在的Label对应的导入作业的状态。 该字段只有当Status为"Label Already Exists"时才显示。
Ranger策略中的URL策略是hive表存储在obs上的场景涉及,URL填写对象在obs上的完整路径。与URL联合使用的Read,Write 权限,其他场景不涉及URL策略。
Hudi查询加速 Doris on Hudi支持以下方式的查询加速: Doris支持Hudi Parquet表的Bucket Shuffle Join操作 Doris支持使用Bucket Shuffle Join对Hudi数据源查询进行加速,当前支持对Hudi所有字段类型及存储在OBS
在MRS的大数据生态系统中,Alluxio 位于计算和存储之间,为包括 Apache Spark、Presto、Mapreduce 和 Apache Hive的计算框架提供了数据抽象层,使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统
在MRS的大数据生态系统中,Alluxio 位于计算和存储之间,为包括 Apache Spark、Presto、Mapreduce 和 Apache Hive的计算框架提供了数据抽象层,使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统
指标所属角色:指标所属的角色名名称,标明指标所属的实际角色类型,如JobServer、RegionServer等。 配置MRS集群监控指标数据转储(MRS 2.x及之前版本) 在MRS Manager,单击“系统设置”。
Ranger策略中的URL策略是Hive表存储在OBS上的场景涉及,URL填写对象在OBS上的完整路径。与URL联合使用的Read,Write权限,其他场景不涉及URL策略。
OBS是对象存储服务,具有高可用低成本的特点。