检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表2。 表2 Metastore配置 参数 描述 取值样例 Metastore URL 数据源的Metastore的URL。获取方法请参考3。 thrift://10.92.8.42:21088,thrift://10.92.8.43:21088,thrift://10.92.8
FileStatus:记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin:管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映
FileStatus:记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin:管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映
toBytes("1")); list.add(Bytes.toBytes("2")); list.add(Bytes.toBytes("3")); list.add(Bytes.toBytes("4")); list.add(Bytes.toBytes("5"));
list.add(Bytes.toBytes("2")); list.add(Bytes.toBytes("3")); list.add(Bytes.toBytes("4")); list.add(Bytes
FileStatus:记录文件和目录的状态信息。常用接口参见表2。 DFSColocationAdmin:管理colocation组信息的接口。常用接口参见表3。 DFSColocationClient:操作colocation文件的接口。常用接口参见表4。 系统中不保留文件与LocatorId的映
返回:过滤的wal编辑总数 getFailedReplicationAttempts() 返回类型:long 返回:在一次请求中不能复制数据的次数。 表3 org.apache.hadoop.hbase.replication.ReplicationLoadSink 方法 描述 getAgeOfLastAppliedOp()
各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Hive客户端(MRS 3.x之前版本) 安装客户端,具体请参考安装客户端章节。 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录。 cd
region数的规模。根据经验值,集群每增加35000个region,HeapSize增加2G,主HMaster的HeapSize不建议超过32GB。 MRS 3.x之前版本: HMaster: -server -Xms2G -Xmx2G -XX:NewSize=256M -XX:MaxNewSize=256M
ink,将其拖到右侧的操作界面中并将其连接。 采用SpoolDir Source、File Channel和HDFS Sink,如图3所示。 图3 Flume配置工具示例 双击对应的source、channel以及sink,根据实际环境并参考表1设置对应的配置参数。 如果对应的F
b凭据文件,固定名称。在本地选择2获取的“user.keytab”文件。 user.keytab 配置“连接池配置”,参数配置请参考表3。 表3 连接池配置 参数 描述 取值样例 是否开启连接池 访问Hive Metastore时是否开启连接池。 是 最大连接数 每个Coordinator对每个Hive
read.timeout.ms 30000 否 向Doris发送请求的读取超时时间。 sink.max-retries 3 否 Commit失败后的最大重试次数,默认为3次。 sink.enable.batch-mode false 否 是否使用攒批模式写入Doris,开启后写入时机不
间。 具体操作请参考创建简单模式工作空间。 步骤3:开发Flink SQL作业 在DataArts Studio实例概览信息页面,选择当前工作空间下的“数据开发”。 在“作业开发”页面中的“作业”目录上右键,选择“新建作业”。 表3 DataArts Studio作业配置参数 参数名称
步骤1:创建MRS集群:创建一个包含有Flume组件的MRS集群。 步骤2:生成Flume配置文件:根据业务场景配置Flume服务端和客户端侧配置文件。 步骤3:安装Flume客户端:在MRS集群中下载并安装Flume客户端。 步骤4:查看日志采集结果:查看日志采集结果。 步骤1:创建MRS集群 创
具体操作可参考安装MRS集群客户端。 MRS集群中默认安装了一个客户端用于作业提交,也可直接使用该客户端。MRS 3.x及之后版本客户端默认安装路径为Master节点上的“/opt/Bigdata/client”,MRS 3.x之前版本为Master节点上的“/opt/client”。 使用MRS集群客户端安装用户登录客户端所在的节点。
程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 CSV文件输入 文件输出 HTML输入 文件输出 固定宽度文件输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输
单击“下一步”,进入“转换”界面,设置数据传输过程中的转换操作。算子的选择和参数设置具体请参考Loader算子帮助及表3。 表3 算子输入、输出参数设置 输入类型 输出类型 表输入 文件输出 图3 算子操作方法示意 设置数据保存信息并运行作业 单击“下一步”,进入“输出设置”界面,在“存储类型”中选择“HDFS”,设置数据保存方式。
opts”配置项中添加参数:“-XX:NewRatio”。如“ -XX:NewRatio=2”,则表示老年代与新生代的比值为2:1,新生代占整个堆空间的1/3,老年代占2/3。 开发Flink应用程序时,优化DataStream的数据分区或分组操作。 当分区导致数据倾斜时,需要考虑优化分区。 避免非并行度
时间最长的SQL语句的信息(即结果中“longestDurationOfCompletedSQL”的部分)。每个SQL语句的信息如下表3。 表3 SQL的常用信息 参数 描述 id SQL语句的ID status SQL语句的执行状态,有RUNNING、COMPLETED、FAILED三种
configs”,新增OBS的endpoint配置项,参数为“fs.obs.endpoint”,值请输入OBS对应的endpoint,具体请参考终端节点。 针对MRS 3.x及之后版本的集群,存储在OBS上的文件路径支持以“obs://”开头格式。如需使用该格式提交HiveScript或HiveSql类型的作业,请先在集群详情页面单击“组件管理