检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink向Kafka生产并消费数据Java样例代码 功能简介 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka,则需要引入MRS的kafka-client-xx.x.x.jar,该jar包可在
Flink向Kafka生产并消费数据Scala样例代码 功能简介 在Flink应用中,调用flink-connector-kafka模块的接口,生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka,则需要引入MRS的kafka-client-xx.x.x.jar,该jar
Spark on Yarn的client模式下spark-submit提交任务出现FileNotFoundException异常 问题 在omm用户(非root用户)下,通过spark-submit提交yarn-client模式的任务,会出现FileNotFoundException
Spark应用名在使用yarn-cluster模式提交时不生效 问题 Spark应用名在使用yarn-cluster模式提交时不生效,在使用yarn-client模式提交时生效,如图1所示,第一个应用是使用yarn-client模式提交的,正确显示代码里设置的应用名Spark Pi
开启防误删下,为什么Carbon表没有执行drop table命令,回收站中也会存在该表的文件? 问题 开启防误删下,为什么Carbon表没有执行drop table命令,回收站中也会存在该表的文件? 回答 在Carbon适配防误删后,调用文件删除命令,会将删除的文件放入回收站中。
日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果 问题 为什么日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果,匹配'2016-06-30'时有查询结果。 如下图所示:“select count(*)from trxfintrx2012 a
建表语句分区列为timestamp时,使用非标准格式的时间指定分区查询表统计失败 问题 建表语句分区列为timestamp时,使用非标准格式的时间指定分区查询表统计失败以及show partitions table结果编码不对。 执行desc formatted test_hive_orc_snappy_internal_table
> Spark > 配置 > 全部配置 >JDBCServer(角色) > 自定义”,在“custom”中添加如下参数,并重启JDBCServer服务。
登录Manager界面,选择“集群 > 服务 > Impala > 配置 > 全部配置 > Catalog(角色) > 环境”,查看并记录参数“IMPALA_GC_OPTS”中的“xmx”内存值。
开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 父主题: Spark Core
日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果 问题 为什么日期类型的字段作为过滤条件时匹配'2016-6-30'时没有查询结果,匹配'2016-06-30'时有查询结果。 如下图所示:“select count(*)from trxfintrx2012 a
IE浏览器访问Spark2x原生UI界面失败,无法显示此页或者页面显示错误 问题 通过IE 9、IE 10和IE 11浏览器访问Spark2x的原生UI界面,出现访问失败情况或者页面显示错误问题。 现象 访问页面失败,浏览器无法显示此页,如下图所示: 原因 IE 9、IE 10、IE
当在Filter中使用Big Double类型数值时,过滤结果与Hive不一致 现象描述 当在filter中使用更高精度的double数据类型的数值时,过滤结果没有按照所使用的filter的要求返回正确的值。 可能原因 如果filter使用更高精度的double数据类型的数值,系统将会对该值四舍五入进行比较
为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 问题 为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 回答 CarbonData块分布对于数据处理进行了如下优化: 优化数据处理并行度。 优化了读取块数据的并行性
为什么数据查询/加载失败,且发生“org.apache.carbondata.core.memory.MemoryException: Not enough memory”异常? 问题 为什么数据查询/加载失败,且发生“org.apache.carbondata.core.memory.MemoryException
例如:“192.168.81.37:2181,192.168.195.232:2181,192.168.169.84:2181” 在Manager页面,选择“集群 > 服务 > HetuEngine > 实例”,获取HSBroker所有实例的业务IP;在“配置”页签,搜索“server.port
如何处理用户在使用chrome浏览器时无法显示任务状态的title 问题 用户在使用chrome浏览器浏览Flink Web UI页面时无法显示title。此处以Tasks为例进行分析,用户将鼠标置于Tasks的彩色小方框上,无法显示彩色小框的title说明,如图1所示。正常的显示界面如图
如何处理新创建的Flink用户提交任务报ZooKeeper文件目录权限不足 问题 创建一个新的Flink用户,提交任务,ZooKeeper目录无权限导致提交Flink任务失败,日志中报如下错误: NoAuth for /flink_base/flink/application_1499222480199
如何查看System.out.println打印的调试信息或将调试信息输出至指定文件 问题 Flink业务代码中添加了System.out.println调试信息打印,该如何查看此调试日志?避免与运行日志混在一起打印,如何将业务日志单独输出至指定文件? 回答 Flink所有的运行日志打印都会打印至
通过ThriftServer实例向HBase表中写入数据 功能简介 传入ThriftServer实例所在host和提供服务的port,根据认证凭据及配置文件新建Thrift客户端,访问ThriftServer,分别使用put和putMultiple进行写数据操作。