检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当使用Bernoulli方法对表进行采样时,将扫描表的所有物理块并跳过某些行(基于采样百分比和运行时计算的随机值之间的比较)。结果中包含一行的概率与任何其他行无关。这不会减少从磁盘读取采样表所需的时间。如果进一步处理采样输出,则可能会影响总查询时间。
扫描线程数量:扫描仪(Scanner)线程控制每个任务中并行处理的数据块的数量。通过增加扫描仪线程数,可增加并行处理的数据块的数量,从而提高性能。可使用“carbon.properties”文件中的“carbon.number.of.cores”属性来配置扫描仪线程数。
扫描线程数量:扫描仪(Scanner)线程控制每个任务中并行处理的数据块的数量。通过增加扫描仪线程数,可增加并行处理的数据块的数量,从而提高性能。可使用“carbon.properties”文件中的“carbon.number.of.cores”属性来配置扫描仪线程数。
用户扫描数据时可以使用相关索引。
scan.caching(可选):包含一个整数值,表示在扫描数据表时将传递给扫描器的缓存行数。
已修复漏洞披露 解决Spark远程代码执行漏洞,漏洞详细请参考CVE-2020-9480 安装补丁的影响 安装MRS 2.1.0.8补丁期间会重启MRS Manager,滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez
已修复漏洞披露 解决Spark远程代码执行漏洞,漏洞详细请参考CVE-2020-9480 安装补丁的影响 安装MRS 2.1.0.9补丁期间会重启MRS Manager,滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、Tez
已修复漏洞披露 解决Spark远程代码执行漏洞,漏洞详细请参考CVE-2020-9480 安装补丁的影响 安装MRS 2.1.0.10补丁期间会重启MRS Manager,滚动重启Hive、Impala、Spark、HDFS、Yarn、Mapreduce、Presto、HBase、
CarbonData索引由多个级别的索引组成,处理框架可以利用这个索引来减少需要安排和处理的任务,也可以通过在任务扫描中以更精细的单元(称为blocklet)进行skip扫描来代替对整个文件的扫描。
CarbonData索引由多个级别的索引组成,处理框架可以利用这个索引来减少需要安排和处理的任务,也可以通过在任务扫描中以更精细的单元(称为blocklet)进行skip扫描来代替对整个文件的扫描。
时提示网络不可达 开源confluent-kafka-go连接MRS安全集群 MRS集群周期备份任务执行失败 MRS集群客户端无法下载 开启Kerberos认证的MRS集群提交Flink作业报错 通过Hive beeline命令行执行插入命令的时候报错 MRS集群节点如何进行操作系统漏洞升级
以下代码片段在com.huawei.bigdata.hbase.examples包的“HIndexExample”类的enableIndicesExample方法中 enableIndices ():启用指定的索引(索引状态将从INACTIVE变为ACTIVE状态),因此可用于扫描索引
动态规则dynamic_0001(SQL语句扫描的文件数超过阈值),当Spark与Tez引擎达到提示阈值时拦截日志会在Yarn任务日志中打印,不支持在Beeline客户端输出。
N/A running_0004 SQL已经发生的数据扫描量。 Hive Spark HetuEngine ClickHouse SQL扫描数据量,单位为GB。 建议配置值:10240 N/A 父主题: 管理MRS集群SQL防御规则
MRS 1.9.2.2补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 1.9.2.2 发布时间 2021-05-18 解决的问题 MRS Manager 解决sudo提权漏洞 解决扩容刷新队列会导致队列丢失问题 MRS大数据组件 解决Hive on Spark任务报block
QueryExecutorImpl.java:1191) at org.postgresql.core.v3.QueryExecutorImpl.execute(QueryExecutorImpl.java:346) 回答: 带有分区条件的查询,Hiveserver会对分区进行优化,避免全表扫描
避免全表扫描,需要查询元数据符合条件的所有分区。 而gaussDB中提供的接口sendOneQuery,调用的sendParse方法中对参数的限制为32767。 如果分区条件数超过32767就异常。 父主题: Hive常见问题
支持客户进行MRS服务相关开源组件漏洞分析,如影响分析、修复建议,由用户负责评估对应的业务影响和进行最终实施。 不支持的服务 不负责提供具体MRS集群和开源大数据组件管理的运维操作,包括参数配置修改、重启、容量规划、组件性能优化以及集群上任何运维操作等。
134217728(即128M) spark.files.openCostInBytes 打开文件的预估成本, 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好,这样小文件分区将比大文件分区更先被调度。 4M 父主题: Spark SQL性能调优
134217728(即128M) spark.files.openCostInBytes 打开文件的预估成本, 按照同一时间能够扫描的字节数来测量。当一个分区写入多个文件时使用。高估更好,这样小文件分区将比大文件分区更先被调度。 4M 父主题: Spark SQL性能调优