apache问题处理与维修

Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Apache Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark

查看更多 →

性的动态流数据实时计算处理。 CEP SQL：提供地理位置分析函数对地理空间数据进行实时分析，用户仅需编写SQL便可实现例如偏航检测，电子围栏等地理分析场景。 大数据治理能力：能快速将海量遥感影像数据接入上云，快速完成影像数据切片处理，为分布式批处理计算提供弹性分布式数据集。 建议搭配以下服务使用

查看更多 →

GaussDB(DWS) 和MRS分别应在何时使用？ 如果需要使用自定义代码通过大数据处理框架 (如Apache Spark、Hadoop或HBase) 来处理和分析超大数据集，则应该使用MRS。MRS让您能够控制集群的配置和集群上安装的软件。 GaussDB(DWS) 这类数据

查看更多 →

license信息检查不通过 问题现象 异常信息如下： 1 [ERROR] Failed to execute goal org.apache.rat:apache-rat-plugin:0.12:check (rat-check) on project maven: Too many

查看更多 →

Hive与其他组件有什么关系？ Hive与HDFS间的关系 Hive是Apache的Hadoop项目的子项目，Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据，Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop

查看更多 →

Hue页面上传大文件失败如何处理 问题 通过Hue页面上传大文件时，上传失败。 回答 不建议使用Hue文件浏览器上传大文件，大文件建议使用客户端通过命令上传。 如果必须使用Hue上传，参考以下步骤修改Httpd的参数： 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。

查看更多 →

Apache Log4j 远程代码执行漏洞攻击，华为云防火墙如何启用检测和防御？ 近日，我们关注到Apache Log4j2存在一处远程代码执行漏洞（CVE-2021-44228），在引入Apache Log4j2处理日志时，会对用户输入的内容进行一些特殊的处理，攻击者可以构造特

查看更多 →

jar包冲突，导致Flink提交失败 问题类型 Flink作业类。 问题现象 Flink 提交失败，异常为： Caused by: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.fs

查看更多 →

mvnw命令拉取apache-maven失败问题 问题现象 如果编译环境通过代理访问互联网，在编译时可能会遇到无法下载apache-maven-3.5.0-bin.zip压缩文件的问题。 处理步骤 在mvnw脚本文件中添加代理。 打开mvnw脚本文件。 1 vi mvnw 添加代理代码后，保存并退出。

查看更多 →

项目配置的Jcenter()不稳定 问题现象 执行过构建任务日志报错信息如下： Caused by: org.gradle.internal.resource.transport.http.HttpErrorStatusCodeException: Could not GET 'https://jcenter

查看更多 →

Hue页面上传大文件失败如何处理 问题 通过Hue页面上传大文件时，上传失败。 回答 不建议使用Hue文件浏览器上传大文件，大文件建议使用客户端通过命令上传。 如果必须使用Hue上传，参考以下步骤修改Httpd的参数： 以omm用户登录主管理节点。 执行以下命令编辑“httpd.conf”配置文件。

查看更多 →

三、影响范围 漏洞影响Apache Tomcat如下版本： Apache Tomcat 9.0.0.M1 到 9.0.9 版本 Apache Tomcat 8.5.0 到 8.5.31 版本 Apache Tomcat 8.0.0.RC1 到 8.0.52 版本 Apache Tomcat

查看更多 →

org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:301) at org.apache.spark.rdd.RDD.iterator(RDD.scala:265) at org.apache.spark

查看更多 →

修改说明 2021-12-30 第十六次正式发布。 新增FAQ：CGS是否支持Apache Log4j2 远程代码执行漏洞检测？ 2021-01-26 第十五次正式发布。 新增以下FAQ： 容器安全服务的日志处理机制是什么？ 容器安全服务的日志路径 容器安全服务shield插件是否会影响业务？

查看更多 →

a valid host:port authority报错 用户问题 安全集群Alluixo在HA模式下出现Does not contain a valid host:port authority的报错，如何处理？ 问题现象 安全集群中，Alluixo在HA模式下出现Does not

查看更多 →

ests测试失败问题 问题现象 如果编译环境通过代理访问外网，会遇到ModifiedClassPathExtensionOverridesTests测试失败的问题。原因是注解ClassPathOverrides没有正常拉取到依赖。经测试在蓝云环境没有该问题。 处理步骤 打开Mod

查看更多 →

使用maven deploy命令上传包失败 问题现象 通过执行Maven构建任务上传依赖到私有依赖库时，执行任务时日志报如下异常信息： [ERROR] Failed to execute goal org.apache.maven.plugins:maven-deploy-plugin:2

查看更多 →

org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:301) at org.apache.spark.rdd.RDD.iterator(RDD.scala:265) at org.apache.spark

查看更多 →

执行复杂SQL语句时报“Code of method ... grows beyond 64 KB”的错误 问题 当执行一个很复杂的SQL语句时，例如有多层语句嵌套，且单层语句中对字段有大量的逻辑处理（如多层嵌套的case when语句），此时执行该语句会报如下所示的错误日志，该错误表明某个方法的代码超出了64KB。

查看更多 →

运行Spark报错 用户问题 运行Spark作业报找不到指定的类。 问题现象 运行Spark作业报找不到指定的类。报错内容如下： Exception encountered | org.apache.spark.internal.Logging$class.logError(Logging

查看更多 →

写入更新数据时报错SchemaCompatabilityException 问题 数据写入时报错： org.apache.hudi.exception.SchemaCompatabilityException: Unable to validate the rewritten record

查看更多 →

执行复杂SQL语句时报“Code of method ... grows beyond 64 KB”的错误 问题 当执行一个很复杂的SQL语句时，例如有多层语句嵌套，且单层语句中对字段有大量的逻辑处理（如多层嵌套的case when语句），此时执行该语句会报如下所示的错误日志，该错误表明某个方法的代码超出了64KB。

查看更多 →

回显active即为主节点，否则请登录另一个Master节点。 图1 oms主节点 进入“${BIGDATA_HOME}/Apache-httpd-*/conf”目录。 cd ${BIGDATA_HOME}/Apache-httpd-*/conf 打开httpd.conf文件。 vim httpd.conf 在

查看更多 →

GLIBC版本问题 问题 Flink任务配置State Backend为RocksDB时，运行报如下错误： Caused by: java.lang.UnsatisfiedLinkError: /srv/BigData/hadoop/data1/nm/usercache/***/

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 Hive 3.0.0 CentOS系统 项目

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 CMake 3.12.4 CentOS系统

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 Flink 1.8.1 CentOS系统 项目

查看更多 →

GLIBC版本问题 问题 Flink任务配置State Backend为RocksDB时，运行报如下错误： Caused by: java.lang.UnsatisfiedLinkError: /srv/BigData/hadoop/data1/nm/usercache/***/

查看更多 →

写入更新数据时报错SchemaCompatabilityException 问题 数据写入时报错： org.apache.hudi.exception.SchemaCompatabilityException: Unable to validate the rewritten record

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 CMake 3.12.4 CentOS系统

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 CMake 3.12.4 CentOS系统

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 Gradle 4.10 kafka 0.10

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 hadoop 3.1.1 CMake 3.12

查看更多 →

ImmutableBytesWritable，应该如何处理？ 回答 可通过如下两种方式处理： 在代码的SparkConf初始化之前执行以下两行代码： System.setProperty("spark.serializer", "org.apache.spark.serializer.KryoSerializer");

查看更多 →

maven-checkstyle-plugin检查问题 问题现象 编译过程中由于检查maven-checkstyle-plugin，出现“[ERROR] Failed to executegoal org.apache.maven.plugins:maven-checkstyle-plugin:3

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 Flink 1.9.1 CentOS系统 项目

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 HBase 2.1.0 Protobuf 2

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 Gradle 4.10 kafka 2.1

查看更多 →