apache 大数据开源项目

安装Hue 介绍 简要介绍 Hue是一个开源的Apache Hadoop UI系统，早期由Cloudera开发，后来贡献给开源社区。它是基于Python Web框架Django实现的。通过使用Hue可以通过浏览器方式操纵Hadoop集群。例如put、get、执行MapReduce

查看更多 →

新闻报道 华为捐赠的微服务开源项目ServiceComb 毕业成为Apache顶级项目 新闻报道 华为捐赠的微服务开源项目ServiceComb 毕业成为Apache顶级项目 2018-10-25 全球最大的开源软件基金会Apache软件基金会（以下简称Apache）于北京时间10月24日宣布Apache

查看更多 →

华为云MapReduce服务（MRS）是华为云提供的大数据服务，可以在华为云上部署和管理Hadoop系统，一键即可部署Hadoop集群。 MRS提供用户完全可控的一站式企业级大数据集群云服务，完全兼容开源接口，结合华为云计算、存储优势及大数据行业经验，为客户提供高性能、低成本、灵活易用的全栈大数据平台，轻松运行Ha

查看更多 →

+智能，见未来 项目实习生 华为云大数据平台 华为云大数据平台 领域方向：数据智能 工作地点： 深圳、杭州、南京、西安 华为云大数据平台 数据智能 深圳、杭州、南京、西安 项目简介 随着数字划时代的到来，社会生产生活产生大量的数据，数据量越来越大，种类越来越多。企业迫切对大量数据的背后价

查看更多 →

析多种计算 跨源分析 支持多种数据格式，云上多种数据源、ECS自建数据库以及线下数据库，数据无需搬迁，即可实现对云上多个数据源进行分析，构建企业的统一视图，帮助企业快速完成业务创新和数据价值探索 支持多种数据格式，云上多种数据源、ECS自建数据库以及线下数据库，数据无需搬迁，即可

查看更多 →

上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。本文主要是描述如何将CDH5.12.1 x86版本中的HBase

查看更多 →

web接口。Elasticsearch是用Java语言开发的，并作为Apache许可条款下的开放源码发布，是一种流行的企业级搜索引擎。Elasticsearch用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。官方客户端在Java、.NET（C#）、PHP、Python、Apache Groovy、Ruby和许多其他语言中都是可用的。

查看更多 →

介绍 Solr（读作“solar”）是Apache Lucene项目的开源企业搜索平台。其主要功能包括全文检索、命中标示、分面搜索、动态聚类、数据库集成，以及富文本的处理。Solr是高度可扩展的，并提供了分布式搜索和索引复制。 父主题： Lucene-solr-cdh6.3.2 移植指南（CentOS

查看更多 →

在主菜单中，选择“数据中心”。 在左侧导航栏中，选择“数据源管理”。 在数据源管理页面，单击“新建数据源”。 选择“DLI”，并参照表1，配置数据源参数。 图1 DLI数据源 表1 DLI数据源配置说明 参数 说明 数据源名称 数据源的名称，用于标识该数据源。 项目名称 DLI服务所在区域的项目名称，获取方法如下：

查看更多 →

新闻报道 华为云开源ServiceComb项目全票通过进入Apache孵化器 新闻报道 华为云开源ServiceComb项目全票通过进入Apache孵化器 2017-12-03 著名开源社区Apache基金会近期宣布“华为云开源的ServiceComb项目全票通过进入Apache孵化器”

查看更多 →

介绍 产品介绍 BulkLoad是一款将数据快速高效的导入到HBase的工具。 相关概念 HBase 一个开源的非关系型分布式数据库，它参考了谷歌的BigTable建模，实现的编程语言为Java。它是Apache软件基金会的Hadoop项目的一部分，运行于HDFS文件系统之上，为

查看更多 →

鲲鹏BoostKit大数据总体架构主要由硬件平台、操作系统、中间件、大数据平台构成，其中大数据平台支持华为自研的FusionInsight大数据平台以及开源Apache、星环、苏研大数据平台。 鲲鹏BoostKit大数据总体架构详细构成如图1所示。 图1 鲲鹏BoostKit大数据总体架构 表1

查看更多 →

SMS4-WRAP，将SMS4用于加密密钥，其中被加密的数据为密钥，而SMS4的密钥为KEK (Key Encryption Key)。 Hadoop Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。

查看更多 →

（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

查看更多 →

鲲鹏BoostKit大数据总体架构主要由硬件平台、操作系统、中间件、大数据平台构成，其中大数据平台支持华为自研的FusionInsight大数据平台以及开源Apache、星环、苏研大数据平台。 方案介绍 方案概述 方案架构 方案优势 特性清单 03 部署 鲲鹏BoostKit大数据使能套件所支持的开源组件的部署指南。

查看更多 →

介绍 Flink是一个分布式、高性能、高可用的开源大数据处理框架，具有基于内存计算，流式处理等特点，用于对无边界和有边界数据流进行有状态的计算。 父主题： Flink 1.9.1 移植指南（CentOS 7.6&openEuler 20.03）

查看更多 →

硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 Hive 3.0.0 CentOS系统 项目 版本 CentOS

查看更多 →

硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 CMake 3.12.4 CentOS系统 项目 版本 CentOS

查看更多 →

硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 Flink 1.8.1 CentOS系统 项目 版本 CentOS

查看更多 →

介绍 ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和HBase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 更多关于Zookeep

查看更多 →

硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 CMake 3.12.4 CentOS系统 项目 版本 CentOS

查看更多 →

硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 CMake 3.12.4 CentOS系统 项目 版本 CentOS

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 hadoop 3.1.1 CMake 3.12

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 Gradle 4.10 kafka 0.10

查看更多 →

介绍 Flink是一个分布式、高性能、高可用的开源大数据处理框架，具有基于内存计算，流式处理等特点，用于对无边界和有边界数据流进行有状态的计算。 父主题： Flink 1.8.1 移植指南（CentOS 7.6&openEuler 20.03）

查看更多 →

介绍 简要介绍 Hadoop是一个开源的分布式存储及计算框架，被广泛用于海量数据的存储及处理，可以以可靠、高效、可伸缩的方式进行数据处理。 更多关于Hadoop信息请参见：https://hadoop.apache.org/docs/r3.1.1。 开发语言：Java 一句话描述：分布式系统基础架构

查看更多 →

硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 Flink 1.9.1 CentOS系统 项目 版本 CentOS

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 HBase 2.1.0 Protobuf 2

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 Gradle 4.10 kafka 2.1

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 Gradle 4.10 Kafka 2.2

查看更多 →

环境要求 硬件要求 项目 说明 服务器 TaiShan服务器 CPU 鲲鹏920处理器 或 鲲鹏916处理器 磁盘分区 对磁盘分区无要求 网络 可访问外网 软件要求 项目 版本 OpenJDK 1.8.0_252 Maven 3.5.4 R 3.1.1 Spark 2.3.0 CentOS系统

查看更多 →

g（Presto） Spark是用于大规模数据处理的统一分析引擎，聚焦于查询计算分析。DLI在开源Spark基础上进行了大量的性能优化与服务化改造，不仅兼容Apache Spark生态和接口，性能较开源提升了2.5倍，在小时级即可实现EB级数据查询分析。 Flink是一款分布式的

查看更多 →

able：一个结构化数据的分布式存储系统。”就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般

查看更多 →

介绍 Ambari是Apache Software Foundation中的一个顶级项目，它可以创建、管理、监视Hadoop整个生态圈（例如Hive、HBase、Sqoop、ZooKeeper等）的集群，使得Hadoop以及相关的大数据软件更容易使用。 Ambari是一个分布式架构的软件，由Ambari

查看更多 →

简要介绍 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 更多关于Kafka信息请参见：https://kafka.apache.org/。 类别：应用程序

查看更多 →

简要介绍 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 更多关于Kafka信息请参见：https://kafka.apache.org/。 类别：应用程序

查看更多 →

高易用 学习成本 学习成本低，包含10年、上千个项目经验固化的调优参数。同时提供可视化智能调优界面。 学习成本高，需要了解上百个调优参数。 支持数据源 云上：OBS、RDS、DWS、CSS、MongoDB、Redis。 云下：自建数据库、MongoDB、Redis。 云上：OBS。

查看更多 →

简要介绍 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 更多关于Kafka信息请参见：https://kafka.apache.org/。 类别：应用程序

查看更多 →