对接大数据组件-华为云

对象存储服务 OBS-Druid对接OBS:对接步骤

对接步骤配置Druid。修改配置： conf/druid/single-server/micro-quickstart/_common/common.runtime.properties 将druid-hdfs-storage加入druid.extensions.loadList。配置Deep storage在OBS中的存储路径。配置OBSA-HDFS插件。在官方Github下载OBSA-HDFS插件：下载地址，然后拷贝到extensions/druid-hdfs-storage/ 目录。在配置目录conf/druid/single-server/micro-quickstart/_common/下增加hdfs-site.xml，配置如下（其中endpoint按照桶所在的实际endpoint填写）：启动Druid服务。

对象存储服务 OBS 对接大数据组件

对象存储服务 OBS-Flink对接OBS:注意事项

注意事项 flink-obs-fs-hadoop目前仅支持OBS并行文件系统。为了减少日志输出，在/opt/flink-1.12.1/conf/log4j.properties文件中增加配置： logger.obs.name=com.obs logger.obs.level=ERROR flink-obs-fs-hadoop的实现基于flink的plugin加载机制（flink从1.9开始引入），flink-obs-fs-hadoop必须通过flink的plugin机制进行加载，即将flink-obs-fs-hadoop放入/opt/flink-1.12.1/plugins/obs-fs-hadoop目录下。

对象存储服务 OBS 对接大数据组件

对象存储服务 OBS-Flume对接OBS:对接步骤

对接步骤以flume 1.9版本为例。下载apache-flume-1.9.0-bin.tar.gz。安装flume。解压apache-flume-1.9.0-bin.tar.gz到/opt/apache-flume-1.9.0-bin目录。已部署Hadoop的环境：无需额外操作，部署Hadoop请参见Hadoop对接OBS。未部署Hadoop的环境：将hadoop中的相关jar包复制到/opt/apache-flume-1.9.0-bin/lib目录下，包含hadoop-huaweicloud-xxx.jar。将添加了OBS相关配置的core-site.xml文件复制到/opt/apache-flume-1.9.0-bin/conf目录下。验证是否对接成功。示例：以flume内置的StressSource为source，以file为channel，以obs为sink。创建flume配置文件：sink2obs.properties。 agent.sources = r1 agent.channels = c1 agent.sinks = k1 agent.sources.r1.type = org.apache.flume.source.StressSource agent.sources.r1.channels = c1 agent.sources.r1.size = 1024 agent.sources.r1.maxTotalEvents = 100000 agent.sources.r1.maxEventsPerSecond = 10000 agent.sources.r1.batchSize=1000 agent.sources.r1.interceptors = i1 agent.sources.r1.interceptors.i1.type = host agent.sources.r1.interceptors.i1.useIP = false agent.channels.c1.type = file agent.channels.c1.dataDirs = /data/agent/flume-data agent.channels.c1.checkpointDir = /data/agent/flume-checkpoint agent.channels.c1.capacity = 500000 agent.channels.c1.transactionCapacity = 50000 agent.sinks.k1.channel = c1 agent.sinks.k1.type = hdfs agent.sinks.k1.hdfs.useLocalTimeStamp = true agent.sinks.k1.hdfs.filePrefix = %{host}_k1 agent.sinks.k1.hdfs.path = obs://obs-bucket/flume/create_time=%Y-%m-%d-%H-%M agent.sinks.k1.hdfs.fileType = DataStream agent.sinks.k1.hdfs.writeFormat = Text agent.sinks.k1.hdfs.rollSize = 0 agent.sinks.k1.hdfs.rollCount = 1000 agent.sinks.k1.hdfs.rollInterval = 0 agent.sinks.k1.hdfs.batchSize = 1000 agent.sinks.k1.hdfs.round = true agent.sinks.k1.hdfs.roundValue = 10 agent.sinks.k1.hdfs.roundUnit = minute 执行以下命令，启动flume agent。 ./bin/flume-ng agent -n agent -c conf/ -f conf/sink2obs.properties

对象存储服务 OBS 对接大数据组件

对象存储服务 OBS-Logstash对接OBS:对接步骤

对接步骤以logstash-7.10.2为例。下载logstash-7.10.2-linux-x86_64.tar.gz，并解压到/opt/logstash-7.10.2-linux-x86_64目录。验证是否对接成功。示例：以file为源端，以OBS为目的端。创建配置文件file2obs.conf。参数说明见表1，更多详情请参见这里。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 { "input": { "file": { "path" : "/opt/nginx/logs/access.log", "start_position" : "beginning" } }, "output": { "s3": { "endpoint" : "obs endpoint",, "bucket" : "obs桶名", "access_key_id" : "ak", "secret_access_key" : "sk", "size_file" : 1048576, "time_file" : 1, "prefix" : "logstash/", "enable_metric" : true } } } 表1 参数说明参数说明 endpoint OBS的endpoint，例如 https://obs.cn-north-4.myhuaweicloud.com http://obs.cn-north-4.myhuaweicloud.com access_key_id 具备访问OBS权限的ak。 secret_access_key 具备访问OBS权限的sk。 bucket OBS的桶名称。 size_file 指定文件滚动大小（字节）。当文件大小达到设定的值时，会生成一个新的文件。 time_file 设置文件滚动周期（分钟）。当数据写入达到设定周期时，会生成一个新的文件。 prefix 指定文件存储的目录，例如“logstash/”，此时文件会写入到桶的logstash/目录下（注意路径不要以/开头）。执行以下命令，运行logstash。 bin/logstash -f ../conf/file2obs.conf

对象存储服务 OBS 对接大数据组件

对象存储服务 OBS-Spark对接OBS:对接步骤

对接步骤以Spark2.3.3为例。下载spark-2.3.3-bin-without-hadoop.tgz，并解压到/opt/spark-2.3.3。在/etc/profile文件中增加配置内容： export SPARK_HOME=/opt/spark-2.3.3export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH 配置spark。重命名/opt/spark-2.3.3/conf/spark-env.sh.template为spark-env.sh并增加配置： export SPARK_DIST_CLASSPATH=$(hadoop classpath) 更多配置内容请参见Apache Hadoop。重命名/opt/spark-2.3.3/conf/log4j.properties.template为log4j.properties。执行以下命令，验证是否对接成功。 $SPARK_HOME/bin/run-example org.apache.spark.examples.JavaWordCount obs://obs-bucket/input/test.txt

对象存储服务 OBS 对接大数据组件

云服务器内容精选

对接大数据组件

7*24

备案

专业服务

退订

建议反馈

售前咨询热线