检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题现象 报错如下: CREATE SCHEMA hive.sf2 WITH (location = 'obs://obs-zy1234/sf2');Query 20200224_031203_00002_g6gzy failed: Access Denied: Cannot create
Storm应用开发常见问题 Storm接口介绍 Storm-Kafka开发指引 Storm-JDBC开发指引 Storm-HDFS开发指引 Storm-OBS开发指引 Storm-HBase开发指引 Flux开发指引 父主题: Storm开发指南
例如在环保行业中,可以将天气数据存储在OBS,定期转储到HDFS中进行批量分析,在1小时内MRS可以完成10TB的天气数据分析。 图1 环保行业海量数据分析场景 该场景下MRS的优势如下所示。 低成本:利用OBS实现低成本存储。
访问权限策略 添加HBase的Ranger访问权限策略 添加Hive的Ranger访问权限策略 添加Yarn的Ranger访问权限策略 添加Spark2x的Ranger访问权限策略 添加Kafka的Ranger访问权限策略 添加HetuEngine的Ranger访问权限策略 添加OBS
(name="obs_placeholder_name", object_type="directory")),# CreateDatasetStep的输入,数据在运行时进行配置;data字段也可使用wf.data.OBSPath(obs_path="fake_obs_path")
number of splits:200 16/03/03 16:44:57 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1456738266914_0005 16/03/03 16:44:57 INFO
sub_jobs_result Array of SubJobResult objects 子任务执行结果。详情请参见表3。 sub_jobs_list Array of string 子任务id列表。
作业输入方式 选择 “OBS”表示从OBS中读取数据。 作业输出方式 选择 “OBS”表示将输出结果存储在OBS中。 作业配置参数 设置模型部署参数信息,平台已给出默认值。 资源配置 计费模式 包年包月计费模式。 实例数 设置部署模型时所需的实例数。
ClickHouse数据迁移同步 配置ClickHouse对接RDS MySQL 配置ClickHouse对接OBS源文件 配置ClickHouse对接HDFS源文件(MRS 3.2.0-LTS) 配置ClickHouse对接HDFS源文件(MRS 3.3.0-LTS及之后版本)
事件管理 √ √ OBS使用审计 数据安全中心服务根据敏感数据规则对OBS桶进行识别,根据识别的敏感数据进行监控,监控到敏感数据的异常事件相关操作后,会将监控结果展示在异常事件处理页面中,用户可根据需要对异常事件进行处理。
如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。
如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。
如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。
如果是文件类数据源(FTP/SFTP/HDFS/OBS)之间相互迁移数据,且源端“文件格式”配置为“二进制格式”(即不解析文件内容直接传输),则没有字段映射这一步骤。 在创建表/文件迁移作业的字段映射界面,可新建字段转换器,如下图所示。
使用第三方工具OBS推流,延时过长怎么办? 使用第三方工具OBS推流,为什么会失败? 如何禁推某个直播流? 如何查看已禁推的直播流? 如何恢复某个禁推的直播流? 直播禁推和断流有什么区别? 同一个推流URL是否支持同时推多路流?
当前GaussDB(DWS)数据库支持基于OBS介质的备份与恢复方式,详情请参见快照概述。 父主题: 数据保护技术
终端节点 OBS为每个区域提供一个终端节点,终端节点可以理解为OBS在不同区域的区域域名,用于处理各自区域的访问请求。 流量文件前缀 OBS桶中文件名的前缀,可以筛选查询到含有该前缀的文件信息。 流量类型 目前仅支持选择“审计日志” 选择流量文件 选择所需的流量文件。
访问OBS完成”接口型”OBS的终端节点的购买和配置。 通过配置外网IP的网络平面通信操作步骤 完成规划网络和安装eBackup。 参考配置备份服务器完成步骤1~步骤5的配置。 在步骤6中可以选择将备份存储平面的网卡绑定在连通外网的IP上即可。 父主题: VMware备份
在实例恢复时,会将备份文件从OBS桶下载到恢复实例的数据目录中,OBS的下载带宽在40MB/s。 操作步骤 登录管理控制台。 在服务列表中选择“数据库 > 云数据库 GeminiDB”。 恢复备份。 方法一 在“实例管理”页面,单击目标实例的名称。
在实例恢复时,会将备份文件从OBS桶下载到恢复实例的数据目录中,OBS的下载带宽在40MB/s。 操作步骤 登录管理控制台。 在服务列表中选择“数据库 > 云数据库 GeminiDB”。 恢复备份。 方法一 在“实例管理”页面,单击目标实例的名称。