前提条件 已在OBS服务中上传文件,并记录文件名、文件所在的OBS桶名,以及OBS地址的链接。 已配置具有OBS服务访问权限的委托,并记录委托名。
发布区域:全部 并行文件系统特性指南 OBS 3.0支持 图片处理 图片处理特性(Image Processing)是OBS为用户提供的稳定、安全、高效、易用、低成本的图片处理服务。您可以在任何时间和地点对存储在对象存储中的图片进行处理,并且可以快速获取到处理后的图片。
在网络情况不理想的场景下,针对上传/下载/复制等场景,可以考虑适当减小defaultParallels(-p)和defaultJobs(-j)参数来降低整体的并发任务数量,减少问题出现的概率。 父主题: 常见问题
对象存储服务监控指标说明 功能说明 本节定义了对象存储服务OBS上报云监控服务Cloud Eye的监控指标的命名空间,监控指标列表和维度,用户可以通过云监控服务提供的管理控制台或API接口来检索对象存储服务产生的监控指标和告警信息。
流水线任务jobs 一条流水线由定义在jobs中的多个任务组成。 jobs.<job_id> 使用jobs.<job_id>定义任务的唯一标识,流水线内不能重复,该标识只能由大小写字母、数字、“-”、“_”组成,最长32位。
取值范围: 无 默认取值: 无 useCname bool 可选 参数解释: 是否通过自定义域名访问OBS服务。 约束限制: 无 取值范围: true:通过自定义域名访问OBS服务。 false:不通过自定义域名访问OBS服务。
通常,我们将对象等同于文件来进行管理,但是由于OBS是一种对象存储服务,并没有文件系统中的文件和文件夹概念。为了使用户更方便进行管理数据,OBS提供了一种方式模拟文件夹。通过在对象的名称中增加“/”,例如“test/123.jpg”。
对象存储服务 OBS OBS桶策略中不授权禁止的Action OBS桶策略中授权检查 OBS桶策略授权约束 OBS桶禁止公开读 OBS桶禁止公开写 OBS桶策略授权行为使用SSL加密 OBS桶启用日志记录 OBS桶启用多版本控制 OBS桶不使用ACL授权 OBS桶启用跨区域复制 OBS
“云服务”:选择“对象存储服务”。
ADM_SCHEDULER_JOBS ADM_SCHEDULER_JOBS视图显示数据库中所有DBE_SCHEDULER定时任务的信息。默认只有系统管理员权限才可以访问此系统视图,普通用户需要授权才可以访问。该视图同时存在于PG_CATALOG和SYS Schema下。
ADM_SCHEDULER_JOBS ADM_SCHEDULER_JOBS视图显示数据库中所有DBE_SCHEDULER定时任务的信息。默认只有系统管理员权限才可以访问此系统视图,普通用户需要授权才可以访问。该视图同时存在于PG_CATALOG和SYS Schema下。
原因分析 出现该问题的可能原因如下: 在大规模分布式作业上,每个节点都在复制同一个桶的文件,导致OBS桶限流。 OBS Client连接数过多,进程/线程之间的轮询,导致一个OBS Client与服务端连接30S内无响应,超过超时时间,服务端断开了连接。
MY_SCHEDULER_JOBS MY_SCHEDULER_JOBS视图显示数据库下当前用户拥有的所有DBE_SCHEDULER定时任务的信息。默认所有用户都可以访问。该视图同时存在于PG_CATALOG和SYS Schema下。
云资源授权 您可以将OBS桶授权给SparkRTC服务,允许录制文件存储在OBS桶中。 注意事项 授权的OBS桶所在区域必须为华北-北京四。 前提条件 因录制生成的视频文件是存储在OBS服务中的,因此,您需要先开通OBS服务,具体请参见OBS快速入门。
对象存储OBS结果表 功能描述 FileSystem sink用于将数据输出到分布式文件系统HDFS或者对象存储服务OBS等文件系统。适用于数据转储、大数据分析、备份或活跃归档、深度或冷归档等场景。 考虑到输入流可以是无界的,每个桶中的数据被组织成有限大小的Part文件。
已在域名DNS服务商处完成CNAME解析配置。 因直播录制生成的视频文件是存储在对象存储服务中的,因此,您需要先开通对象存储服务,具体请参见OBS快速入门。 费用说明 直播录制费用:由视频直播服务收取,详情请参见直播录制费用。
storm jar /opt/jartarget/storm-examples-1.0.jar com.huawei.storm.example.obs.SimpleOBSTopology obs://my-bucket obs-test 拓扑提交成功后请登录OBS Browser
如果Date与当前服务器的时间相差超过15分钟时,则服务端返回403,认为请求已失效。 约束限制: Date必须为RFC 1123格式的GMT时间。 该值来自于Date头域或者x-obs-date头域。当两头域同时存在时,以x-obs-date为准。
ADM_SCHEDULER_JOBS ADM_SCHEDULER_JOBS视图显示数据库中所有DBE_SCHEDULER定时任务的信息。默认只有系统管理员权限才可以访问,普通用户需要授权才可以访问。该视图同时存在于PG_CATALOG和SYS Schema下。
MY_SCHEDULER_JOBS MY_SCHEDULER_JOBS视图显示数据库下当前用户拥有的所有DBE_SCHEDULER定时任务的信息。默认所有用户都可以访问,该视图同时存在于PG_CATALOG和SYS Schema下。具体字段信息如表1所示。