华为云用户手册

  • 将存档的Blob的访问层修改为联机层 在Azure门户中,转到存储账户。 在左侧的导航窗格中选择“存储浏览器”。 在存储浏览器中选择Blob容器,在待复制的Blob中找到要解除冻结的 Blob。 单击页面右侧的“...”按钮,选择更改层。 从“访问层”下拉菜单中选择目标访问层,单击“保存”。 解冻完成后,请参考微软云Blob迁移至华为云OBS教程,将数据迁移到华为云OBS。 更多操作请参见通过更改Blob层解除冻结Blob。
  • 创建源端亚马逊云和目的端华为云的访问密钥(AK/SK)并授权 源端微软云:查看账户访问密钥 在 Azure 门户中单击Storage accounts(存储账户),选择待迁移的存储账户。 在“Security+networking(安全和网络)”下,选择“Access keys(访问密钥)” 。 此时会显示账户访问密钥,以及每个密钥的完整连接字符串。 选择“show(显示)”,即可显示访问密钥和连接字符串,单击复制图标即可复制密钥和字符串。 可以使用这key1和key2两个密钥中的任何一个来访问 Azure 存储,但通常情况下,最好使用第一个密钥,并保留第二个密钥在轮换密钥时使用。 目的端华为云:参见创建访问密钥(AK/SK)和目的端桶权限获取创建AK/SK并添加权限。
  • 前提条件 已 注册华为账号 并开通华为云,完成实名认证。 已获取源端和目的端账号的AK/SK并授予相关权限。 源端桶对应账户需要的权限:只读访问BOS的权限(BOSLISTANDReadAccessPolicy) 。 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权限获取。 已在OBS服务中创建桶。 您过去24小时内已创建的迁移任务未满1000000个。 您名下处于“等待中”状态的迁移任务未满1000000个。
  • 前提条件 已注册华为账号并开通华为云,完成实名认证。 已获取源端和目的端账号的AK/SK并授予相关权限。 源端桶对应账户需要的权限:亚马逊云S3读取数据的权限(AmazonS3ReadOnlyAccess) 。 目的端桶需要的权限包括:列举桶,获取桶位置,列举对象,获取对象元数据,获取对象内容,上传对象,列举已上传段,取回归档存储对象。获取方式参见目的端桶权限获取。 已在OBS服务中创建桶。 您过去24小时内已创建的迁移任务未满1000000个。 您名下处于“等待中”状态的迁移任务未满1000000个。
  • 责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的 云安全 挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的 IaaS、PaaS 和 SaaS 类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。 华为云租户的安全责任在于对使用的 IaaS、PaaS 和 SaaS 类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、 虚拟主机 和访客虚拟机的操作系统,虚拟防火墙、API 网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
  • 约束与限制 GaussDB (for MySQL)使用和命名上有一些固定限制,用来提高实例的稳定性和安全性,具体详见表1和表2。 表1 功能使用限制 功能 使用限制 GaussDB(for MySQL)访问 如果GaussDB(for MySQL)数据库实例没开通公网访问,则该实例必须与弹性云服务器在同一个虚拟私有云内才能访问。 弹性云服务器必须处于目标GaussDB(for MySQL)数据库实例所属安全组允许访问的范围内。 如果GaussDB(for MySQL)数据库实例与弹性云服务器处于不同的安全组,系统默认不能访问。需要在GaussDB(for MySQL)数据库的安全组添加一条“入”的访问规则。“入”规则开放TCP协议,使用数据库实例的默认端口。 GaussDB(for MySQL)数据库实例的默认端口: 主备版默认端口为3306,需用户手动修改端口号后,E CS 或外网才能访问其他端口。具体操作请参见修改数据库端口。 数据库的root权限 创建实例页面只提供管理员root用户权限(仅限主备版)。 修改数据库参数设置 大部分数据库参数可以通过控制台进行修改。 数据迁移 使用DRS或mysqldump迁移到GaussDB(for MySQL)数据。 MySQL存储引擎 GaussDB(for MySQL)只支持InnoDB存储引擎。 重启GaussDB(for MySQL)实例 无法通过命令行重启,必须通过GaussDB(for MySQL)的管理控制台重启实例。 查看GaussDB(for MySQL)备份 GaussDB(for MySQL)数据库实例在 对象存储服务 上的备份文件,对用户不可见。 开启Binlog GaussDB(for MySQL) 不支持只读节点开启Binlog。 分区表 GaussDB(for MySQL)现有产品能力和社区8.0.22版本是兼容的,对于分区表,如果是list分区,目前每个分区的values最多只支持256个,超出会报错。(规避措施:将values个数过多的分区拆成更小的分区,确保每个分区的values个数都不超过256个。) 内核小版本升级 单机版实例暂不支持内核小版本升级。 表2 命名约束 参数 约束 实例名称 长度在4个到64个字符之间,必须以字母开头,可以包含字母、数字、中划线或下划线,不能包含其他特殊字符。 数据库名称 长度可在1~64个字符之间,由字母、数字、下划线、中划线组成,中划线累计总长度小于等于10个字符,且不能包含其他特殊字符。 账号(非管理员) 长度在1到32个字符之间,由字母、数字、下划线组成,不能包含其他特殊字符 密码 长度为8~32个字符,至少包含大写字母、小写字母、数字、特殊字符三种字符的组合,其中允许输入~!@#$%^*-_=+?,()&特殊字符。 参数模板名称 长度在1~64个字符之间,区分大小写,可包含字母、数字、中划线、下划线或句点,不能包含其他特殊字符。 备份名称 长度在4~64个字符之间,必须以字母开头,区分大小写,可以包含字母、数字、中划线或者下划线,不能包含其他特殊字符。 保留关键字 除社区MySQL8.0的保留关键字外,GaussDB(for MySQL)新增部分保留关键字,在命名时需要避开,防止报错。具体请参见保留关键字。
  • GaussDB(for MySQL)权限 默认情况下,管理员创建的 IAM 用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 GaussDB(for MySQL)部署时通过物理区域划分,为项目级服务。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华北-北京1)对应的项目(cn-north-1)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问GaussDB(for MySQL)时,需要先切换至授权区域。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对云数据库GaussDB(for MySQL),管理员能够控制IAM用户仅能对某一类数据库资源进行指定的管理操作。 如表1所示,包括了云数据库GaussDB(for MySQL)的所有系统权限。 表1 GaussDB(for MySQL)系统权限 策略名称 描述 类别 GaussDB FullAccess 云数据库GaussDB(for MySQL)服务的所有执行权限。 系统策略。 GaussDB ReadOnlyAccess 云数据库GaussDB(for MySQL)服务的只读访问权限。 系统策略。 表2列出了云数据库GaussDB(for MySQL)常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 GaussDB FullAccess GaussDB ReadOnlyAccess 创建GaussDB(for MySQL)实例 支持 不支持 删除GaussDB(for MySQL)实例 支持 不支持 查询GaussDB(for MySQL)实例列表 支持 支持 表3 常用操作与对应授权项 操作名称 授权项 备注 修改参数模板 gaussdb:param:modify - 变更数据库实例的规格 gaussdb:instance:modifySpec - 创建数据库实例 gaussdb:instance:create 界面选择VPC、子网、安全组需要配置: vpc:vpcs:list vpc:vpcs:get vpc:subnets:get vpc:securityGroups:get 创建加密实例需要在项目上配置KMS Administrator权限。 创建包周期实例需要配置CBC权限: bss:renewal:view bss:renewal:update bss:balance:view bss:order:view bss:order:update bss:order:pay 创建TDE实例时,需要配置授予创建服务关联委托的权限:iam:agencies:createServiceLinkedAgencyV5。 创建手动备份 gaussdb:backup:create - 查询备份列表 gaussdb:backup:list - 查询错误日志 gaussdb:log:list - 重启实例 gaussdb:instance:restart - 查询数据库实例列表 gaussdb:instance:list - 创建参数模板 gaussdb:param:create - 删除参数模板 gaussdb:param:delete - 修改备份策略 gaussdb:instance:modifyBackupPolicy - 查看参数模板 gaussdb:param:list - 删除实例 gaussdb:instance:delete 退订包周期实例需要配置: bss:unsubscribe:update 删除手动备份 gaussdb:backup:delete - 查询项目标签 gaussdb:tag:list - 应用参数模板 gaussdb:param:apply - 批量添加删除项目标签 gaussdb:instance:dealTag - 变更配额 gaussdb:quota:modify - 升级数据库实例版本 gaussdb:instance:upgrade - 只读升主 gaussdb:instance:switchover - 修改数据库端口 gaussdb:instance:modifyPort - 修改实例安全组 gaussdb:instance:modifySecurityGroup - 修改读写内网地址 gaussdb:instance:modifyIp 界面选择IP需要配置: vpc:vpcs:list vpc:vpcs:get 开启、关闭SSL gaussdb:instance:modifySSL - 修改实例名称 gaussdb:instance:rename - 添加只读节点 gaussdb:instance:addNodes - 删除只读节点 gaussdb:instance:deleteNodes - 修改存储空间 gaussdb:instance:modifyStorageSize - 修改数据库实例密码 gaussdb:instance:modifyPassword - 绑定公网IP gaussdb:instance:bindPublicIp 界面列出公网IP需要配置: vpc:publicIps:get vpc:publicIps:list 解绑公网IP gaussdb:instance:unbindPublicIp - 修改监控策略 gaussdb:instance:modifyMonitorPolicy - 修改节点倒换优先级 gaussdb:instance:modifySwitchoverPriority - 修改可维护时间窗 gaussdb:instance:modifyMaintenanceWindow - 节点隔离 gaussdb:instance:isolateNodes - 修改全量SQL策略 gaussdb:instance:modifyTraceSQLPolicy - 查询HTAP实例列表 gaussdb:htapInstance:list - 创建HTAP实例 gaussdb:htapInstance:create - 修改云数据库 GaussDB HTAP实例 gaussdb:htapInstance:modify - 删除HTAP实例 gaussdb:htapInstance:delete - 修改HTAP实例名称 gaussdb:htapInstance:rename - 重启HTAP实例 gaussdb:htapInstance:restart - 升级HTAP实例版本 gaussdb:htapInstance:upgrade - 倒换HTAP实例 gaussdb:htapInstance:switchover - 变更HTAP实例的规格 gaussdb:htapInstance:modifySpec - 扩容HTAP实例磁盘空间 gaussdb:htapInstance:modifyStorageSize - 绑定HTAP实例公网IP gaussdb:htapInstance:bindPublicIp - 解绑HTAP实例公网IP gaussdb:htapInstance:unbindPublicIp - 修改HTAP实例端口 gaussdb:htapInstance:modifyPort - 修改HTAP实例密码 gaussdb:htapInstance:modifyPassword - 创建HTAP实例数据同步 gaussdb:htapInstance:createDataSync - 修改HTAP实例数据同步 gaussdb:htapInstance:modifyDataSync - 删除HTAP实例数据同步 gaussdb:htapInstance:deleteDataSync - 创建数据库代理 gaussdb:proxy:create - 修改代理地址 gaussdb:proxy:modifyIp - 修改数据库代理读权重 gaussdb:proxy:modifyWeight - 修改数据库代理端口 gaussdb:proxy:modifyPort - 修改数据库代理访问控制 gaussdb:proxy:modifyAccess - 删除数据库代理 gaussdb:proxy:delete - 查询数据库代理列表 gaussdb:proxy:list - 升级数据库代理版本 gaussdb:proxy:upgrade - 修改数据库代理名称 gaussdb:proxy:rename - 扩容数据库代理节点 gaussdb:proxy:addNodes - 缩容数据库代理节点 gaussdb:proxy:deleteNodes - 变更数据库代理规格 gaussdb:proxy:modifySpec - 申请数据库代理内网域名 gaussdb:proxy:createDns - 修改数据库代理域名 gaussdb:proxy:modifyDns - 删除数据库代理域名 gaussdb:proxy:deleteDns - 修改数据库代理路由模式 gaussdb:proxy:modifyRouteMode - 修改数据库代理SSL gaussdb:proxy:modifySSL - 创建数据库用户 gaussdb:user:create - 删除数据库用户 gaussdb:user:delete - 修改数据库用户密码 gaussdb:user:modify - 查询数据库用户 gaussdb:user:list - 数据库用户授权 gaussdb:user:grantPrivilege - 回收数据库用户权限 gaussdb:user:revokePrivilege - 创建数据库 gaussdb:database:create - 删除数据库 gaussdb:database:delete - 查询数据库列表 gaussdb:database:list - 查询预定义标签 - 查询预定义标签需要配置: tms:resourceTags:list 查询配置日志组 - 查询配置日志组需要配置: lts:groups:get 查询配置日志流 - 查询配置日志流需要配置: lts:topics:get 设置自动变配 gaussdb:autoscaling:createPolicy 设置自动变配需要配置: iam:agencies:listAgencies
  • 创建转码任务时找不到桶 若在创建转码任务时找不到OBS桶,可能是由于以下原因导致: 未创建与 媒体处理 服务在同一区域的OBS桶。 登录媒体处理控制台,如图1所示,查看媒体处理服务所在区域。 图1 媒体处理服务区域 登录OBS管理控制台。在桶列表中查看是否存在与媒体处理服务在同一区域的OBS桶。 图2 桶所在区域 若存在,请进行下一个原因的排查;否则,请重新创建桶,然后将待转码的音视频存储在该OBS桶中。创建时,选择区域与媒体处理服务区域一致。 未对存储原始视频和转码视频的OBS桶进行授权。 登录媒体处理控制台。 单击左侧导航树的“云资源授权”。 选择“桶授权”页签。 选择存储输入、输出视频文件的桶,单击“授权”即可。 图3 云资源授权 若以上情况都不是,请提交工单联系华为云技术客服处理。 父主题: 转码问题
  • SDK集成示例 转封装功能的详细说明和示例代码,请参考创建转封装任务。 教育网站开发人员支持接入MPC的SDK核心代码,如下所示: ObsObjInfo input = new ObsObjInfo().withBucket("mpc-east-2").withLocation("region01").withObject("ok.flv"); ObsObjInfo output = new ObsObjInfo().withBucket("mpc-east-2").withLocation("region01").withObject("output"); //创建转封装请求 CreateRemuxTaskRequest req = new CreateRemuxTaskRequest() .withBody(new CreateRemuxTaskReq().withInput(input).withOutput(output) // 设置转封装参数 .withOutputParam(new RemuxOutputParam() //设置转封装格式 .withFormat("HLS") //转成hls切片间隔 .withSegmentDuration(5))); //发送转封装请求 CreateRemuxTaskResponse rsp = initMpcClient().createRemuxTask(req); System.out.println(rsp.toString())
  • 场景说明 您可能需要将已有的音视频文件引用到各种业务场景中,如产品官网、视频网站等,也可能需要在不同的终端进行播放,如Web端、移动端。为适用于多样化的场景,MPC提供了转码功能,支持改变音视频的编码格式、封装格式、分辨率、码率等参数,从而适用于不同的业务场景、播放终端及网络环境。 转码功能可以帮助您处理如下问题: 适配不同播放终端:您可以将原始音视频转码为更适应于各终端播放的格式,如MP4格式适用于网站播放的场景。 适配不同网络环境:您可以根据不同的网络带宽设置转码输出的码率,以适应不同的网络播放环境。 降低分发成本:支持压缩率更高的H.265编码格式,您也可以在转码时开启高清低码功能,在分辨率不变的情况下,码率下降20%左右,从而降低音视频的分发成本。 HLS内容保护:您可以在转码时开启HLS加密,对转码的HLS格式音视频进行加密,从而防止音视频被盗用后进行二次分发。 版权保护:您可以为视频添加自己独有的logo等标识水印,以宣示该视频的版权所属。 音视频提取:支持转码提取音频文件,主要适用于一些纯音频的场景,如电台、音频APP等。 禁用音频:同时也支持输出无音频的视频文件,主要适用于需要禁用原音频的场景。
  • 转码前准备 原始音视频文件已上传到OBS桶中,且使用的MPC与OBS桶在同一区域,若还未上传,请参见上传音视频文件处理。 已将存储原始音视频和转码音视频的桶进行授权,允许MPC访问。若还未授权,请参见获取云资源授权处理。 若需要 消息通知 转码的任务执行状态,请先配置消息通知功能,具体操作请参见配置消息通知。 若您需要使用自定义模板/模板组进行转码,请先新建转码模板/模板组,具体操作请参见自定义转码模板/自定义转码模板组。
  • 实现原理 在标准转码场景中,您可以通过使用系统默认的转码模板,对OBS桶内的音视频文件进行转码,并将转码后的文件输出至指定的OBS桶中。转码过程中支持查询转码状态,当转码任务完成后会通过 SMN 返回消息给您。 图1 MPC转码实现原理 流程说明如下所示: 用户上传需要转码的音视频文件至OBS。 用户指定输入/输出转码模板并下发转码任务。 MPC服务获取用户指定的音视频文件进行处理。 转码过程定期查询转码的状态。 转码任务完成后,将转码后的音视频文件输出至用户指定的OBS存储目录。 通过SMN服务通知用户转码状态信息。 用户订阅指定主题获取到转码相关信息。
  • 支持审计的关键操作列表 表1 表1 云审计 服务支持的MPC操作列表 操作名称 资源类型 事件名称 新建转码模板 mpcTranscodeTemplate createTranscodeTemplate 更新转码模板 mpcTranscodeTemplate updateTranscodeTemplate 删除转码模板 mpcTranscodeTemplate deleteTranscodeTemplate 新建转码模板组 mpcTemplateGroup createTemplateGroup 更新转码模板组 mpcTemplateGroup updateTemplateGroup 删除转码模板组 mpcTemplateGroup deleteTemplateGroup 新建水印模板 mpcWatermarkTemplate createWatermarkTemplate 更新水印模板 mpcWatermarkTemplate updateWatermarkTemplate 删除水印模板 mpcWatermarkTemplate deleteWatermarkTemplate 新建转码任务 mpcTranscodeTask createTranscodeTask 取消转码任务 mpcTranscodeTask cancelTranscodeTask 删除转码任务记录 mpcTranscodeTask deleteTranscodeTask 创建转封装任务 mpcRemuxTask createRemuxTask 重试转封装任务 mpcRemuxTask retryRemuxTask 取消转封装任务 mpcRemuxTask cancelRemuxTask 删除转封装任务记录 mpcRemuxTask deleteRemuxTask 新建转动图任务 mpcAnimatedGraphicsTask createAnimatedGraphicsTask 取消转动图任务 mpcAnimatedGraphicsTask cancelAnimatedGraphicsTask 新建视频解析任务 mpcExtractTask createExtractTask 取消视频解析任务 mpcExtractTask cancelExtractTask 新建截图任务 mpcThumbnailsTask createThumbnailsTask 取消截图任务 mpcThumbnailsTask cancelThumbnailsTask 新建独立加密任务 mpcEncrypt createEncrypt 取消独立加密任务 mpcEncrypt cancelEncrypt 配置转码服务端事件通知 mpcNotification notification 桶授权或取消授权 mpcAuthority authority 请求委托任务 mpcAgencies agencies
  • 使用限制 单账号跟踪的事件可以通过云审计控制台查询。多账号的事件只能在账号自己的事件列表页面去查看,或者到组织追踪器配置的OBS桶中查看,也可以到组织追踪器配置的 CTS /system日志流下面去查看。 用户通过云审计控制台只能查询最近7天的操作记录。如果需要查询超过7天的操作记录,您必须配置转储到对象存储服务(OBS),才可在OBS桶里面查看历史文件。否则,您将无法追溯7天以前的操作记录。 云上操作后,1分钟内可以通过云审计控制台查询管理类事件操作记录,5分钟后才可通过云审计控制台查询数据类事件操作记录。
  • 保留关键字 GaussDB(for MySQL)的保留关键字在兼容社区MySQL8.0的基础上,新增了部分保留关键字,需要在业务使用中避免使用保留关键字来命名。 社区MySQL 8.0的保留字与关键字请参见关键字和保留字。 GaussDB(for MySQL)新增的关键字和保留字如表1所示。 表1 GaussDB(for MySQL)新增的保留关键字 保留字 相关场景 EXTRA_HEALTH 高可用 PBS 备份恢复 REDO 主从复制 SLICEID 共享存储 SLOWIO 共享存储 SPACEUSAGE 共享存储 RDS_INSTANT 回收站 RECYCLE_BIN 回收站 RDS_RECYCLE 回收站 RDS_TAC 回收站 RDS_GDB_CTRL RegionlessDB 父主题: 设计规范
  • 操作步骤 编辑deployment.yaml。 在volumes中增加一个emptyDir。 volumes: - name: paas-apm2 emptyDir: {} 在containers.volumeMounts中增加moutPath。 volumeMounts: - name: paas-apm2 mountPath: /paas-apm2/javaagent/ 在env中增加JAVA_TOOL_OPTIONS环境变量。 env: - name: JAVA_TOOL_OPTIONS value: '-javaagent:/paas-apm2/javaagent/apm-javaagent/apm-javaagent.jar' 新增initContainers。 initContainers: - name: init-javaagent image: '{swrAddress}/op_svc_apm/javaagent:2.4.7.2-x86_64' command: - /bin/sh - '-c' - 'cd /paas-apm2/javaagent/apm-javaagent; /bin/sh init-config.sh -master_address {masterAddress} -app_name {appName} -access_key {accessKey} -access_value {secretKey}' resources: limits: cpu: 250m memory: 250Mi requests: cpu: 250m memory: 250Mi volumeMounts: - name: paas-apm2 mountPath: /var/init/javaagent terminationMessagePath: /dev/termination-log terminationMessagePolicy: File imagePullPolicy: Always
  • 变更配置后对计费的影响 如果您在购买按需计费实例后变更了Pod配置,会产生一个新订单并开始按新配置的价格计费,旧订单自动失效。 如果您在一个小时内变更了Pod配置,将会产生多条计费信息。每条计费信息的开始时间和结束时间对应不同配置在该小时内的生效时间。 例如,您在9:00:00购买了一台按需计费Pod,Pod规格为CPU 2核,内存 4GB,并在9:30:00升配为CPU 4核,内存 8GB,那么在9:00:00 ~ 10:00:00间会产生两条计费信息。 第一条对应9:00:00 ~ 9:30:00,Pod规格按照CPU 2核,内存 4GB计费。 第二条对应9:30:00 ~ 10:00:00,Pod规格按照CPU 4核,内存 8GB计费。
  • 计费示例 假设您在2023/04/18 9:59:30购买了一台按需计费通用计算型云容器实例(Pod规格:CPU 2核,内存 4GB),计费资源包括CPU和内存,然后在2023/04/18 10:45:46将其删除,则: 第一个计费周期为9:00:00 ~ 10:00:00,在9:59:30 ~ 10:00:00间产生费用,该计费周期内的计费时长为30秒。 第二个计费周期为10:00:00 ~ 11:00:00,在10:00:00 ~ 10:45:46间产生费用,该计费周期内的计费时长为2746秒。 您需要为每个计费周期付费,各项CCI资源单独计费,计费公式如表2所示。产品价格详情中标出了资源的每秒价格。 表2 计费公式 Pod规格类型 计费公式 资源单价 CPU Core数量 * Core单价 * 计费时长 请参见云容器实例价格详情中的“价格详情”。 内存 GB数量 * GB单价 * 计费时长 请参见云容器实例价格详情中的“价格详情”。
  • 计费周期 按需计费CCI资源按秒计费,每一个小时整点结算一次费用(以UTC+8时间为准),结算完毕后进入新的计费周期。计费的起点以CCI实例创建成功的时间点为准,终点以实例删除时间为准。 例如,您在8:45:30购买了一台按需计费的通用计算型云容器实例,相关资源包括CPU和内存,然后在8:55:30将其删除,则计费周期为8:00:00 ~ 9:00:00,在8:45:30 ~ 8:55:30间产生费用,该计费周期内的计费时长为600秒。
  • 消费方数据统计 消费方数据统计主要是消费者和共享区之间进行数据交换,对传输的数据量进行监控和统计,主要针对DI作业执行情况、文件传输、Web服务调用情况进行监控和统计。其主要功能包括: DI作业运行产生数据流转的统计和分析 基础数据指标计算和统计 页面图表展示 页面查询列表展示 文件传输产生的数据进行统计和分析 历史数据统计分析 页面图表展示 页面查询列表展示 Web服务接口产生数据进行统计和分析 web服务调用过程中基础数据采集 基础历史数据指标计算和统计 页面图表展示 页面查询列表展示 图4 消费方数据统计
  • 常见问题 数据标签库管理常见问题 问题1:修改应用默认端口 停止应用 修改taglibr/conf/server.xml中如下内容 图1 修改应用默认端口 启动应用 问题2:软件安装后无法启动? 查看应用安装路径下的bdatag/logs/catalins.out日志文件,具体分析。命令如下: cat bdatag/logs/catalins.out 一般应用启动失败,较常见的情况是端口冲突,可通过日志具体分析。查看到具体时间那个端口冲突之后,则需要对端口进行修改: vi bdatag/engine/tomcat/conf/server.xml 查找文件内容中的冲突端口,然后修改成新的端口。例如日志中显示8005端口冲突,则在文件内容中找到8005,修改成其他端口如8006,然后保存重启应用。 问题3:应用启动后无法访问 检查应用与数据库是否正常启动 查看服务器的防火墙是否关闭 linux 6及以下操作系统使用命令 service iptables status linux 7及以上操作系统使用命令 systemctl status firewalld 如果防火墙是启动状态,则确认是否可以关闭防火墙,如果可以则关闭防火墙 linux 6及以下操作系统使用命令 service iptables stop linux 7及以上操作系统使用命令 systemctl stop firewalld 如果不能关闭防火墙,则另外处理网络问题。 检查浏览器端到应用服务器之间网络是否连通,使用ping跟telnet命令 ping 服务器IP 例:ping 192.168.10.31 telnet 服务器ip 应用端口 例:telnet 192.168.10.31 18089 ping返回结果失败,telnet也失败,网络不通。 ping返回结果失败,telnet成功,则访问地址http://IP:端口/health.html,如果可以打开页面,则表示应用存在问题,先检查taglibr/bda-config/bda.conf中的配置是否正确,如果配置正确则检查应用服务器跟数据库服务器之间的网络是否连通,同时查看 taglibr/logs/catalins.out日志报错信息。 ping返回结果正常,但是telnet返回结果失败表示网络通,端口不通。此时去查看应用的使用端口,如果应用使用端口无误,则网络不通。 问题4:应用运行一段时间候,出现部分功能不正常或者所有页面均为空白页 磁盘空间可能被其他程序占用,此时可查看服务器磁盘剩余空间 df -h 如果有使用率达到百分百的,则需要删除一些无用的文件,以留出空间后再重启应用。 数据共享交换管理常见问题 问题5:端口列表及说明 图2 DSP Governor用到的默认端口号 图3 DSP Server用到的默认端口号1 图4 DSP Server用到的默认端口号2 图5 DSP Agent用到的默认端口号 图6 DSP Scheduler用到的默认端口号 图7 DSP DataRelease用到的默认端口号 图8 DSP GatherClient用到的默认端口号
  • 安装前准备 表1 准备硬件与操作系统 服务器 配置 数量 用途 Linux服务器 8线程cpu/32G 300G 2 部署标签画像应用集群 Linux服务器 16线程cpu/32G 300G 2 部署标签画像接口集群 表2 准备软环境 环境 软件/工具 版本 备注 基础环境 JDK 华为jdk-8u202 Java程序运行时环境 Tomcat 8.5.63 程序中间件,内嵌在应用服务中 数据平台 MySQL 5.7.22+ 配置库 DWS 6.5.1+ 运算库 表3 准备工具和软件 软件工具 作用 SSH远程登录工具(例如PuTTY) 跨平台远程访问工具。用于在软件安装过程中在Windows系统上访问各linux服务器进行安装操作 WinSCP 跨平台文件传输工具。用于在Windows系统和Linux系统间传输文件,例如上传软件包、上传配置文件等操作 网络浏览器 用于登录标签画像平台,版本要求: Google Chrome 建议使用Google Chrome 78以上版本 Internet Explorer 建议使用Internet Explorer 11以上版本 Mozilla Firefox 建议使用Mozilla Firefox 80以上版本 7-zip 7-zip 用于解压“ *.zip”和“ *.rar”文件 建议使用7-Zip 16.04版本 建议使用WinRAR 5.1版本
  • 批量数据服务 结构化 在线作业服务开发 对于在线开发,支持通过页面的方式,根据已经导入到平台中的作业模板配置映射关系,而不用通过studio进行模型开发即可完成批量数据处理工作。其整体过程为:选择模板选择区选择库批量表配置变量配置服务器配,平台在线开发基础模板包含以下几类: 全量同步; HBase到文件同步 全文对比同步、 触发器同步 时间戳同步 数据库到文件同步 全量同步 文件到数据库同步 MySQLtoHBASE数据脱敏 CanalClientToHBase同步 DBToHbase MongoDBToHBaseSingleTable MongoDBToHBase DBToDBDesensitization。 图3 在线作业服务开发 离线作业服务开发 对于复杂的作业服务,提供独立的开发工具(DSP Studio),使开发期和运行期分开,支持多种协议,可通过使用图形化界面进行快速开发,满足用户个性化的需求。功能上与平台具备从设计、开发、组装、调试、维护、部署、管理和发布一体的 集成开发环境 。同时,具有向导、视图和编辑器等工具供开发人员在开发过程中使用。 对于离线作业开发,支持离线数据模型部署在数据服务共享平台。 图4 离线作业服务开发 非结构化 非结构化数据服务支持文件的传输配置。通过文件传输配置能够将相应的文件资源传输给消费方。其主要功能包括: 新建文件传输配置。 编辑文件传输配置。 删除文件传输配置。 文件传输配置支持一对一、一对多传输;支持文件传输策略的配置。 图5 非结构化1 图6 非结构化2
  • 作业模板开发 作业模板实际上是参数化的数据模型。在线作业开发中用到的作业类型都是通过对模板的开发产生的,模板的开发是通过studio开发dbr或dsr模板文件,开发的过程与ETL模型开发相同,不同的是模板开发对数据源和表都有新的标记定义,如:数据源填写时用%{source}进行标记,表填写时用[sourcetablename]进行标记。在开发场景中使用到该模板时可对数据源和表的变量进行映射。 在作业中需要进行数据转换、数据质量检验和数据脱敏的时候需要使用到业务调度dsr来进行模型组合完成,dsr能够在模型之间传递变量和结果集。这个是作业流目前所做不到的,需要共享平台提供底层工程化的支撑来完成有前后条件的这种模型的执行。 当前基础模板包含以下几类: 全量同步; HBase到文件同步 全文对比同步、 触发器同步 时间戳同步 数据库到文件同步 全量同步 文件到数据库同步 MySQLtoHBASE数据脱敏 CanalClientToHBase同步 DBToHbase MongoDBToHBaseSingleTable MongoDBToHBase DBToDBDesensitization。 除上述模板之外,可依据项目实际需求进行开发。采用模板化的在线开发,能简化使用难度,不需要专业开发人员进行模型的开发和设计。 图9 作业模板开发
  • 故障告警监控 数据服务共享平台中作业、文件传输任务和Web服务在中执行时,可能存在着运行时的错误和异常,这些异常信息可以在故障告警监控中进行浏览,浏览告警信息可以查阅到故障的服务和具体的作业、传输任务,通过这些信息为排除故障做出调整提供参考依据。其主要功能包括: 收集各个服务引擎的故障信息 存储来自服务引擎接口的故障信息 故障信息的定时清理 查询故障信息 查询故障信息,其中包含足以定位故障位置的信息 异常信息预警 对出现故障的信息,通过消息、短信或邮件的方式向管理人员进行提示 元数据采集监控 提供采集日志界面,对元数据采集结果进行监控,主要包括: 采集器连接测试 采集任务日志查询 采集任务详情查看 图5 故障告警监控
  • 服务引擎监控 部署在物理设备上的服务引擎运行状态监控,以及各个引擎产生的系统日志。运行状态和日志查看为排查进程异常和服务错误提供依据。引擎状态数据包括了服务进程是否正常、JVM运行情况等。其主要功能包括: 收集服务引擎运行状态数据 收集服务引擎JVM内存区域状态 收集服务引擎的进程状态 收集服务引擎JVM的CPU负载状态 展示物理设备上的服务引擎运行状态 服务引擎域部署的物理设备之间关联 提供服务引擎状态接口,定时获取状态信息 图表方式浏览指定设备上的所有服务引擎信息 服务引擎系统日志查看 web浏览器中查看指定服务引擎的系统日志 服务引擎系统日志集中收集 图8 服务引擎监控
  • 安装须知 标准产品 DSP V7.0 配套的组件及相关资源版本如下所示 表1 相关资源 资源名称 版本号 说明 JDK 1.8.0_172 OracleJDK EOS Platform 8.1 Governor 是用 EOS8 开发的 Tomcat 8.5.51 Governor、Scheduler、DataRelease内置 Mysql 数据库驱动 5.7.20 mysql-connector-java-5.1.32.jar Oracle 数据库驱动 11g ojdbc6.jar Oracle 数据库驱动 12c ojdbc7.jar SQL Server 数据库驱动 2016 mssqlserver-4.0.jar PostgreSql 数据库驱动 9.6 postgresql-42.2.8.jar DM 数据库驱动 7 Dm7JdbcDriver17.jar DmDialect-for-hibernate5.0.jar(方言) 8 DmJdbcDriver18.jar DmDialect-for-hibernate5.3.jar(方言) 免责声明: 本产品安装指南仅为向客户提供关于安装及卸载DSP V7.0产品的说明而准备。我们不对在本产品安装指南中所援引的任何第三方产品的内容、服务功能、可靠性、可用性、兼容性或其他任何 性能做作出任何承诺,本产品的范围亦不包括该等第三方产品。我们在本产品安装指南中所对任何第三方提供的产品的援引,仅为说明示 例,不代表我们曾经、目前或将来使用、测试、下载该等第三方提供的产品或向用户提供该等第三方产品的下载。如果用户需要使用该等第 三方产品,应当通过合法途径自行购买或下载。如果因网络状况、通讯线路、第三方提供的产品质量或政府管理部门的要求、技术故障等任 何原因而导致任何使用人不能正常使用DSP V7.0产品的,我们不因此承担任何法律责任。 如果我们在本产品安装指南中所援引的任何第三方提供的产品存在侵犯他人知识产权、名誉权或其他合法权益的内容,或存在损害国家利益 、违背现行法律法规及相关政策、违背公序良俗的情形,我们将对在知悉上述情况后对相应内容采取屏蔽、删除等处理措施。尽管有上述 承诺,我们对上述内容的具体处理方式以法律要求的义务为限,我们不因未履行超出法律规定之义务而承担责任。 如果个人、法人及非法人组织(以下简称“投诉人”)认为我们在本产品安装指南中援引的任何第三方提供的产品存在侵犯自身合法权益 的内容,应依照法律规定向我们发出通知并提供具有法律效力的证明材料。我们将依照投诉人通知内容以及现行法律规定对涉嫌侵权内容 进行处理。我们依法处理相关内容,即视为履行完毕相关法律义务,除此之外不再对涉嫌侵权内容承担任何法律责任。 父主题: 数据共享交换管理实施步骤
  • 数据共享交换管理操作流程 图1 数据共享交换管理操作流程 Governor(管控平台) 数据服务共享统一管控平台,提供资源目录、数据开发、数据使用、服务引擎管理、调度计划、统计监控、服务权限配置等系列功能,对数据资源和服务资源统一注册管理。 Server(服务引擎) 批量作业服务及文件传输服务引擎,负责批量作业模型解析、批量作业执行、文件传输服务;提供多协议、多数据源适配支持;为服务运行提供高性能、高可靠的运行环境。 SSM(服务状态监控) 提供日志解析及监控能力,对事前预警、事中告警、事后统计分析等功能提供后台支撑。 Studio(可视化开发工具) 基于Eclipse技术开发的可视化批量作业设计器,提供可视化批量作业模型定义与调试、可视化的模型性能监控、元数据管理以及数据处理模型部署等功能。 Agent(传输代理) 数据抽取及文件传输代理,支持数据库、大数据等数据源的数据抽取,支持任意节点及任意大小文件一对一、一对多的传输,并支持压缩、加密等多种文件传输策略。 Scheduler(调度引擎) 作业调度引擎,支持作业与作业流的串行及并行调度,提供日历、频度、事件等多种规则的调度,为作业和作业流运行提供多样化的调度方式。 DataRelease(数据发布引擎) 基于SpringBoot架构提供数据服务发布及数据访问能力,支持单表、结果集等形式的实时接口服务发布。 GatherClient(资源采集客户端) 实时采集各引擎所在物理机的CPU、内存、磁盘、网络等指标,通过Governor进行展示。 数据资源目录管理 数据使用 数据服务开发 服务控制 调度管理 运行监控 统计分析 父主题: 操作流程
  • 基础配置-宽表配置 基础配置-宽表配置页面,新增目录 图1 宽表配置1 选择左侧目录,单击添加宽表,填写必填项,单击加载,下方显示该宽表的所有字段,可对字段显示名进行编辑 图2 宽表配置2 说明: “模式/库名”与“宽表名”是对应的,“模式/库名”就是数据库schema,“宽表名”就是库里面的表;“模式/库名”和“宽表名”可以填写计算库配置的这个账号里面所有有权限的库和表 可以添加多张宽表 是否主键:选择数据库表的主键或者值唯一的字段作为主键,宽表的主键尽量是字符类型 是否脱敏:选择字段是否脱敏 格式化:选择字段格式化(基础配置-宽表配置页面,代码组管理里面新增代码组和代码值。表示该字段的值后续在标签画像页面用设置的代码值表示。 基础配置-宽表配置-权限设置,表示将宽表授权给其他角色,后续其他角色所拥有的用户登录才有权查看该宽表,和使用该宽表 父主题: 数据标签库管理操作流程
  • 数据资源订阅 消费方通过资源订阅在主题分类资源树中的数据实体资源中订阅资源,相对数据服务共享平台而言“推”的方式,消费方订阅资源,向平台提供数据库、文件目录地址,订阅任务审批通过后,由平台向消费方推送资源,主要功能包括: 数据资源分类展现,数据资源搜索; 业务实体汇总; 支持订阅文件和数据库两类资源; 支持数据库资源转文件; 资源订阅申请信息维护; 订阅记录列表展示; 数据资源预览。 图4 数据资源订阅1 图5 数据资源订阅2
共100000条