检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 获取API授权应用的AppKey和AppSecret(如已授权多个APP,获取其中一个APP信息即可)。
在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 获取待调用API的调用地址、请求方法和入参信息。
数据连接参数说明 MRS Hetu数据连接参数说明 MRS Impala数据连接参数说明 MRS Kafka数据连接参数说明 MRS Presto数据连接参数说明 MRS Ranger数据连接参数说明 Doris数据连接参数说明 OpenSource ClickHouse数据连接参数说明 OBS
绑定Agent 是 DataArts Studio无法直接与非全托管服务进行连接,需要提供DataArts Studio与非全托管服务通信的代理。CDM集群可以提供通信代理服务,请选择一个CDM集群,如果没有可用的CDM集群,请参考创建CDM集群进行创建。
在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 获取API授权应用的AppKey和AppSecret(如已授权多个APP,获取其中一个APP信息即可)。
在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 获取待调用API的调用地址、请求方法和入参信息。
在DataArts Studio控制台首页,选择对应工作空间的“数据服务”模块,进入数据服务页面。 在左侧导航栏选择服务版本(例如:专享版),进入总览页。 获取待调用API的调用地址、请求方法和入参信息。
CDM集群和数据服务专享版集群在工作空间之间相互隔离,建议您在新空间提前准备好对应旧空间的集群。 搬迁依赖于OBS功能,请您提前规划OBS桶和文件夹目录。 DataArts Studio数据搬迁时,依赖各组件的备份或导入导出能力。
场景说明 本案例基于某电影网站的用户和评分数据,使用DataArts Studio将MySQL原始数据处理为标准点数据集和边数据集,并同步到OBS和MRS Hive中,然后通过Import GES节点自动生成元数据后,将图数据导入到GES服务中。
父主题: 数据服务SDK参考
日志路径 选择作业日志存放路径,默认为obs://dlf-log-....../。 勾选“我确认OBS桶obs://dlf-log-......
因此在CDM迁移数据到云搜索服务的时候,如果是通过CDM自动创建的索引和类型(例如图2中,目的端的“date_test”和“test1”在云搜索服务中不存在时,CDM会在云搜索服务中自动创建该索引和类型),则CDM默认会将时间类型字段的格式设置为“yyyy-MM-dd HH:mm:
TopN 父主题: 数据服务API
前提条件 MRS集群已开启存算分离功能,已在管理中心创建MapReduce服务(MRS Hive)和MapReduce服务(MRS Ranger)类型的数据连接,请参考创建DataArts Studio数据连接。
该规格是以数据目录中表和OBS文件的数量之和计算的。您可以在DataArts Studio实例卡片上通过“更多 > 配额使用量”查看该配额情况。 当您的技术资产数量接近或达到该规格时,建议购买技术资产数量增量包,以避免资产采集受限。
支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。 数据集成基于分布式计算框架,利用并行化处理技术,支持用户稳定高效地对海量数据进行移动,实现不停服数据迁移,快速构建所需的数据架构。
HBase/CloudTable增量迁移 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable
HBase/CloudTable增量迁移 使用CDM导出HBase(包括MRS HBase、FusionInsight HBase、Apache HBase)或者表格存储服务(CloudTable)的数据时,支持导出指定时间段内的数据,配合CDM的定时任务,可以实现HBase/CloudTable
父主题: 数据服务
图9 滚动重启实例 父主题: 服务资源访问控制