云服务器内容精选

  • 删除数据源 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据源管理”,进入“数据源管理”界面。 选择待删除的数据源,单击右侧“操作”列的“删除”,弹出删除确认对话框。 确认无误后,单击“确认”,删除数据源。删除数据源后,无法恢复,请谨慎操作。
  • 查看数据源详情 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据源管理”,进入“数据源管理”界面。 在数据源列表,单击数据源名称,即可查看数据源的详细信息如:数据源类型、名称、描述以及连接配置消息等。
  • 测试连接 用户通过该功能试验数据连接器与数据源之间连接状态。 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据源管理”,进入“数据源管理”界面。 在数据源列表,选择待测试的数据源,单击右侧“操作”列的“测试连接”,进行连接验证。
  • 编辑数据源 登录交换数据空间官网。 单击“管理控制台”,进入交换数据空间控制台界面。 单击“我的空间”,在交换数据空间实例中,选择实例,单击实例卡片上的“连接器”。 然后选择连接器,单击连接器卡片上的“前往”,进入连接器控制台界面。 选择界面左侧导航栏中的“数据源管理”,进入“数据源管理”界面。 选择待编辑的数据源,单击右侧“操作”列的“编辑”,进入编辑界面,根据界面提示修改基本信息和连接配置信息。 参数修改完成后,单击“测试连接”,测试数据源是否可以和EDS进行正常的连通。 若测试结果为“测试连接成功”,则继续下一步。 若测试结果为“测试连接失败”,则检查数据源状态和数据源连接参数配置,然后单击“测试连接”,直到连接成功为止。 测试成功后,单击“保存”,返回数据源列表界面。
  • 操作步骤 登录ROMA Connect控制台,在“实例”页面单击实例上的“查看控制台”,进入实例控制台。 在左侧的导航栏选择“数据源管理”,单击页面右上角的“接入数据源”。 在接入数据源页面的“默认数据源”页签下,选择“DM”类型的数据源,然后单击“下一步”。 在页面中配置数据源的连接信息。 表1 数据源连接信息 参数 配置说明 数据源名称 填写数据源的名称,根据规划自定义。建议您按照一定的命名规则填写数据源名称,方便您快速识别和查找。 编码格式 默认“utf-8”格式。 集成应用 选择数据源所归属的集成应用。 描述 填写数据源的描述信息。 连接模式 选择数据库的连接方式。 默认:使用系统默认方式连接数据库。 专业:使用JDBC连接字符串方式连接数据库。 连接地址 仅当“连接模式”选择“默认”时需要配置。 填写数据库的连接IP地址和端口号。 连接字符串 仅当“连接模式”选择“专业”时需要配置。 填写DM数据库的JDBC格式连接串,例如:jdbc:dm://{hostname}:{port}。 {hostname}为数据库的连接地址。 {port}为数据库的连接端口号。 用户名 填写连接数据库的用户名。 密码 填写连接数据库的用户密码。 完成数据源接入配置后,单击“开始检测”,检测ROMA Connect与数据源之间是否能够连通。 若测试结果为“数据源连接成功!”,则继续下一步。 若测试结果为“数据源连接失败!”,则检查数据源状态和数据源连接参数配置,然后单击“重新检测”,直到连接成功为止。 单击“创建”,完成数据源的接入。
  • 操作步骤 参考如何登录AstroCanvas中操作,登录AstroCanvas界面。 在主菜单中,选择“数据中心”。 在左侧导航栏中,选择“数据源”。 在数据源管理页面,单击“新建数据源”。 选择“DWS”,配置数据源参数。 图1 新建DWS数据源 数据源名称:数据源的名称,用于标识该数据源。长度为1~32个字符,可包括中文、字母、数字及下划线,且不能以下划线开头或结尾。 域名:数据库所在的域名。 端口:数据库端口,取值范围为0~65535。 用户名:登录数据库的用户名。 密码:数据库用户密码。 数据库名称:数据库实例名称。 描述:新建数据源的描述信息。 单击“连接测试”,显示“连接成功”,表示DWS数据源可以调通。 单击“保存”,完成数据源的创建。
  • 注意事项 每张表的表结构和填充的数据必须符合推荐系统的要求,列名和字段类型需要和规范保持一致。 创建数据源之前您需要自己手工创建整理这些表并存储到OBS,推荐数据目前支持JSON格式。 离线数据为初次对接RES的批量数据,供场景中的召回算法和排序算法进行计算。近线数据可实时更新、增加用户和物品表数据,同时实时行为数据,可作为后续近线召回计算,这些近线行为数据也会和离线行为数据进行汇总存储,供离线计算。
  • 数据源管理流程及功能简介 表1 功能介绍 功能 说明 准备离线数据源 请您按照推荐系统要求的数据格式准备用户数据,物品数据,行为数据。 上传离线数据源至OBS 将准备的离线数据源上传至对象存储服务(OBS)用于推荐系统的离线计算。 创建离线数据源 在使用RES之前,首先您需要创建一个数据源,后续的操作都是基于您创建的数据源进行的。 上传实时数据 RES通过SDK上传实时数据,进行数据计算和处理,更新用户的相关数据。 数据质量管理 数据质量管理操作可以将数据源经过数据特征抽取,生成推荐系统内部通用的数据格式。 修改或删除数据源 对您已经创建的数据源进行修改,对不需要的数据源进行删除。
  • 数据类型 当前RES支持创建数据源和导入近线数据。创建数据源的数据格式和近线数据导入的格式要求一致,包括用户数据、物品数据和行为数据。 用户数据 用户数据包括数据源中的“用户属性表”和用于近线计算的“用户画像”数据。用户数据记录用户的属性信息,例如地域、爱好等。 物品数据 物品数据包括数据源中的“物品属性表”和用于近线计算的“物品画像”数据。物品数据记录物品的属性信息,例如类别、长度等。 行为数据 行为数据包括数据源中的“用户操作行为表”和用于近线计算的“行为数据”。行为数据,每行记录用户的单次行为信息,包含用户标识符、行为对象标识符、行为类型和行为时间等信息。
  • 操作步骤 登录UGO服务。 单击左侧导航栏的“数据源管理”。 在数据源管理页面,单击右上角的“创建数据源”按钮。 进入创建数据源页面,完成基本信息的填写。 基本信息填写完成后,“开始测试”高亮显示。 图1 创建数据源 表1 创建数据库档案参数说明 参数名称 说明 名称 在数据源管理项目列表中显示的名称。 唯一且长度范围为5到50个字符,只允许包含英文字母、数字、下划线、中划线。以字母开头、数字或字母结束。 数据库类型 下拉选择待创建的数据库类型。当前仅支持管理GaussDB和MySQL数据源信息。 网络类型 公网网络:通过弹性公网IP(Elastic IP,EIP)进行源库连接。 连接方法 仅支持通过服务器名进行连接。 数据库名称 待进行管理的数据库名称。 主机类型 当前仅支持主机IP地址。 主机IP地址 填写具体主机IP地址,IP地址支持IPv4和IPv6。 说明: 支持IPv6数据库如下:MySQL。 主机端口 待进行管理的数据库端口。 用户名 待进行管理的数据库用户名。 密码 待进行管理的数据库密码。 单击“开始测试”,测试通过显示“已连接”,右下角“创建”高亮显示。 当前仅测试连通性,若断连或权限不足,会导致“连接数据库失败”,无法创建数据源。 单击创建。显示“数据源创建成功。”。 单击“关闭”,返回数据源管理页面,用户可以看到最新创建的数据源已在列表中。 可通过序号、名称、数据库名称、数据库类型、IP地址及端口信息进行搜索。 图2 数据源管理
  • 操作步骤 登录UGO服务。 单击左侧导航栏的“数据源管理”。 在数据源管理页面,单击右上角的“创建数据源”按钮。 进入创建数据源页面,完成基本信息的填写。 基本信息填写完成后,“开始测试”高亮显示。 图1 创建数据源 表1 创建数据库档案参数说明 参数名称 说明 名称 在数据源管理项目列表中显示的名称。 唯一且长度范围为5到50个字符,只允许包含英文字母、数字、下划线、中划线。以字母开头、数字或字母结束。 数据库类型 下拉选择待创建的数据库类型。当前仅支持管理GaussDB和MySQL数据源信息。 网络类型 公网网络:通过弹性公网IP(Elastic IP,EIP)进行源库连接。 如果源库网络有IP白名单限制,请将弹性公网IP添加至源库网络白名单,确保UGO可以连接源库。 连接方法 仅支持通过服务器名进行连接。 数据库名称 待进行管理的数据库名称。 主机类型 当前仅支持主机IP地址。 主机IP地址 填写具体主机IP地址,IP地址支持IPv4和IPv6。 说明: 支持IPv6数据库如下:MySQL。 主机端口 待进行管理的数据库端口。 用户名 待进行管理的数据库用户名。 密码 待进行管理的数据库密码。 单击“开始测试”,测试通过显示“已连接”,右下角“创建”高亮显示。 当前仅测试连通性,若断连或权限不足,会导致“连接数据库失败”,无法创建数据源。 单击创建。显示“数据源创建成功。”。 单击“关闭”,返回数据源管理页面,用户可以看到最新创建的数据源已在列表中。 可通过序号、名称、数据库名称、数据库类型、IP地址及端口信息进行搜索。 图2 数据源管理
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 tables Array of strings 数据源中所有的表名称 数组长度:0 - 2147483647 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:8 最大长度:36 error_msg String 错误描述 最小长度:2 最大长度:512 detail String 描述详情 最小长度:2 最大长度:512 状态码: 404 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:8 最大长度:36 error_msg String 错误描述 最小长度:2 最大长度:512 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码 最小长度:8 最大长度:36 error_msg String 错误描述 最小长度:2 最大长度:512
  • 响应示例 状态码: 200 OK { "datasource_id" : "acd5502992254b3ab2dfd5b6900159db", "datasource_name" : "TY_KAFKA", "datasource_type" : "KAFKA", "content" : { "project_id" : "c53626012ba84727b938ca8bf03108ef", "type" : "KAFKA", "instance_id" : "05173009-2e5f-4773-8303-8e05cc9c9302", "broker" : "10.01.01.01:9092", "ssl_username" : "1", "ssl_password" : "******", "ssl_enable" : true }, "create_time" : 1616784907101, "update_time" : 1619650507230, "app_id" : "141bbdf5-131e-4111-898d-5a6292a2113b", "app_name" : "app-zhe", "instance_id" : "05173009-2e5f-4773-8303-8e05cc9c9302", "remark" : "No change.", "app_permission" : [ "read", "access", "delete", "modify" ] }
  • 接入数据源 上传Oracle需要上传表所在的schema的只读权限,同时需要赋予该用户DBA_CONSTRAINTS 、DBA_CONS_COLUMNS、DBA_TAB_COLUMNS、DBA_TABLES这四个表的查询权限。 上传mysql需要具有数据库的只读权限。 上传dws需要上传表所在的schema的只读权限。 下载结构化数据到mysql需要数据库的建表(create)和写入(insert)权限,而下载到Oracle和dws需要下载至目标schema的写入(insert)和建表(create)权限。 接入ORACLE数据源 接入MYSQL数据源 接入DWS数据源 接入FTP数据源 接入OBS数据源 接入MRS_HIVE数据源 接入API数据源 父主题: 数据源管理
  • 操作步骤 登录DMAX界面。 在主菜单中,选择“数据中心”。 在左侧导航栏中,选择“数据源管理”。 在数据源管理页面,单击“新建数据源”。 选择“Roma连接器”,并参照表1,配置数据源参数。 表1 ROMA连接器配置说明 参数 说明 数据源名称 新建数据源的名称,用于标识该数据源。 APIC服务地址 ROMA Connect服务集成APIC的网关地址,配置该值后,可实现调用ROMA Connect的服务API。 服务集成APIC(API Connect,简称APIC)是ROMA Connect的API集成组件,APIC将数据和后端服务以API形式开放,简化分享数据或提供服务的过程,降低企业之间对接的成本。 AppKey ROMA Connect上应用的Key值,获取方式如下: 登录ROMA Connect实例控制台。 在左侧导航栏中,选择“集成应用”。 单击应用名,进入概览页面,即可查看到Key值。 AppSecret ROMA Connect上应用的请求密钥,用于私钥认证,获取方式如下: 登录ROMA Connect实例控制台。 在左侧导航栏中,选择“集成应用”。 单击应用名,进入概览页面。 单击Secret右侧的图标,即可查看Secret值。 描述 新建数据源的描述信息。 单击“保存”,完成数据源的创建。