云服务器内容精选

  • DDM为源链路源库分片数量和信息怎么填写 DRS支持DDM为源的迁移和同步,在创建任务时,需要先按照源端DDM绑定的实例个数选择分片数量,以实时同步为例,如图1。例如源端DDM有两个DN节点,挂载的RDS for MySQL实例1和实例2,则“源端实例数据库实例个数”设置为“2”。关于DDM逻辑库和逻辑库下的DN实例说明可参考DDM产品文档。 图1 同步实例信息 任务创建完成后,需要在“测试连接”页面填写源库信息,如图2,假设源端DDM实例IP地址为192.168.5.11,挂载的RDS for MySQL实例1,其IP地址为192.168.1.10;挂载的RDS for MySQL实例2 , 其IP地址为192.168.6.150,则填写方式如表1。 图2 源库信息 表1 源库信息 参数 描述 中间件IP地址或域名 填写源数据库DDM中间件的IP地址或域名,本示例中为192.168.5.11。 端口 源数据库DDM中间件服务端口,可输入范围为1~65535间的整数,一般DDM端口默认为5066,请根据实际情况填写。 中间件用户名 源数据库DDM中间件的用户名,可参考《DDM快速入门》。 数据库密码 源数据库DDM中间件用户名所对应的密码。 SSL安全连接 通过该功能,用户可以选择是否开启对迁移链路的加密。如果开启该功能,需要用户上传SSL CA根证书。 数据库实例 根据DDM实际的DN分片数据库,填写对应的数据库信息。 本示例中两个分片数据库IP地址分别填写192.168.1.10和192.168.6.150。 父主题: 通用操作
  • 操作步骤 登录MAS控制台,在“多活管理”页面单击实例,进入实例控制台。 在页面顶端导航栏选择“监控列表”,单击页面左上角的“监控配置”。 配置全局监控配置(建议使用默认值),完成后单击“确定”。 表1 监控配置 参数 配置说明 监控类型 选择需要配置的监控类型,可选的监控类型依赖命名空间已选择的功能点。 MySQL监控 Oracle监控 PostgreSQL监控 Redis监控 MongoDB监控 Elasticsearch监控 API监控 监控超时时间 一个周期内监控器对数据库探测监控的超时时间,超过这个时间,则认为探测数据库失败,监控状态变为监控异常。 以毫秒为单位,输入值必须在1000到400000之间。 重试时间间隔 尝试重连时间间隔。 输入值必须在1000到30000之间。 数据库访问超时时间 当“监控类型”配置为“MySQL/Oracle/PostgreSQL监控”和“MongoDB监控”时可见; 访问数据库超时时间,超过这个时间认为一次访问数据库失效。 输入值必须在3000到100000之间。 健康精度 探测的健康精度。配置为1,表示多活实例的监控集群中只要有一个worker探测到数据库,则认为探测成功;当探测失败时,由Leader做故障处理。 输入值必须为1或2。 说明: “API监控”仅需配置“健康精度”,无需配置其他参数。
  • 待我审核 在DataArts Studio数据架构控制台的左侧导航栏中,单击“审核中心”,进入审核中心页面,系统默认显示待审核页面,如下图所示。 图4 待审核页面 功能区域 说明 1 批量审核: 勾选多个待审核信息。 单击,弹出“批量审核”对话框。 输入有效的审核意见。 单击“批量通过”,所选审核信息通过审核;单击“批量驳回”,所选审核信息被驳回。 2 单个审核: 单击操作列“审核”,进入指定待审核信息的审核页面。 根据实际情况选择审核结果(通过或驳回),并输入有效的审核的意见。 单击“确定”,完成审核。 3 :通过该按钮过滤出修改时间段内的待审核信息。 :通过该按钮查询对象和创建人的待审核信息。 :通过该按钮设置待审核表的表列项。 :刷新按钮。
  • 查看已审核、待审核、我的申请 待我审核 在DataArts Studio数据架构的左侧导航树中,单击“审核中心”,选择“待我审核”页签,可以查看待审核的对象。 已审核 在DataArts Studio数据架构的左侧导航树中,单击“审核中心”,选择“已审核”页签,可以查看已通过审核的对象。 我的申请 在DataArts Studio数据架构的左侧导航树中,单击“审核中心”,选择“我的申请”页签,可以查看自己提交审核的对象。
  • 审核人员审核对象 如果您是审核人员,请使用审核人员的账号参考以下步骤审核对象。 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据架构”模块,进入数据架构页面。 图1 选择数据架构 在左侧导航树中,单击“审核中心”,选择“待我审核”页签,在列表中找到需要审核的对象,然后在该对象所在行单击“审核”。 您也可以勾选多个待审核的对象,然后单击“批量审核”按钮进行批量审核。 图2 审核 在审核的详情页面,确认信息无误后,单击“通过”,然后在弹出对话框中输入审核意见并单击“确定”完成审核。 如果信息有误,请单击“驳回”,然后在弹出对话框中输入审核意见并单击“确定”完成审核。 图3 审核信息
  • 关联质量规则并查看质量作业 在DataArts Studio数据架构控制台,单击左侧导航栏的“关系建模”进入关系建模页面。 在页面选择所需要的模型单击进入,在右侧的列表中将显示该模型下面所有的表。您也可以展开主题结构,选中一个对象,右侧的列表中将显示该对象下所有的表。 在列表中,找到所需要的表,单击表名称进入表详情页面。 图1 关系模型列表 在详情页的表字段区域,选中需要关联质量规则的的字段,然后单击“关联质量规则”按钮。 图2 关联质量规则 异常数据输出配置:勾选此项,并勾选生成异常数据,表示异常数据将按照配置的参数存储到规定的库中。 在弹出的“关联质量规则”对话框中,单击“添加规则”。 图3 添加质量规则页 此时,系统将弹出“添加规则”对话框,在规则列表中将显示DataArts Studio数据质量中默认的质量规则,选中所需要的规则,然后单击“确定”。如果列表中的规则不满足业务需求,您也可以创建自定义规则,单击“新建规则”可以跳转到DataArts Studio数据质量页面,请参考新建规则模板新建规则。 图4 添加规则 添加规则完成后,将返回“关联质量规则”对话框,在“规则名称”列表中,选中一条规则,然后设置告警条件,设置完所有规则的告警条件后单击“确定”。 在“告警条件”输入框中,请输入告警条件表达式,在质量作业运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。 告警条件表达式由告警参数和逻辑运算符组成。 每个规则的告警参数会在“告警参数”中以按钮形式列出。单击这些按钮,在“告警条件”中将按告警参数的排列顺序显示为${1}、${2}、${3}等变量名称,以此类推,变量名即代表告警参数。也就是说,在设置“告警条件”时,使用变量${1}代表第一个告警参数,${2}代表第二个告警参数,以此类推。 图5 设置告警条件 (可选)如需要将质量作业中不符合设定规则的异常数据存储在异常表中,可以打开“异常数据输出配置”开关。 图6 异常数据输出开关 单击开关,并打开“生成异常数据”按钮,表示异常数据将按照配置的参数存储到规定的库中。 图7 异常数据输出配置 各参数具体含义如下: 数据库或Schema:表示存储异常数据的数据库或Schema。 表前缀:表示存储异常数据的表的前缀。 表后缀:表示存储异常数据的表的后缀。 配置完成后单击保存配置。 (可选)质量规则的检查范围默认是全表,如需要精确定位分区查询数据,请填写where条件。 图8 where条件开关 查看关联质量规则的结果,如果显示成功,单击“确定”。如果显示失败,请查看失败原因,等问题处理后,再重新关联质量规则。 图9 关联结果 返回关系模型列表页面,找到已关联质量规则的表,在“同步状态”列中,鼠标移至创建质量作业的图标上,单击“查看”进入质量作业页面查看已添加的质量规则。 图10 质量作业同步状态 进入质量作业的“规则配置”页面,可以查看刚才添加的质量规则。 图11 质量规则 此外,在建表时已关联的数据标准,在表发布后也会在上图中生成相应的质量规则,您可以在质量作业中进行查看。 字段关联的数据标准生成的质量规则,示例如下: 图12 字段关联的质量规则 字段关联了数据标准,数据标准关联的码表生成的质量规则,示例如下: 图13 码表的质量规则
  • 设置binlog_row_image为FULL步骤 如果源数据库为云上RDS实例,可通过RDS管理界面的参数配置,将binlog_row_image修改为FULL,完成修改后重启源数据库并重置任务即可。 云数据库RDS for MySQL 8.0版本的binlog_row_image参数默认值为FULL,您无需进行设置。 如果源数据库为本地自建库,请参考如下步骤修复。 登录MySQL源数据库所在服务器。 手动修改my.cnf配置文件,将binlog_row_image参数值修改为FULL后保存。 binlog_row_image=full 为了关闭旧的session,需选择一个非业务时间段,重启源数据库并重置任务。