-
使用MirrorMaker跨集群同步数据 - 分布式消息服务Kafka版
使用MirrorMaker同步数据,至少需要有两个或以上集群,不可在单个集群内部使用MirrorMaker,否则会导致数据在Topic内无限循环复制。 实施步骤 购买一台弹性云服务器,确保弹性云服务器与源集群、目标集群网络互通。具体购买操作,请参考购买弹性云服务器。
-
数据保护技术 - 分布式消息服务Kafka版
数据保护技术 DMS for Kafka通过多种数据保护手段和特性,保障DMS for Kafka的数据安全可靠。
-
迁移数据 - 分布式消息服务Kafka版
迁移数据 Kafka数据迁移概述 使用Smart Connect迁移数据
-
Kafka数据迁移概述 - 分布式消息服务Kafka版
父主题: 迁移数据
-
查看Kafka监控数据 - 分布式消息服务Kafka版
通过以下任意一种方法,查看监控数据。 在Kafka实例名称后,单击“查看监控数据”。跳转到云监控页面,查看实例、节点、主题和消费组的监控数据,数据更新周期为1分钟。 单击Kafka实例名称,进入实例详情页。
-
使用DNAT实现公网访问Kafka - 分布式消息服务Kafka版
前提条件 已购买弹性公网IP,弹性公网IP的数量与Kafka实例中代理个数相同。 步骤一:获取Kafka实例的信息 登录管理控制台。 在管理控制台左上角单击,选择区域。 请选择Kafka实例所在的区域。
-
配置Kafka数据转储至OBS - 分布式消息服务Kafka版
表2 目标端参数说明 参数 参数说明 转储启动偏移量 支持以下两种转储启动偏移量: 最早:最小偏移量,即读取最早的数据。 最新:最大偏移量,即获取最新的数据。 数据转储周期 两次转储的时间间隔,单位:秒,默认配置为300秒。 若某个时间段内无数据,则此时间段不会生成打包文件。
-
使用Smart Connect迁移数据 - 分布式消息服务Kafka版
使用Smart Connect迁移数据 开启Smart Connect 配置Kafka间的数据复制 配置Kafka数据转储至OBS 管理Smart Connect任务 关闭Smart Connect 父主题: 迁移数据
-
配置Kafka间的数据复制 - 分布式消息服务Kafka版
这两个Topic用于存储内部数据,如果删除,会导致同步数据失败。 父主题: 使用Smart Connect迁移数据
-
业务数据不均衡处理建议 - 分布式消息服务Kafka版
实施步骤 业务数据不均衡的处理措施: 优化业务中Topic的设计,对于数据量特别大的Topic,可对业务数据做进一步的细分,并分配到不同的Topic上。 生产者生产消息时,尽量把消息均衡发送到不同的分区上,确保分区间的数据均衡。