云服务器内容精选

  • 迁移准备 权限准备: 当使用 DRS 将E CS 自建MongoDB数据库的数据迁移到本云DDS实例时,在不同迁移类型情况下,对源数据库和目标数据库的账号权限要求如表3: 表3 迁移账号权限 迁移类型 全量迁移 全量+增量迁移 源数据库 副本集:连接源数据库的用户需要对待迁移库有read权限。 单节点:连接源数据库的用户需要对待迁移库有read权限。 集群:连接源数据库的用户需要对待迁移库有read权限,对config数据库有read权限。 如果需要迁移源数据库用户和角色信息,连接源数据库的用户需要对admin数据库的系统表system.users,system.roles有读权限。 副本集:连接源数据库的用户需要对待迁移库有read权限,对local数据库有read权限。 单节点:连接源数据库的用户需要对待迁移库有read权限,对local数据库有read权限。 集群:连接源数据库mongos节点的用户需要对待迁移库有read权限,对config数据库有read权限, 连接源数据库分片节点的用户需要对admin数据库有readAnyDatabase权限,对local数据库有read权限。 如果需要迁移源数据库用户和角色信息,连接源数据库的用户需要对admin数据库的系统表system.users,system.roles有读权限。 目标数据库 连接目标数据库的用户需要对admin数据库有dbAdminAnyDatabase权限,对目标数据库有readWrite权限。对于目标数据库是集群的实例,迁移账号还要有对config数据的读权限 源数据库权限设置: 需要确保源数据库MongoDB的账号权限具备表3的要求。若权限不足,需要在源数据库端开通高权限的账号。 目标数据库权限设置: 本云DDS实例使用初始账号即可。 网络准备: 源数据库所在的region需要和目标DDS所在的region保持一致。 源数据库可以与目标DDS实例在同一个VPC,也可以不在同一个VPC。 当不在同一个VPC的时候,要求源数据库实例和目标端DDS实例所处的子网处于不同网段,此时需要通过建立对等连接实现网络互通。 具体操作请参见《虚拟私有云用户指南》中“VPC对等连接”章节。 当在同一VPC的时候,网络默认是互通的。 安全规则准备: 同一VPC场景下,默认网络是连通的,不需要单独设置安全组。 不同VPC场景下,通过建立对等连接就可以实现网络互通,不需要单独设置安全组。 其他事项准备: 由于迁移过程不会迁移MongoDB数据库的相关参数,需要自行将上述信息导出后,手动添加到目标DDS中。
  • 资源规划 表1 资源规划 类别 子类 规划 备注 VPC VPC名称 vpc-dds 自定义,易理解可识别。 所属Region 华南-广州 选择和自己业务区最近的Region,减少网络时延。 可用区 可用区一 - 子网网段 10.0.0.0/24 子网选择时建议预留足够的网络资源。 子网名称 subnet-default 自定义,易理解可识别。 ECS ECS名称 ecs-mongodb 自定义,易理解可识别。 规格 s6.xlarge.2 4vCPUs|8GiB 本示例中选择的规格。 实际选择的规格需要结合业务场景选择,请参考弹性云服务器的实例规格。 操作系统 CentOS 7.6 64 - 系统盘 通用型SSD 40GiB - 数据盘 超高IO 100GiB - 弹性IP 现在购买 因为迁移任务会选择“公网网络”,因此此处需要购买弹性IP。 DDS DDS 实例名 dds-test 自定义,易理解可识别。 数据库引擎 DDS - 兼容的数据库版本 4.4 - 可用区类型 单可用区 - 可用区 可用区一 - 性能规格 增强Ⅱ型 - CPU架构 X86 8 vCPUs | 32GB - DRS迁移任务 迁移任务名 DRS-dds 自定义。 源数据库引擎 MongoDB 本示例中源数据库为自建MongoDB,即在华为云弹性云服务器上安装社区版MongoDB。 目标数据库引擎 DDS 本示例中目标数据库为华为云DDS实例。 网络类型 公用网络 本示例中采用公用网络。
  • 迁移须知(重要) 在创建迁移任务之前,请您务必仔细阅读迁移须知。 支持的源和目标数据库 表2 支持的数据库 源数据库 目标数据库 本地自建Mongo数据库(3.2、3.4、3.6、4.0、4.2、4.4、5.0版本) ECS自建Mongo数据库(3.2、3.4、3.6、4.0、4.2、4.4、5.0版本) 其他云上Mongo数据库(3.2、3.4、3.6、4.0、4.2、4.4、5.0版本 DDS实例(3.2、3.4、4.0、4.2、4.4、5.0版本) 说明: 源数据库为DDS 3.2版本集群实例时,仅支持单全量迁移,不支持增量迁移。 DDS 5.0版本当前仅支持副本集,不支持集群。 如果源库选择DDS实例,则此链路的数据库引擎是“DDS”,否则,此链路的数据库引擎是“MongoDB(数据库种类)。 DDS实例(3.4、4.0、4.2、4.4、5.0版本) 说明: 仅支持目标库版本等于或高于源库版本。 DDS 5.0版本当前仅支持副本集,不支持集群。 可通过以下命令,查询源数据库版本是否符合要求的内容: db.version() 若迁移模式选择“全量+增量”迁移,源数据库Oplog日志必须打开,该日志会占用一定的磁盘空间,需要保证源端磁盘有一定冗余,Oplog日志保留周期最少3天,可以根据迁移数据量实际设置。 其他详情请参考《 数据复制服务 实时迁移》中具体链路的“使用须知”。
  • 操作场景 数据复制服务(Data Replication Service,简称DRS)支持将ECS自建数据库的数据迁移到本云文档数据库服务(Document Database Service,以下简称DDS)实例。通过DRS提供的实时迁移任务,实现在数据库迁移过程中业务和数据库不停机,业务中断时间最小化。 本章节主要介绍了通过DRS将ECS自建数据库实时迁移至本云DDS的任务配置流程。支持以下网络场景: 源数据库和目标数据库属于同一个VPC网络内 源数据库和目标数据库属于不同VPC网络内
  • 响应消息 参数说明 状态码:202 表3 响应Body参数 参数 参数类型 说明 job_id String 参数解释: 任务ID,仅按需实例返回该参数。 取值范围: 不涉及。 order_id String 参数解释: 订单ID,仅包周期实例返回该参数。 取值范围: 不涉及。 状态码:default 表4 ErrorResponse 参数 参数类型 说明 error_code String 参数解释: 提交任务异常时返回的错误编码。 取值范围: 不涉及。 error_msg String 参数解释: 提交任务异常时返回的错误描述信息。 取值范围: 不涉及。 响应示例 状态码: 202 Accepted. { "job_id" : "6ad4eb1f-73bd-4876-aa31-aa9a1e41c4bc" }
  • URI URI格式 DELETE /v3/{project_id}/instances/{instance_id}/mongos-node 表1 请求参数 名称 类型 IN 是否必选 描述 X-Auth-Token string header 是 参数解释: 从 IAM 服务获取的用户Token。请参考认证鉴权。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 project_id string path 是 参数解释: 租户在某一Region下的项目ID。请参考获取项目ID章节获取项目编号。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 instance_id string path 是 参数解释: 实例ID,可以调用“查询实例列表和详情”接口获取。如果未申请实例,可以调用“创建实例”接口创建。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。
  • 请求消息 参数说明 表2 请求Body参数 参数 是否必选 参数类型 描述 node_list 是 Array of strings 参数解释: 所有需要删除的mongos节点ID,至少保留两个mongos节点。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 请求示例: 删除实例520c58ba00a3497e97ce0b9604874dd6in02的mongos节点fea413b892214c53a58e5a529096ed75no02 DELETE https://{endpoint}/v3/619d3e78f61b4be68bc5aa0b59edcf7b/instances/520c58ba00a3497e97ce0b9604874dd6in02/mongos-node { "node_list" : [ "fea413b892214c53a58e5a529096ed75no02" ] }
  • 监控指标 表1 DDS推荐的监控指标 指标ID 指标名称 指标含义 取值范围 单位 进制 测量对象 监控周期(原始指标) mongo007_connections_usage 当前活动连接数百分比 该指标用于统计试图连接到实例节点的连接数占可用连接数百分比。 0~100 % 不涉及 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo032_mem_usage 内存使用率 该指标用于统计测量对象的内存利用率。 0~100 % 不涉及 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo031_cpu_usage CPU使用率 该指标用于统计测量对象的CPU利用率。 0~100 % 不涉及 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo035_disk_usage 磁盘利用率 该指标用于统计测量对象的磁盘利用率。 0~100 % 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 表2 DDS支持的监控指标 指标ID 指标名称 指标含义 取值范围 单位 进制 测量对象 监控周期(原始指标) mongo001_command_ps command执行频率 该指标用于统计平均每秒command语句在节点上执行次数。 ≥ 0 Count/s 不涉及 文档数据库实例 文档数据库集群实例下的dds mongos节点 文档数据库副本集实例下的只读节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 5秒 mongo002_delete_ps delete语句执行频率 该指标用于统计平均每秒delete语句在节点上执行次数。 ≥ 0 Count/s 不涉及 文档数据库实例 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo003_insert_ps insert语句执行频率 该指标用于统计平均每秒insert语句在节点上执行次数。 ≥ 0 Count/s 不涉及 文档数据库实例 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo004_query_ps query语句执行频率 该指标用于统计平均每秒query语句在节点上执行次数。 ≥ 0 Count/s 不涉及 文档数据库实例 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo005_update_ps update语句执行频率 该指标用于统计平均每秒update语句在节点上执行次数。 ≥ 0 Count/s 不涉及 文档数据库实例 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo006_getmore_ps getmore语句执行频率 该指标用于统计平均每秒getmore语句在节点上执行次数。 ≥ 0 Count/s 不涉及 文档数据库实例 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo007_chunk_num1 分片一的chunk数 该指标用于统计分片一的chunk个数。 0~64 Count 不涉及 文档数据库集群实例 1分钟 mongo007_chunk_num2 分片二的chunk数 该指标用于统计分片二的chunk个数。 0~64 Count 不涉及 文档数据库集群实例 1分钟 mongo007_chunk_num3 分片三的chunk数 该指标用于统计分片三的chunk个数。 0~64 Count 不涉及 文档数据库集群实例 1分钟 mongo007_chunk_num4 分片四的chunk数 该指标用于统计分片四的chunk个数。 0~64 Count 不涉及 文档数据库集群实例 1分钟 mongo007_chunk_num5 分片五的chunk数 该指标用于统计分片五的chunk个数。 0~64 Count 不涉及 文档数据库集群实例 1分钟 mongo007_chunk_num6 分片六的chunk数 该指标用于统计分片六的chunk个数。 0~64 Count 不涉及 文档数据库集群实例 1分钟 mongo007_chunk_num7 分片七的chunk数 该指标用于统计分片七的chunk个数。 0~64 Count 不涉及 文档数据库集群实例 1分钟 mongo007_chunk_num8 分片八的chunk数 该指标用于统计分片八的chunk个数。 0~64 Count 不涉及 文档数据库集群实例 1分钟 mongo007_chunk_num9 分片九的chunk数 该指标用于统计分片九的chunk个数。 0~64 Count 不涉及 文档数据库集群实例 1分钟 mongo007_chunk_num10 分片十的chunk数 该指标用于统计分片十的chunk个数。 0~64 Count 不涉及 文档数据库集群实例 1分钟 mongo007_chunk_num11 分片十一的chunk数 该指标用于统计分片十一的chunk个数。 0~64 Count 不涉及 文档数据库集群实例 1分钟 mongo007_chunk_num12 分片十二的chunk数 该指标用于统计分片十二的chunk个数。 0~64 Count 不涉及 文档数据库集群实例 1分钟 mongo008_connections 实例当前活动连接数 该指标用于统计试图连接到DDS实例的总连接数。 0~200 Count 不涉及 文档数据库实例 1分钟 mongo009_migFail_num 过去一天块迁移的失败次数 该指标用于统计过去一天中块迁移失败的次数。 ≥ 0 Count 不涉及 文档数据库集群实例 1分钟 mongo007_connections 当前活动连接数 该指标用于统计试图连接到DDS实例节点的总连接数。 0~200 Count 不涉及 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo007_connections_usage 当前活动连接数百分比 该指标用于统计试图连接到实例节点的连接数占可用连接数百分比。 0~100 % 不涉及 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo008_mem_resident 驻留内存 该指标用于统计当前驻留内存的大小。 ≥ 0 MB 不涉及 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo009_mem_virtual 虚拟内存 该指标用于统计当前虚拟内存的大小。 ≥ 0 MB 不涉及 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo010_regular_asserts_ps 常规断言频率 该指标用于统计常规断言频率。 ≥ 0 Count/s 不涉及 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo011_warning_asserts_ps 警告频率 该指标用于统计警告频率。 ≥ 0 Count/s 不涉及 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo012_msg_asserts_ps 消息断言频率 该指标用于统计消息断言频率。 ≥ 0 Count/s 不涉及 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo013_user_asserts_ps 用户断言频率 该指标用于统计用户断言频率。 ≥ 0 Count/s 不涉及 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo014_queues_total 等待锁的操作数 该指标用于统计当前等待锁的操作数。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo015_queues_readers 等待读锁的操作数 该指标用于统计当前等待读锁的操作数。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo016_queues_writers 等待写锁的操作数 该指标用于统计当前等待写锁的操作数。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo017_page_faults 缺页错误数 该指标用于统计当前节点上的缺页错误数。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo018_porfling_num 慢查询数 该指标用于统计当前节点上的前5分钟到当前时间点的慢查询总数。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo019_cursors_open 当前维护游标数 该指标用于统计当前节点上的维护游标数。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo020_cursors_timeOut 服务超时游标数 该指标用于统计当前节点上的服务超时游标数。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo021_wt_cahe_usage 内存中数据量(WiredTiger引擎) 该指标用于统计当前内存中数据量(WiredTiger引擎)。 ≥ 0 MB 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo022_wt_cahe_dirty 内存中脏数据量(WiredTiger引擎) 该指标用于统计当前内存中脏数据量(WiredTiger引擎)。 ≥ 0 MB 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo023_wInto_wtCache 写入WiredTiger内存的频率 该指标用于统计当前内存中写入频率(WiredTiger引擎)。 ≥ 0 byte/s 1024(IEC) 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo024_wFrom_wtCache 从WiredTiger内存写入磁盘频率 该指标用于统计当前内存写入磁盘频率(WiredTiger引擎)。 ≥ 0 byte/s 1024(IEC) 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo025_repl_oplog_win 主节点的Oplog中可用时间 该指标用于统计当前实例下的主节点的Oplog中可用时间。 ≥ 0 h 不涉及 文档数据库实例下的主节点 1分钟 mongo025_repl_headroom 主备Oplog重叠时长 该指标用于统计实例下的主节点和Secondary节点之间Oplog重叠时长。 ≥ 0 s 不涉及 文档数据库实例下的备节点 1分钟 mongo026_repl_lag 主备延时 该指标用于统计实例下的主节点和Secondary节点之间的复制延时。 ≥ 0 s 不涉及 文档数据库实例下的备节点 1分钟 mongo027_repl_command_ps 备节点复制的command执行频率 该指标用于统计平均每秒Secondary节点复制的command语句执行次数。 ≥ 0 Count/s 不涉及 文档数据库实例下的备节点 1分钟 mongo028_repl_update_ps 备节点复制的update语句执行频率 该指标用于统计平均每秒Secondary节点复制的update语句执行次数。 ≥ 0 Count/s 不涉及 文档数据库实例下的备节点 1分钟 mongo029_repl_delete_ps 备节点复制的delete语句执行频率 该指标用于统计平均每秒Secondary节点复制的delete语句执行次数。 ≥ 0 Count/s 不涉及 文档数据库实例下的备节点 1分钟 mongo030_repl_insert_ps 备节点复制的insert语句执行频率 该指标用于统计平均每秒Secondary节点复制的insert语句执行次数。 ≥ 0 Count/s 不涉及 文档数据库实例下的备节点 1分钟 mongo031_cpu_usage CPU使用率 该指标用于统计测量对象的CPU利用率。 0~100 % 不涉及 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo032_mem_usage 内存使用率 该指标用于统计测量对象的内存利用率。 0~100 % 不涉及 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo033_bytes_out 网络输出吞吐量 该指标用于统计平均每秒从测量对象的所有网络适配器输出的流量。 ≥ 0 byte/s 1024(IEC) 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo034_bytes_in 网络输入吞吐量 该指标用于统计平均每秒从测量对象的所有网络适配器输入的流量。 ≥ 0 byte/s 1024(IEC) 文档数据库集群实例下的dds mongos节点 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 5秒 mongo035_disk_usage 磁盘利用率 该指标用于统计测量对象的磁盘利用率。 0~100 % 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo036_iops IOPS 该指标用于统计当前实例节点,单位时间内系统处理的I/O请求数量(平均值)。 ≥ 0 Count/s 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo037_read_throughput 硬盘读吞吐量 硬盘平均每秒读字节数。 ≥ 0 byte/s 1024(IEC) 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo038_write_throughput 硬盘写吞吐量 硬盘平均每秒写字节数。 ≥ 0 byte/s 1024(IEC) 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo039_avg_disk_sec_per_read 硬盘读耗时 该指标用于统计某段时间平均每次读取硬盘所耗时间。 ≥ 0 s 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo040_avg_disk_sec_per_write 硬盘写耗时 该指标用于统计某段时间平均每次写入硬盘所耗时间。 ≥ 0 s 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo042_disk_total_size 磁盘总大小 该指标用于统计测量对象的磁盘总大小。 0~1000 GB 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo043_disk_used_size 磁盘使用量 该指标用于统计测量对象的磁盘已使用总大小。 0~1000 GB 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo044_swap_usage SWAP利用率 交换内存SWAP使用率百分数。 0~100 % 不涉及 文档数据库集群实例下的dds mongos节点 文档数据库实例下的备节点 1分钟 mongo050_top_total_time 集合花费的总时间 Mongotop-total time指标,集合操作花费的时间总和。 ≥ 0 ms 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo051_top_read_time 集合读花费的总时间 Mongotop-read time指标,集合读操作花费的时间总和。 ≥ 0 ms 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo052_top_write_time 集合写花费的总时间 Mongotop-write time指标,集合写操作花费的时间总和。 ≥ 0 ms 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo053_wt_flushes_status 周期Checkpoint的触发次数 WiredTiger一个轮询间隔期间checkpoint的触发次数,记录周期内发生的次数。 ≥ 0 times 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo054_wt_cache_used_percent Wiredtiger使用中的缓存百分比 Wiredtiger使用中的缓存大小百分数。 0~100 % 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo055_wt_cache_dirty_percent Wiredtiger脏数据的缓存百分比 Wiredtiger脏数据的缓存大小百分数。 0~100 % 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo070_rocks_active_memtable memtable中的数据大小 采集当前活动memtable中的数据大小。 0~100 Byte 1024(IEC) 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo071_rocks_oplogcf_active_memtable oplogcf上memtable中的数据大小 采集当前用于oplogcf上活动memtable中的数据大小。 0~100 Byte 1024(IEC) 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo072_rocks_all_memtable memtable和immutable-mem中的总数据大小 采集当前memtable和immutable-mem中的总数据大小。 0~100 Byte 1024(IEC) 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo073_rocks_oplogcf_all_memtable oplogcf上memtable和immutable-mem中的总数据大小 采集当前用于oplogcf上memtable和immutable-mem中的总数据大小。 0~100 Byte 1024(IEC) 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo074_rocks_snapshots 未释放的snapshot的数量 采集当前未释放的snapshot的数量。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo075_rocks_oplogcf_snapshots oplogcf上未释放的snapshot的数量 采集当前oplogcf上未释放的snapshot的数量。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo076_rocks_live_versions 活动的版本数量 采集当前活动的版本数量。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo077_rocks_oplogcf_live_versions oplogcf上活动的版本数量 采集当前oplogcf上活动的版本数量。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo078_rocks_block_cache 驻留在blockcache中的数据大小 采集当前驻留在blockcache中的数据大小。 0~100 Byte 1024(IEC) 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo079_rocks_background_errors 后台累积错误数量 采集记录后台累积错误数量。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo080_rocks_oplogcf_background_errors oplogcf上后台累积错误数量 采集记录oplogcf上后台累积错误数量。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo081_rocks_conflict_bytes_usage 事务写写冲突处理缓冲区使用率 采集事务写中写冲突处理缓冲区使用率。 0~100 % 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo082_rocks_uncommitted_keys 未提交的key的数量 采集当前未提交的key的数量。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo083_rocks_committed_keys 提交的key的数量 采集当前已提交的key的数量。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo084_rocks_alive_txn 活跃事务链表的长度 采集记录活跃事务链表的长度。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo085_rocks_read_queue 读队列的长度 采集当前读队列的长度。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo086_rocks_commit_queue 提交队列的长度 采集当前提交队列的长度。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo087_rocks_ct_write_out 已使用并发写事务数 采集当前已使用并发写事务数。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo088_rocks_ct_write_available 剩余可用并发写事务数 采集当前剩余可用并发写事务数。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo089_rocks_ct_read_out 已使用并发读事务数 采集当前已使用并发读事务数。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo090_rocks_ct_read_available 剩余可用并发读事务数 采集当前剩余可用并发读事务数。 ≥ 0 Count 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 1分钟 mongo091_active_session_count 周期活跃会话数 该指标用于统计自上次刷新周期以来Mongo实例在内存中缓存的所有活跃本地会话的数目。 ≥ 0 Count 不涉及 文档数据库副本集实例下的只读节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 mongo092_rx_errors 接收报文错误率 该指标用于统计监控周期内接收报文中错误报文数量与全部接收报文比值。 0~100 % 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 5秒 mongo093_rx_dropped 接收报文丢包率 该指标用于监控周期内统计接收报文中丢失报文数量与全部接收报文比值。 0~100 % 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 5秒 mongo094_tx_errors 发送报文错误率 该指标用于监控周期内统计发送报文中错误报文数量与全部发送报文比值。 0~100 % 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 5秒 mongo095_tx_dropped 发送报文丢包率 该指标用于监控周期内统计发送报文中丢失报文数量与全部发送报文比值。 0~100 % 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 5秒 mongo096_retrans_segs 重传包数目 该指标用于监控周期内统计重传包数目。 ≥ 0 Counts 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 5秒 mongo097_retrans_rate 重传比例 该指标用于监控周期内统计重传包比例。 0~100 % 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 5秒 mongo098_out_rsts_nums 发送RST数目 该指标用于监控周期内统计RST数目。 ≥ 0 Counts 不涉及 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 5秒 mongo099_read_time_average 读命令耗时平均值 该指标为单个节点的读命令耗时平均值。 ≥ 0 ms 不涉及 文档数据库集群实例下的dds shard节点 文档数据库集群实例下的dds config节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 mongo100_read_time_p99 读命令p99耗时 该指标为单个节点的读命令p99耗时。 ≥ 0 ms 不涉及 文档数据库集群实例下的dds shard节点 文档数据库集群实例下的dds config节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 mongo101_read_time_p999 读命令p999耗时 该指标为单个节点的读命令p999耗时。 ≥ 0 ms 不涉及 文档数据库集群实例下的dds shard节点 文档数据库集群实例下的dds config节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 mongo102_write_time_average 写命令耗时平均值 该指标为单个节点的写命令耗时平均值。 ≥ 0 ms 不涉及 文档数据库集群实例下的dds shard节点 文档数据库集群实例下的dds config节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 mongo103_write_time_p99 写命令p99耗时 该指标为单个节点的写命令p99耗时。 ≥ 0 ms 不涉及 文档数据库集群实例下的dds shard节点 文档数据库集群实例下的dds config节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 mongo104_write_time_p999 写命令p999耗时 该指标为单个节点的写命令p999耗时。 ≥ 0 ms 不涉及 文档数据库集群实例下的dds shard节点 文档数据库集群实例下的dds config节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 mongo105_command_time_average command耗时平均值 该指标为单个节点的节点command的耗时平均值。 ≥ 0 ms 不涉及 文档数据库集群实例下的dds shard节点 文档数据库集群实例下的dds config节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 mongo106_command_time_p99 command p99耗时 该指标为单个节点的command耗时p99耗时。 ≥ 0 ms 不涉及 文档数据库集群实例下的dds shard节点 文档数据库集群实例下的dds config节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 mongo107_command_time_p999 command p999耗时 该指标为单个节点的command耗时p999耗时。 ≥ 0 ms 不涉及 文档数据库集群实例下的dds shard节点 文档数据库集群实例下的dds config节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 mongo108_txn_time_average 事务耗时平均值 该指标为单个节点的节点事务耗时平均值。 ≥ 0 ms 不涉及 文档数据库集群实例下的dds shard节点 文档数据库集群实例下的dds config节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 mongo109_txn_time_p99 事务p99耗时 该指标为单个节点的事务p99耗时。 ≥ 0 ms 不涉及 文档数据库集群实例下的dds shard节点 文档数据库集群实例下的dds config节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 mongo110_txn_time_p999 事务p999耗时 该指标为单个节点的事务p999耗时。 ≥ 0 ms 不涉及 文档数据库集群实例下的dds shard节点 文档数据库集群实例下的dds config节点 文档数据库实例下的主节点 文档数据库实例下的备节点 文档数据库实例下的隐藏节点 1分钟 指标ID中含有“rocks”的监控指标均用于监测4.2版本的实例或实例节点。
  • 响应示例 { "total_count" : 1, "sessions" : [ { "id" : "shard_1:7201646", "active" : true, "operation" : "{\"getMore\":4.9473050217983027E18,\"collection\":\"$cmd.aggregate\",\"batchSize\":101.0,\"lsid\":{\"id\":{\"$binary\":{\"base64\":\"9FhcBFVeTzafCH8BUZrLjQ\\=\\=\",\"subType\":\"03\"}},\"uid\":{\"$binary\":{\"base64\":\"O0CMtIVItQN4IsEOsJdrPL8s7jv5xwh5a/A5Qfvs2A8\\=\",\"subType\":\"00\"}}},\"$clusterTime\":{\"clusterTime\":{\"$timestamp\":{\"t\":1.614047961E9,\"i\":1.0}},\"signature\":{\"hash\":{\"$binary\":{\"base64\":\"HxUWu68VyfvQFivWjHQDdJj/3YQ\\=\",\"subType\":\"00\"}},\"keyId\":6.9312672235666801E18}},\"$client\":{\"driver\":{\"name\":\"PyMongo\",\"version\":\"3.6.1\"},\"os\":{\"type\":\"Linux\",\"name\":\"Linux\",\"architecture\":\"x86_64\",\"version\":\"4.18.0-147.5.1.0.h269.eulerosv2r9.x86_64\"},\"platform\":\"CPython 3.7.4.final.0\",\"mongos\":{\"host\":\"host-172-16-61-110:8635\",\"client\":\"127.0.0.1:33420\",\"version\":\"4.0.3\"}},\"$configServerState\":{\"opTime\":{\"ts\":{\"$timestamp\":{\"t\":1.614047961E9,\"i\":1.0}},\"t\":2.0}},\"$db\":\"admin\"}", "type" : "getmore", "cost_time" : "25", "plan_summary" : "COLLSCAN", "host" : "host-172-16-27-182:8635", "client" : "172.16.41.233:50700", "description" : "conn20", "namespace" : "admin.$cmd.aggregate", "db" : "admin", "user" : "root" } ] }
  • URI URI格式 GET https://{Endpoint}/v3/{project_id}/nodes/{node_id}/sessions URI样例 https://dds.cn-north-1.myhuaweicloud.com/v3/054e292c9880d4992f02c0196d3ea468/nodes/520c58ba00a3497e97ce0b9604874dd6no02/sessions
  • 请求参数 参数说明 表1 请求参数 名称 类型 IN 是否必选 描述 X-Auth-Token string header 是 参数解释: 从IAM服务获取的用户Token。请参考认证鉴权。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 project_id string path 是 参数解释: 租户在某一Region下的项目ID。请参考获取项目ID章节获取项目编号。 约束限制: 不涉及。 取值范围: 不涉及。 默认取值: 不涉及。 node_id string path 是 参数解释: 节点ID。 约束限制: 集群实例支持选择mongos、shard、config中的任意节点。 副本集实例选择Primary或者Secondary节点。 取值范围: 不涉及。 默认取值: 不涉及。 表2 Query参数 参数 参数类型 是否必选 描述 offset Integer 否 参数解释: 索引位置,偏移量。 约束限制: 从第一条数据偏移offset条数据后开始查询,默认为0(偏移0条数据,表示从第一条数据开始查询),必须为数字,不能为负数。 取值范围: 不涉及。 默认取值: 0 limit Integer 否 参数解释: 查询记录数。 约束限制: 不涉及。 取值范围: [1, 100] 默认取值: 10(表示返回10条数据)。 plan_summary String 否 参数解释: 执行计划描述。 约束限制: 不涉及。 取值范围: 取空值表示查询plan_summary为空的会话。也可指定执行计划,例如:COLLSCAN IXSCAN FETCH SORT LIMIT SKIP COUNT COUNT_SCAN TEXT PROJECTION等。 默认取值: 不涉及。 type String 否 参数解释: 操作类型。 约束限制: 不涉及。 取值范围: 取空值表示查询type为空的会话。也可指定操作类型,例如:none update insert query command getmore remove killcursors等。 默认取值: 不涉及。 namespace String 否 参数解释: 命名空间。 约束限制: 取空值表示查询namespace为空的会话,也可根据当前业务进行指定。 取值范围: 不涉及。 默认取值: 不涉及。 cost_time Integer 否 参数解释: 运行时间,单位为us。 约束限制: 取空值表示查询cost_time为空的会话,也可根据当前业务需要进行配置,表示查询超出cost_time 的会话。 取值范围: 不涉及。 默认取值: 不涉及。
  • 响应参数 参数说明 表3 响应Body参数 参数 参数类型 是否必选 描述 total_count Integer 是 参数解释: 总记录数。 取值范围: 不涉及。 sessions Array of objects 是 参数解释: 具体信息。详情请参见表 QuerySessionResponse。 取值范围: 不涉及。 表4 session字段数据结构说明 参数 参数类型 描述 id String 参数解释: 会话ID。 取值范围: 不涉及。 active Boolean 参数解释: 当前会话是否活跃。取值为“true”,表示活跃。取值为“false”,表示不活跃。 取值范围: 不涉及。 operation String 参数解释: 操作。 取值范围: 不涉及。 type String 参数解释: 操作类型。 取值范围: 不涉及。 cost_time String 参数解释: 运行时间,单位为us。 取值范围: 不涉及。 plan_summary String 参数解释: 执行计划描述。 取值范围: 不涉及。 host String 参数解释: 主机。 取值范围: 不涉及。 client String 参数解释: 客户端地址。 取值范围: 不涉及。 description String 参数解释: 连接描述。 取值范围: 不涉及。 namespace String 参数解释: 命名空间。 取值范围: 不涉及。 db String 参数解释: 正在操作的数据库名称。 取值范围: 不涉及。 user String 参数解释: 用户名称。 取值范围: 不涉及。
  • 分片设计规范 对于使用DDS分片集群,建议尽可能地使用分片集合以充分利用性能,详情请参见设置数据分片以充分利用分片性能。 分片集合使用上建议如下: 对于大数据量(数据量过百万),并有较高读写请求的业务场景,数据量随着业务量增大而增大的,建议采用分片。 对于采用hash分片的集合,需要根据业务后面实际数据量大小,采用预分片,提前预置chunk数量,减少自动均衡和分裂对业务运行造成影响。 对于非空集合开启分片,应将均衡器的开启时间窗放在业务空闲时,避免分片间均衡数据与业务冲突影响性能。设置时间窗口的API接口详情请参见设置集群均衡活动时间窗。 需要基于分片键排序查询且增加数据时可以分布均匀建议使用范围分片,其他使用哈希分片。 合理设计shard key,防止出现大量的数据使用相同shard key,导致出现jumbo chunk。 使用分片集群,执行dropDatabase后,一定要执行flushRouterConfig命令,详情请参见如何规避dds mongos路由缓存缺陷。 需要注意,对已有数据分片后,如果update请求的filter中未携带片键字段并且选项upsert:true或者multi:false,那么update 请求会报错,并返回“An upsert on a sharded collection must contain the shard key and have the simple collation.”
  • 使用须知 账户余额大于等于0元,才可恢复到新实例。 目前4.0及以上版本的集群实例支持恢复到指定受限时间点。 开启自动备份策略和增量备份策略后,才允许恢复到指定受限时间点。 目前支持恢复到新实例和当前实例。 为了数据的安全性,增备恢复到指定时间点屏蔽了dropDatabase的操作。因此恢复后可能会存在残留空的库或view,用户可自行删除。 受限场景:rename操作,collmod操作,创建用户,删除用户,创建角色,删除角色,打开集群Shard ip,修改集群Shard ip密码,打开集群Config ip,修改集群Config ip密码,修改rwuser账号密码。当发生受限场景时,增备会停止,待下一次自动全备后,增备重启继续。 当全备和增备的时间窗发生重叠时,会优先保证全备任务的完成,因此对增备流程进行限制,使得小部分的恢复时间段不在可恢复时间窗中。 当oplog增量大于250GB/h(或75MB/s)的流量时,增量备份速度可能会无法跟上oplog操作日志产生速度,概率出现部分恢复时间点不可选的问题。
  • 权限配置 如果您使用的是IAM用户,在使用存储空间自动扩容功能前需要配置DDS服务和IAM服务相应的权限。具体操作如下: 配置DDS服务的“DDS FullAccess”权限。 配置IAM服务的细粒度权限。 在IAM控制台配置如下IAM权限策略,具体操作请参见创建自定义策略。 { "Version":"1.1", "Statement":[ { "Effect":"Allow", "Action":[ "iam:permissions:listRolesForAgencyOnProject", "iam:permissions:grantRoleToGroupOnProject", "iam:agencies:createAgency", "iam:agencies:listAgencies", "iam:roles:listRoles", "iam:roles:createRole" ] } ] } 创建用户组并授权 您可以在IAM控制台创建用户组,并授予该用户组2中创建的自定义权限和Security Administrator系统角色。 将用户加入用户组 以主账号或者具有IAM权限的IAM用户登录控制台,将需要设置存储空间自动扩容的实例所属的IAM用户,加入2中创建的用户组,此时该IAM用户享有该用户组配置的权限。