表格存储服务 CLOUDTABLE-Doris集群支持的监控指标:BE节点支持的监控指标

时间:2024-04-30 09:06:02

BE节点支持的监控指标

BE节点监控指标如表2所示。

表2 BE节点支持的监控指标

指标名称

显示名称

含义

取值范围

监控周期(原始指标)

doris_be_active_scan_context_count

由外部直接打开的scanner的个数

-

≥0

60s

doris_be_add_batch_task_queue_size

接收batch的线程池的队列大小

-

≥0

60s

doris_be_brpc_endpoint_stub_count

已创建的brpc stub的数量(BE)

这些stub用于BE之间的交互

≥0

60s

doris_be_brpc_function_endpoint_stub_count

已创建的brpc stub的数量(Remote RPC)

这些stub用于和Remote RPC之间交互

≥0

60s

doris_be_cache_usage_LastestSuccessChannelCache

LRU ChannelCache使用率

LRU DataPageCache使用率

[0%,100%]

60s

doris_be_cache_usage_ratio_DataPageCache

LRU DataPageCache使用率

-

[0%,100%]

60s

doris_be_cache_usage_ratio_IndexPageCache

LRU IndexPageCache使用率

-

[0%,100%]

60s

doris_be_cache_usage_ratio_SegmentCache

LRU SegmentCache使用率

-

[0%,100%]

60s

doris_be_cache_hit_ratio_DataPageCache

LRU DataPageCache命中率

数据Cache,直接影响查询效率

[0%,100%]

60s

doris_be_cache_hit_ratio_IndexPageCache

LRU IndexPageCache命中率

索引Cache,直接影响查询效率

[0%,100%]

60s

doris_be_cache_hit_ratio_LastestSuccessChannelCache

LRU ChannelCache命中率

-

[0%,100%]

60s

doris_be_cache_hit_ratio_SegmentCache

LRU SegmentCache命中率

-

[0%,100%]

60s

doris_be_chunk_pool_local_core_alloc_count

ChunkAllocator中,从绑定的core的内存队列中分配内存的次数

-

≥0

60s

doris_be_chunk_pool_other_core_alloc_count

ChunkAllocator中,从其他的core的内存队列中分配内存的次数

-

≥0

60s

doris_be_chunk_pool_reserved_bytes

ChunkAllocator中预留的内存大小

-

≥0 Byte

60s

doris_be_chunk_pool_system_alloc_cost_ns

SystemAllocator申请内存的耗时

累计值,通过斜率可以观测内存分配的耗时

≥0 ns

60s

doris_be_chunk_pool_system_alloc_count

SystemAllocator申请内存的次数

-

≥0

60s

doris_be_chunk_pool_system_free_cost_ns

SystemAllocator释放内存的耗时累计值

通过斜率可以观测内存释放的耗时

≥0 ns

60s

doris_be_chunk_pool_system_free_count

SystemAllocator释放内存的次数

-

≥0

60s

doris_be_compaction_bytes_total_base

Base Compaction的数据量

累计值

≥0 Byte

60s

doris_be_compaction_bytes_total_cumulative

Cumulative Compaction的数据量

累计值

≥0

60s

doris_be_compaction_deltas_total_base

Base Compaction处理的rowset个数

累计值

≥0

60s

doris_be_compaction_deltas_total_cumulative

Cumulative Compaction处理的rowset个数

累计值

≥0

60s

doris_be_compaction_waitting_permits

正在等待Compaction令牌的数量

-

≥0

60s

doris_be_data_stream_receiver_count

数据接收端Receiver的数量

-

≥0

60s

doris_be_data_stream_receiver_count

数据接收端Receiver的数量

同doris_be_data_stream_receiver_count

≥0

60s

doris_be_fragment_request_duration_us

所有fragment intance的执行时间

累计值,通过斜率观测 instance 的执行耗时

≥0 us

60s

doris_be_fragment_requests_total

执行过的fragment instance的数量

累计值

≥0

60s

doris_be_load_channel_count

当前打开的load channel个数

数值越大,说明当前正在执行的导入任务越多

≥0

60s

doris_be_mem_consumption_tablet_meta

tablet_meta模块的当前总内存开销

-

≥0

60s

doris_be_mem_consumption_load

load模块的当前总内存开销

-

≥0 Byte

60s

doris_be_memory_allocated_bytes

TcMalloc占用的虚拟内存的大小

-

≥0 Byte

60s

doris_be_memory_pool_bytes_total

所有MemPool当前占用的内存大小

-

≥0 Byte

60s

doris_be_memtable_flush_duration_us

memtable写入磁盘的耗时

累计值,通过斜率可以观测写入延迟

≥0 us

60s

doris_be_memtable_flush_total

memtable写入磁盘的个数

累计值,通过斜率可以计算写入文件的频率

≥0

60s

doris_be_meta_request_duration_read

访问RocksDB中的meta的读取耗时

-

≥0 us

60s

doris_be_meta_request_duration_write

访问RocksDB中的meta的写入耗时

-

≥0 us

60s

doris_be_meta_request_total_read

访问RocksDB中的meta的读取次数

累计值

≥0

60s

doris_be_meta_request_total_write

访问RocksDB中的meta的写入次数

累计值

≥0

60s

doris_be_plan_fragment_count

当前已接收的fragment instance的数量

观测是否出现instance堆积

≥0

60s

doris_be_process_fd_num_limit_hard

BE进程的文件句柄数硬限

-

≥0

60s

doris_be_process_fd_num_limit_soft

BE进程的文件句柄数软限

-

≥0

60s

doris_be_process_fd_num_used

BE进程已使用的文件句柄数

-

≥0

60s

doris_be_process_thread_num

BE进程线程数

-

≥0

60s

doris_be_query_cache_memory_total_byte

Query Cache占用字节数

-

≥0 Byte

60s

doris_be_query_cache_partition_total_count

当前Partition Cache缓存个数

-

≥0

60s

doris_be_query_cache_sql_total_count

当前SQL Cache缓存个数

-

≥0

60s

doris_be_query_scan_bytes

读取数据量的累计值

只统计读取Olap表的数据量

≥0 Byte

60s

doris_be_query_scan_bytes_per_second

读取速率

-

≥0 Byte/s

60s

doris_be_query_scan_rows

读取行数

累计值,只统计读取Olap表的数据量,通过斜率观测查询速率

≥0

60s

doris_be_result_block_queue_count

当前查询结果缓存中的fragment instance个数

该队列仅用于被外部系统直接读取时使用

≥0

60s

doris_be_result_buffer_block_count

当前查询结果缓存中的query个数

该数值反映当前BE中有多少查询的结果正在等待FE消费

≥0

60s

doris_be_routine_load_task_count

当前正在执行的routine load task个数

-

≥0

60s

doris_be_rowset_count_generated_and_in_use

自上次启动后,新增的并且正在使用的rowset id个数

-

≥0

60s

doris_be_scanner_thread_pool_queue_size

用于OlapScanner的线程池的当前排队数量

-

≥0

60s

doris_be_segment_read_segment_read_total

读取的segment的个数

累计值

≥0

60s

doris_be_segment_read_segment_row_total

读取的segment的行数

累计值,该数值也包含了被索引过滤的行数

≥0

60s

doris_be_send_batch_thread_pool_queue_size

导入时用于发送数据包的线程池的排队个数

-

≥0

60s

doris_be_send_batch_thread_pool_thread_num

导入时用于发送数据包的线程池的线程数

-

≥0

60s

doris_be_small_file_cache_count

当前BE缓存的小文件数量

-

≥0

60s

doris_be_streaming_load_current_processing

当前正在运行的stream load任务数

仅包含curl命令发送的任务

≥0

60s

doris_be_streaming_load_duration_ms

所有stream load任务执行时间的耗时

累计值

≥0

60s

doris_be_streaming_load_requests_total

stream load任务数

累计值,通过斜率可观测任务提交频率

≥0

60s

doris_be_stream_load_pipe_count

当前stream load数据管道的个数

包括stream load和routine load任务

≥0

60s

doris_be_stream_load_load_rows

stream load最终导入的行数

包括stream load和routine load任务

≥0

60s

doris_be_stream_load_receive_bytes

stream load接收的字节数

包括stream load从http接收的数据,以及routine load从kafka 读取的数据

≥0 Byte

60s

doris_be_tablet_base_max_compaction_score

当前最大的Base Compaction Score

该数值实时变化,有可能丢失峰值数据;数值越高,表示compaction堆积越严重

≥0

60s

doris_be_tablet_cumulative_max_compaction_score

当前最大的Cumulative Compaction Score

-

≥0

60s

doris_be_thrift_connections_total_heartbeat

心跳服务的连接数

累计值

≥0

60s

doris_be_thrift_connections_total_backend

BE服务的连接数

累计值

≥0

60s

doris_be_thrift_current_connections_heartbeat

心跳服务的当前连接数

-

≥0

60s

doris_be_thrift_current_connections_backend

BE服务的当前连接数

-

≥0

60s

doris_be_timeout_canceled_fragment_count

因超时而被取消的fragment instance数量

这个值可能会被重复记录

≥0

60s

doris_be_stream_load_txn_request_begin

stream load开始事务数

包括stream load和routine load任务

≥0

60s

doris_be_stream_load_txn_request_commit

stream load执行成功的事务数

包括stream load和routine load任务

≥0

60s

doris_be_stream_load_txn_request_rollback

stream load执行失败的事务数

包括stream load和routine load任务

≥0

60s

doris_be_unused_rowsets_count

当前已废弃的rowset的个数

这些rowset正常情况下会被定期删除

≥0

60s

doris_be_load_bytes

通过tablet sink发送的数量

累计值,可观测导入数据量

≥0 Byte

60s

doris_be_load_rows

通过tablet sink发送的行数

累计值,可观测导入数据量

≥0 Byte

60s

doris_be_fragment_thread_pool_queue_size

当前查询执行线程池等待队列的长度

-

≥0

60s

doris_be_compaction_used_permits

Compaction任务已使用的令牌数量

用于反映Compaction的资源消耗量

≥0

60s

doris_be_upload_total_byte

rowset数据量累计值

-

≥0

60s

support.huaweicloud.com/usermanual-cloudtable/cloudtable_01_0220.html