华为云用户手册

  • Kibana Kibana是一个开源的数据分析与可视化平台,与Elasticsearch搜索引擎一起使用。通过Kibana可以搜索、查看存放在Elasticsearch索引中的数据,也可以实现以图表、地图等方式展示数据。Kibana的官方文档请参见:https://www.elastic.co/guide/en/kibana/current/index.html 云搜索服务 的Elasticsearch集群默认提供Kibana,无需安装部署,即可一键访问Kibana。 云搜索 服务兼容了开源Kibana可视化展现和Elasticsearch统计分析能力。 支持10余种数据呈现方式 支持近20种数据统计方式 支持时间、标签等各种维度分类
  • 高安全性 云搜索服务主要从以下几个方面保障数据和业务运行安全: 网络隔离 整个网络划分为2个平面,即业务平面和管理平面。两个平面采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。 业务平面:主要是集群的网络平面,支持为用户提供业务通道,对外提供数据定义、索引、搜索能力。 管理平面:主要是管理控制台,用于管理云搜索服务。 通过VPC或安全组专有网络来确保主机的安全。 访问控制 通过网络访问控制列表(ACL),可以允许或拒绝进入和退出各个子网的网络流量。 内部安全基础设施(包括网络防火墙、入侵检测和防护系统)可以监视通过IPsec VPN连接进入或退出VPC的所有网络流量。 支持用户认证与索引级别鉴权,支持对接第三方管理用户系统。 数据安全 在云搜索服务中,通过多副本机制保证用户的数据安全。 支持客户端与服务端通过SSL加密通信。 操作审计 通过 云审计 服务支持对关键日志与操作进行审计。
  • 审计 云审计服务(Cloud Trace Service, CTS ),是华为 云安全 解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建和配置追踪器后,CTS可记录 CSS 服务的操作事件用于审计。 CTS的详细介绍和开通配置方法,请参见CTS快速入门。 CS S服务支持云审计的操作列表请参见支持云审计的关键操作。 图1 云审计服务 在您开启了云审计服务后,系统会记录云搜索服务的相关操作,且控制台保存最近7天的操作记录。如何在云审计服务管理控制台查看最近7天的CSS服务操作记录请参见查询审计事件。
  • 产品规格 当您在云搜索服务创建集群时,系统将为您提供多种规格以满足您按需选择的要求。具体规格说明和适用场景请见表1。 表1 节点规格 CPU架构 节点规格类型 CPU内存比 适合场景 X86计算 计算密集型 1:2 CPU较强,适合高计算、要求低时延的搜索场景,比如电商,APP搜索,配合超高IO的磁盘。成本较高,相对于NVMe的本地盘集群可靠性强。 磁盘增强型 1:8 磁盘较大,本地SAS直通盘。适合存储大量数据的日志、舆情场景等场景。一般冷节点优选这种规格。 通用计算型 1:4 默认规格,使用较频繁,各种场景都能使用,如果没有特别要求,可选择该规格。 内存优化型 1:8 内存较大,优势较明显,在内存使用量较多并且对时延没有太大要求的场景可优先选择该规格,比如多聚合(filedata堆内)、排序、列式存储格式DocValue(系统堆外内存)等场景。 超高IO型 1:8 NVMe接口的本地SSD盘,相比磁盘增强型,数据盘较小。适合对时延要求高,写入压力大的场景,比如电商、APP搜索,性能比SSD云盘更好。存在本地盘有崩溃的风险,需要开启副本。 鲲鹏计算 鲲鹏通用计算型 1:2 和1:4 同上X86计算型场景,相比于X86计算型,ARM性价比较高。 鲲鹏超高IO型 1:4 性价比高,NVMe SSD本地盘,价格比超高IO型便宜,并且没有太大的内存浪费。适合低时延、写入高的场景,存在本地盘有崩溃的风险,需要开启副本。
  • 内核增强 向量检索 云搜索服务的向量检索引擎支持对图像、视频、语料等非结构化数据提取的特征向量数据进行最近邻或近似近邻检索。详情请参见向量检索。 存算分离 云搜索服务提供冻结索引API,支持将存储在SSD的热数据转储到OBS中以降低数据的存储成本,实现存算分离。详情请参见存算分离。 流量控制 云搜索服务支持流量控制,提供节点级别的流量控制功能,可提供单个节点基于黑白名单的访问限制、HTTPS并发连接数限制、HTTP最大连接数限制等。每个功能配置独立的控制开关。详情请参见流量控制。 大查询隔离 云搜索服务的大查询隔离特性支持对查询请求进行独立管理,将高内存、长耗时的查询请求进行隔离,保证节点内存安全。详情请参见大查询隔离。 索引监控 云搜索服务的索引监控特性提供了丰富的监控指标,用以监控集群索引的运行状况和变化趋势,衡量业务使用情况,同时可以针对可能存在的风险及时处理,保障集群的稳定运行。详情请参见索引监控。 集群监控增强 云搜索服务支持集群监控增强,支持对集群Search请求的P99时延进行监控、对集群HTTP状态码进行监控等。详情请参见集群监控增强。
  • 高可靠性 支持用户手动触发以及定时触发的快照备份,支持恢复到本集群以及其他集群的能力,通过快照恢复支持集群的数据迁移。详情请参见备份与恢复。 自动备份(备份快照) 云搜索服务提供备份功能,可以在控制台的备份恢复界面开启自动备份功能,并根据实际业务需要设置备份周期。 自动备份是将集群的索引数据进行备份。索引的备份是通过创建集群快照实现,第一次备份时,建议将所有索引数据进行备份。 云搜索服务支持将ES实例的快照数据保存到对象存储(OBS)服务中,借助OBS的跨region复制功能,可实现数据的跨region备份。 恢复数据(恢复快照) 当数据发生丢失或者想找回某一时间段数据时,可以在“集群快照”界面上单击“恢复”功能,将已有的快照,通过恢复快照功能,将备份的索引数据恢复到指定的集群中,可以快速获得数据。
  • 责任共担 华为云秉承“将公司对网络和业务安全性保障的责任置于公司的商业利益之上”。针对层出不穷的云安全挑战和无孔不入的云安全威胁与攻击,华为云在遵从法律法规业界标准的基础上,以安全生态圈为护城河,依托华为独有的软硬件优势,构建面向不同区域和行业的完善云服务安全保障体系。 安全性是华为云与您的共同责任,如图1所示。 华为云:负责云服务自身的安全,提供安全的云。华为云的安全责任在于保障其所提供的IaaS、PaaS和SaaS类云服务自身的安全,涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身,也包括运维运营安全,以及更广义的安全合规遵从。 租户:负责云服务内部的安全,安全地使用云。华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类云服务内部的安全以及对租户定制配置进行安全有效的管理,包括但不限于虚拟网络、 虚拟主机 和访客虚拟机的操作系统,虚拟防火墙、API网关和高级安全服务,各项云服务,租户数据,以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思路与措施,包括云安全战略、责任共担模型、合规与隐私、安全组织与人员、基础设施安全、租户服务与租户安全、工程安全、运维运营安全、生态安全。 图1 华为云安全责任共担模型 父主题: 安全
  • 性能说明 通过Elasticsearch官方提供的benchmark脚本rally1.0.0,对云搜索服务的集群(版本:7.6.2) 进行性能测试。 本次测试采用官方提供的geonames,大小3.2G,11396505个doc。索引采用6个shard(默认为5个)。性能指标说明可以参考官方文档https://esrally.readthedocs.io/en/stable/summary_report.html#summary-report。 节点规格为ess.spec-4u16g、节点数为3的集群性能测试结果如下。 Metric Task Value Unit Cumulative indexing time of primary shards - 11.95073333 min Min cumulative indexing time across primary shards - 0 min Median cumulative indexing time across primary shards - 2.339941667 min Max cumulative indexing time across primary shards - 2.470116667 min Cumulative indexing throttle time of primary shards - 0 min Min cumulative indexing throttle time across primary shards - 0 min Median cumulative indexing throttle time across primary shards - 0 min Max cumulative indexing throttle time across primary shards - 0 min Cumulative merge time of primary shards - 4.21495 min Cumulative merge count of primary shards - 65 - Min cumulative merge time across primary shards - 0 min Median cumulative merge time across primary shards - 0.813216667 min Max cumulative merge time across primary shards - 0.974483333 min Cumulative merge throttle time of primary shards - 0.83345 min Min cumulative merge throttle time across primary shards - 0 min Median cumulative merge throttle time across primary shards - 0.157775 min Max cumulative merge throttle time across primary shards - 0.24605 min Cumulative refresh time of primary shards - 2.164983333 min Cumulative refresh count of primary shards - 291 - Min cumulative refresh time across primary shards - 0 min Median cumulative refresh time across primary shards - 0.425391667 min Max cumulative refresh time across primary shards - 0.450516667 min Cumulative flush time of primary shards - 0.1559 min Cumulative flush count of primary shards - 11 - Min cumulative flush time across primary shards - 0 min Median cumulative flush time across primary shards - 0.0248 min Max cumulative flush time across primary shards - 0.043433333 min Total Young Gen GC - 6.421 s Total Old Gen GC - 0 s Store size - 3.124213032 GB Translog size - 2.790678718 GB Heap used for segments - 15.03110981 MB Heap used for doc values - 0.043689728 MB Heap used for terms - 13.85075188 MB Heap used for norms - 0.077697754 MB Heap used for points - 0.266856194 MB Heap used for stored fields - 0.792114258 MB Segment count - 99 - Min Throughput index-append 92446.94 docs/s Median Throughput index-append 92935.55 docs/s Max Throughput index-append 93217.68 docs/s 50th percentile latency index-append 176.7329985 ms 90th percentile latency index-append 285.5450693 ms 100th percentile latency index-append 333.228537 ms 50th percentile service time index-append 176.7329985 ms 90th percentile service time index-append 285.5450693 ms 100th percentile service time index-append 333.228537 ms error rate index-append 0 % Min Throughput index-stats 90.04 ops/s Median Throughput index-stats 90.06 ops/s Max Throughput index-stats 90.11 ops/s 50th percentile latency index-stats 3.6713165 ms 90th percentile latency index-stats 3.919960223 ms 99th percentile latency index-stats 4.500246093 ms 99.9th percentile latency index-stats 20.14171663 ms 100th percentile latency index-stats 21.36778278 ms 50th percentile service time index-stats 3.604376499 ms 90th percentile service time index-stats 3.8517339 ms 99th percentile service time index-stats 4.36148177 ms 99.9th percentile service time index-stats 20.0748024 ms 100th percentile service time index-stats 21.300971 ms error rate index-stats 0 % Min Throughput node-stats 90.05 ops/s Median Throughput node-stats 90.09 ops/s Max Throughput node-stats 90.32 ops/s 50th percentile latency node-stats 4.056046 ms 90th percentile latency node-stats 4.256959922 ms 99th percentile latency node-stats 7.993649534 ms 99.9th percentile latency node-stats 15.0162469 ms 100th percentile latency node-stats 18.79192022 ms 50th percentile service time node-stats 3.989104 ms 90th percentile service time node-stats 4.1902188 ms 99th percentile service time node-stats 7.39785926 ms 99.9th percentile service time node-stats 14.95028028 ms 100th percentile service time node-stats 15.226284 ms error rate node-stats 0 % Min Throughput default 50.03 ops/s Median Throughput default 50.04 ops/s Max Throughput default 50.09 ops/s 50th percentile latency default 2.890284501 ms 90th percentile latency default 3.054330301 ms 99th percentile latency default 3.41013575 ms 99.9th percentile latency default 4.536945459 ms 100th percentile latency default 5.063877001 ms 50th percentile service time default 2.82345 ms 90th percentile service time default 2.987489999 ms 99th percentile service time default 3.34539951 ms 99.9th percentile service time default 4.466092296 ms 100th percentile service time default 4.996857 ms error rate default 0 % Min Throughput term 150.06 ops/s Median Throughput term 150.09 ops/s Max Throughput term 150.14 ops/s 50th percentile latency term 2.822069666 ms 90th percentile latency term 2.927460233 ms 99th percentile latency term 3.585279107 ms 99.9th percentile latency term 9.586351776 ms 100th percentile latency term 13.36534567 ms 50th percentile service time term 2.755832 ms 90th percentile service time term 2.8613018 ms 99th percentile service time term 3.4037467 ms 99.9th percentile service time term 4.571924473 ms 100th percentile service time term 13.301659 ms error rate term 0 % Min Throughput phrase 149.99 ops/s Median Throughput phrase 150.07 ops/s Max Throughput phrase 150.13 ops/s 50th percentile latency phrase 3.207932333 ms 90th percentile latency phrase 3.514073 ms 99th percentile latency phrase 26.65015757 ms 99.9th percentile latency phrase 38.92041855 ms 100th percentile latency phrase 40.044182 ms 50th percentile service time phrase 3.1409695 ms 90th percentile service time phrase 3.3666699 ms 99th percentile service time phrase 9.39342965 ms 99.9th percentile service time phrase 18.80974216 ms 100th percentile service time phrase 21.417291 ms error rate phrase 0 % Min Throughput country_agg_uncached 4.01 ops/s Median Throughput country_agg_uncached 4.01 ops/s Max Throughput country_agg_uncached 4.01 ops/s 50th percentile latency country_agg_uncached 153.726532 ms 90th percentile latency country_agg_uncached 156.0977097 ms 99th percentile latency country_agg_uncached 167.696362 ms 100th percentile latency country_agg_uncached 198.43754 ms 50th percentile service time country_agg_uncached 153.606521 ms 90th percentile service time country_agg_uncached 155.9869715 ms 99th percentile service time country_agg_uncached 167.5793267 ms 100th percentile service time country_agg_uncached 198.325432 ms error rate country_agg_uncached 0 % Min Throughput country_agg_cached 100.04 ops/s Median Throughput country_agg_cached 100.05 ops/s Max Throughput country_agg_cached 100.07 ops/s 50th percentile latency country_agg_cached 2.7020445 ms 90th percentile latency country_agg_cached 2.783604899 ms 99th percentile latency country_agg_cached 3.03382523 ms 99.9th percentile latency country_agg_cached 3.635769276 ms 100th percentile latency country_agg_cached 4.106574 ms 50th percentile service time country_agg_cached 2.6356045 ms 90th percentile service time country_agg_cached 2.717349899 ms 99th percentile service time country_agg_cached 2.93948264 ms 99.9th percentile service time country_agg_cached 3.567144201 ms 100th percentile service time country_agg_cached 4.039871999 ms error rate country_agg_cached 0 % Min Throughput scroll 20.04 pages/s Median Throughput scroll 20.05 pages/s Max Throughput scroll 20.07 pages/s 50th percentile latency scroll 421.9468245 ms 90th percentile latency scroll 433.3017323 ms 99th percentile latency scroll 450.0724775 ms 100th percentile latency scroll 505.502723 ms 50th percentile service time scroll 421.0948965 ms 90th percentile service time scroll 432.4389587 ms 99th percentile service time scroll 449.2045264 ms 100th percentile service time scroll 504.653479 ms error rate scroll 0 % Min Throughput expression 2 ops/s Median Throughput expression 2 ops/s Max Throughput expression 2 ops/s 50th percentile latency expression 270.920167 ms 90th percentile latency expression 277.4334041 ms 99th percentile latency expression 286.5631326 ms 100th percentile latency expression 293.09254 ms 50th percentile service time expression 270.662187 ms 90th percentile service time expression 277.1779957 ms 99th percentile service time expression 286.3073191 ms 100th percentile service time expression 292.826178 ms error rate expression 0 % Min Throughput painless_static 1.5 ops/s Median Throughput painless_static 1.5 ops/s Max Throughput painless_static 1.5 ops/s 50th percentile latency painless_static 360.9218617 ms 90th percentile latency painless_static 368.2584616 ms 99th percentile latency painless_static 382.3877013 ms 100th percentile latency painless_static 425.989704 ms 50th percentile service time painless_static 360.5910995 ms 90th percentile service time painless_static 367.9205895 ms 99th percentile service time painless_static 382.0613883 ms 100th percentile service time painless_static 425.659728 ms error rate painless_static 0 % Min Throughput painless_dynamic 1.5 ops/s Median Throughput painless_dynamic 1.5 ops/s Max Throughput painless_dynamic 1.5 ops/s 50th percentile latency painless_dynamic 354.4270103 ms 90th percentile latency painless_dynamic 362.9108269 ms 99th percentile latency painless_dynamic 409.7732626 ms 100th percentile latency painless_dynamic 410.1049017 ms 50th percentile service time painless_dynamic 354.0901565 ms 90th percentile service time painless_dynamic 362.5730453 ms 99th percentile service time painless_dynamic 409.4442952 ms 100th percentile service time painless_dynamic 409.777646 ms error rate painless_dynamic 0 % Min Throughput decay_geo_gauss_function_score 1 ops/s Median Throughput decay_geo_gauss_function_score 1 ops/s Max Throughput decay_geo_gauss_function_score 1 ops/s 50th percentile latency decay_geo_gauss_function_score 354.387216 ms 90th percentile latency decay_geo_gauss_function_score 358.9124798 ms 99th percentile latency decay_geo_gauss_function_score 363.9485787 ms 100th percentile latency decay_geo_gauss_function_score 371.780245 ms 50th percentile service time decay_geo_gauss_function_score 353.7158425 ms 90th percentile service time decay_geo_gauss_function_score 358.2845019 ms 99th percentile service time decay_geo_gauss_function_score 363.275623 ms 100th percentile service time decay_geo_gauss_function_score 371.114045 ms error rate decay_geo_gauss_function_score 0 % Min Throughput decay_geo_gauss_script_score 1 ops/s Median Throughput decay_geo_gauss_script_score 1 ops/s Max Throughput decay_geo_gauss_script_score 1 ops/s 50th percentile latency decay_geo_gauss_script_score 379.4620745 ms 90th percentile latency decay_geo_gauss_script_score 383.2876548 ms 99th percentile latency decay_geo_gauss_script_score 389.7544834 ms 100th percentile latency decay_geo_gauss_script_score 395.75293 ms 50th percentile service time decay_geo_gauss_script_score 378.8137045 ms 90th percentile service time decay_geo_gauss_script_score 382.6389076 ms 99th percentile service time decay_geo_gauss_script_score 389.1097136 ms 100th percentile service time decay_geo_gauss_script_score 395.100654 ms error rate decay_geo_gauss_script_score 0 % Min Throughput field_value_function_score 1.5 ops/s Median Throughput field_value_function_score 1.5 ops/s Max Throughput field_value_function_score 1.51 ops/s 50th percentile latency field_value_function_score 142.4418055 ms 90th percentile latency field_value_function_score 146.0292471 ms 99th percentile latency field_value_function_score 149.4448299 ms 100th percentile latency field_value_function_score 154.4188467 ms 50th percentile service time field_value_function_score 141.8792295 ms 90th percentile service time field_value_function_score 145.4722711 ms 99th percentile service time field_value_function_score 148.8731825 ms 100th percentile service time field_value_function_score 153.87006 ms error rate field_value_function_score 0 % Min Throughput field_value_script_score 1.5 ops/s Median Throughput field_value_script_score 1.5 ops/s Max Throughput field_value_script_score 1.51 ops/s 50th percentile latency field_value_script_score 200.310233 ms 90th percentile latency field_value_script_score 206.2690364 ms 99th percentile latency field_value_script_score 216.7453505 ms 100th percentile latency field_value_script_score 252.6694313 ms 50th percentile service time field_value_script_score 199.886616 ms 90th percentile service time field_value_script_score 205.7897592 ms 99th percentile service time field_value_script_score 216.2602712 ms 100th percentile service time field_value_script_score 252.180659 ms error rate field_value_script_score 0 % Min Throughput random_function_score 1.5 ops/s Median Throughput random_function_score 1.5 ops/s Max Throughput random_function_score 1.5 ops/s 50th percentile latency random_function_score 242.6018717 ms 90th percentile latency random_function_score 251.1366288 ms 99th percentile latency random_function_score 290.9842466 ms 100th percentile latency random_function_score 307.5584597 ms 50th percentile service time random_function_score 242.149128 ms 90th percentile service time random_function_score 250.6830153 ms 99th percentile service time random_function_score 290.5378949 ms 100th percentile service time random_function_score 307.111375 ms error rate random_function_score 0 % Min Throughput random_script_score 1.5 ops/s Median Throughput random_script_score 1.5 ops/s Max Throughput random_script_score 1.5 ops/s 50th percentile latency random_script_score 258.3288777 ms 90th percentile latency random_script_score 262.5996219 ms 99th percentile latency random_script_score 276.7350459 ms 100th percentile latency random_script_score 278.8234443 ms 50th percentile service time random_script_score 257.8902625 ms 90th percentile service time random_script_score 262.1680452 ms 99th percentile service time random_script_score 276.3056912 ms 100th percentile service time random_script_score 278.384714 ms error rate random_script_score 0 % Min Throughput large_terms 1.5 ops/s Median Throughput large_terms 1.5 ops/s Max Throughput large_terms 1.5 ops/s 50th percentile latency large_terms 429.023917 ms 90th percentile latency large_terms 438.5573247 ms 99th percentile latency large_terms 468.2661402 ms 100th percentile latency large_terms 494.4412297 ms 50th percentile service time large_terms 428.772941 ms 90th percentile service time large_terms 438.29435 ms 99th percentile service time large_terms 468.0068679 ms 100th percentile service time large_terms 494.168992 ms error rate large_terms 0 % Min Throughput large_filtered_terms 1.5 ops/s Median Throughput large_filtered_terms 1.5 ops/s Max Throughput large_filtered_terms 1.5 ops/s 50th percentile latency large_filtered_terms 433.0397738 ms 90th percentile latency large_filtered_terms 443.241508 ms 99th percentile latency large_filtered_terms 460.8045067 ms 100th percentile latency large_filtered_terms 486.396965 ms 50th percentile service time large_filtered_terms 432.7802525 ms 90th percentile service time large_filtered_terms 442.9739873 ms 99th percentile service time large_filtered_terms 460.7444745 ms 100th percentile service time large_filtered_terms 486.145846 ms error rate large_filtered_terms 0 % Min Throughput large_prohibited_terms 1.5 ops/s Median Throughput large_prohibited_terms 1.5 ops/s Max Throughput large_prohibited_terms 1.5 ops/s 50th percentile latency large_prohibited_terms 430.1467708 ms 90th percentile latency large_prohibited_terms 436.8730103 ms 99th percentile latency large_prohibited_terms 484.5697929 ms 100th percentile latency large_prohibited_terms 492.75088 ms 50th percentile service time large_prohibited_terms 429.8833325 ms 90th percentile service time large_prohibited_terms 436.6196592 ms 99th percentile service time large_prohibited_terms 484.3087876 ms 100th percentile service time large_prohibited_terms 492.492977 ms error rate large_prohibited_terms 0 % Min Throughput desc_sort_population 1.5 ops/s Median Throughput desc_sort_population 1.51 ops/s Max Throughput desc_sort_population 1.51 ops/s 50th percentile latency desc_sort_population 45.9402765 ms 90th percentile latency desc_sort_population 49.01190953 ms 99th percentile latency desc_sort_population 58.5120831 ms 100th percentile latency desc_sort_population 60.027354 ms 50th percentile service time desc_sort_population 45.2962825 ms 90th percentile service time desc_sort_population 48.3757462 ms 99th percentile service time desc_sort_population 57.86711494 ms 100th percentile service time desc_sort_population 59.377354 ms error rate desc_sort_population 0 % Min Throughput asc_sort_population 1.5 ops/s Median Throughput asc_sort_population 1.51 ops/s Max Throughput asc_sort_population 1.51 ops/s 50th percentile latency asc_sort_population 46.02105783 ms 90th percentile latency asc_sort_population 48.79212977 ms 99th percentile latency asc_sort_population 55.94577758 ms 100th percentile latency asc_sort_population 72.898199 ms 50th percentile service time asc_sort_population 45.37886 ms 90th percentile service time asc_sort_population 48.1426418 ms 99th percentile service time asc_sort_population 55.30153109 ms 100th percentile service time asc_sort_population 72.260339 ms error rate asc_sort_population 0 % Min Throughput desc_sort_geonameid 1.5 ops/s Median Throughput desc_sort_geonameid 1.51 ops/s Max Throughput desc_sort_geonameid 1.51 ops/s 50th percentile latency desc_sort_geonameid 52.22274167 ms 90th percentile latency desc_sort_geonameid 69.4325779 ms 99th percentile latency desc_sort_geonameid 79.57920996 ms 100th percentile latency desc_sort_geonameid 80.11872267 ms 50th percentile service time desc_sort_geonameid 51.6055115 ms 90th percentile service time desc_sort_geonameid 68.801679 ms 99th percentile service time desc_sort_geonameid 79.41158055 ms 100th percentile service time desc_sort_geonameid 79.465491 ms error rate desc_sort_geonameid 0 % Min Throughput asc_sort_geonameid 1.5 ops/s Median Throughput asc_sort_geonameid 1.51 ops/s Max Throughput asc_sort_geonameid 1.51 ops/s 50th percentile latency asc_sort_geonameid 51.35154333 ms 90th percentile latency asc_sort_geonameid 52.2966503 ms 99th percentile latency asc_sort_geonameid 55.33079961 ms 100th percentile latency asc_sort_geonameid 55.520544 ms 50th percentile service time asc_sort_geonameid 50.7138335 ms 90th percentile service time asc_sort_geonameid 51.6588923 ms 99th percentile service time asc_sort_geonameid 54.68967127 ms 100th percentile service time asc_sort_geonameid 54.874135 ms error rate asc_sort_geonameid 0 %
  • Elasticsearch集群版本特性差异 表1 Elasticsearch集群版本特性 版本特性 5.x版本 6.x版本 7.x版本 多type支持情况 一个index里面支持包含多个type,每个type名称可以自定义。 一个index里面只支持有一个type,type名称可以自定义。 一个index里面只支持有一个type,type名称是固定的,_doc不能自定义。 客户端接入 支持TransportClient,可以同时使用tcp和http进行连接请求。 支持TransportClient,可以同时使用tcp和http进行连接请求。建议使用Java High Level REST Client。 只支持RestClient,只支持使用http进行连接请求。建议使用Java High Level REST Client。 Elasticsearch 5.x版本使用TransportClient接入Elasticsearch集群的样例: // 初始化客户端,连接9300端口TransportClient client = new PreBuiltTransportClient(Settings.EMPTY) .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("host1"), 9300)) .addTransportAddress(new InetSocketTransportAddress(InetAddress.getByName("host2"), 9300));// 关闭客户端client.close(); Elasticsearch 6.x版本、7.x版本中使用Java High Level REST Client接入集群的样例: // 初始化客户端,连接9200端口RestHighLevelClient client = new RestHighLevelClient( RestClient.builder( new HttpHost("localhost", 9200, "http"), new HttpHost("localhost", 9201, "http")));// 关闭客户端client.close(); 模板配置 Elasticsearch 5.x版本中创建模板使用的是template字段。 Elasticsearch 5.x版本样例: PUT _template/template_1{ "template": "te*", "settings": { "number_of_shards": 1 }} Elasticsearch 6.x及以上版本开始使用index_pattern字段。 Elasticsearch 6.x及以上版本样例: PUT _template/template_1{ "index_patterns": ["te*"], "settings": { "number_of_shards": 1 }} boolean类型解析变化 在Elasticsearch 5.x版本中,true、false、on、off、yes、no、0和1的值都可以被解析成boolean。 Elasticsearch 6.x及以上版本只接受true/false,其他值会发生异常错误。 以下语句在Elasticsearch 5.x版本不会报错,在Elasticsearch 6.x/7.x版本会直接报错: GET data1/_search{ "profile": "noprofile", "query": { "match_all": {} }} JSON格式校验 Elasticsearch 5.x中允许JSON中存在重复的key,后台会自动去掉。 Elasticsearch 6.x及以上版本不允许JSON存在重复的key,会直接报解析错误。 以下语句在Elasticsearch 5.x版本不会报错,在Elasticsearch 6.x/7.x版本中会报错: POST data1/doc{ "isl": 0, "isl": 1} DELETE文档变化 Elasticsearch 5.x中,执行DELETE index1/doc/1,如果index1不存在,会将index1创建出来。 Elasticsearch 6.x及以上版本,如果执行删除文档的索引不存在,会报错索引不存在。 _alias API校验 Elasticsearch 5.x中,_alias API允许在index字段中指定为别名,能正常解析。 类似的,Elasticsearch 5.x版本中允许使用别名删除一个索引。 Elasticsearch 6.x版本中,_alias API中的index字段只能指定为索引名,不允许是别名。 Elasticsearch 6.x版本中不再允许,必须使用索引名进行删除。 如以下示例,在Elasticsearch 5.x版本中能正常工作,但是在Elasticsearch 6.x版本/7.x版本中会报错。 PUT log-2023.11.11POST _aliases{ "actions": [ { "add": { "index": "log-2023.11.11", "alias": "log" } } ]}POST _aliases{ "actions": [ { "remove": { "index": "log", "alias": "log" } } ]} 报错信息: { "error" : { "root_cause" : [ { "type" : "illegal_argument_exception", "reason" : "The provided expression [log] matches an alias, specify the corresponding concrete indices instead." } ], "type" : "illegal_argument_exception", "reason" : "The provided expression [log] matches an alias, specify the corresponding concrete indices instead." }, "status" : 400} 默认配置变化 新建索引默认分片数为5。 新建索引默认分片数为1。 默认routing变化 Elasticsearch 5.x版本/6.x版本使用以下公式计算文档应该落在哪个shard。 shard_num = hash(_routing) % num_of_primary_shards Elasticsearch 7.x版本使用以下公式计算文档应该落在哪个shard。 routing_factor = num_routing_shards / num_primary_shards shard_num = (hash(_routing) % num_routing_shards) / routing_factor 其中num_routing_shards可以由以下配置指定。 index.number_of_routing_shards 如果不显式指定,则Elasticsearch会自动计算该值,以达到对索引进行split的能力。 Refresh时机变化 默认定期每秒钟执行refresh。 Elasticsearch 7.x版本中如果没有显式的指定index.refresh_interval,并且索引长时间没有search请求,这里的长时间是由配置index.search.idle.after指定,默认30秒,Elasticsearch就不会再定期的进行refresh,而是等到有新的search请求进来时再进行refresh,这时候进行的search请求会等待,直到下一轮refresh完成才进行检索并返回,所以第一次search请求一般耗时会相对较长。 父熔断器变化 父熔断器是在多个子熔断器中内存统计之和超限的情况下触发,超限阈值为70%。 父熔断器会在堆内存超限的情况下触发,默认超限阈值为95%。 Field Data熔断器阈值变化 Field Data熔断器超限阈值indices.breaker.fielddata.limit默认为60%。 Field Data熔断器超限阈值indices.breaker.fielddata.limit默认为40%。 _all字段支持情况 支持_all字段。 _all字段被废弃。 已删除_all字段,不再支持。 search API返回中hits.total Elasticsearch 5.x版本/6.x版本中,search API返回中,hits.total为数字,表示命中条数: { "took": 0, "timed_out": false, "_shards": { "total": 5, "successful": 5, "failed": 0 }, "hits": { "total": 4, "max_score": 1, }} Elasticsearch 7.x版本中,hits.total不再是数字: { "took" : 76, "timed_out" : false, "_shards" : { "total" : 1, "successful" : 1, "skipped" : 0, "failed" : 0 }, "hits" : { "total" : { "value" : 4, "relation" : "eq" }, "max_score" : 1.0 }} 其中: value表示命中的条数。 relation表示value参数中的命中条数是否是准确值。 eq表示是准确值。 gte表示命中条数大于等于value参数。 _cache/clear API _cache/clear API支持POST/GET方式。 _cache/clear API只支持POST方式,不再支持GET方式。
  • 全场景 日志分析 云搜索服务可用于全场景日志分析,包括ELB日志、服务器日志、容器和应用日志。其中Kafka作为消息缓冲队列,用于削峰填谷,Logstash负责数据ETL,Elasticsearch负责数据检索与分析,最后由Kibana以可视化的方式呈现给用户。 性价比高:采用鲲鹏算力、冷热分离、存算分离,成本同比降低30%+。 易用性好:支持丰富的可视化查询语句与拖拽式报表。 强大的处理能力:支持每天百TB级数量入库,提供PB级以上数据处理能力。 图2 全场景日志分析场景
  • 数据库查询加速 云搜索服务可用于加速数据库查询。在电商、物流企业等有订单查询的业务场景,存在数据量大、查询并发高、吞吐大、查询延迟低的要求,关系型数据库具备较好的事务性与原子性,但其TP与AP处理能力较弱,通过将CSS作为备数据库,可提升整个系统的TP与AP处理能力。 高性能:支持文本、时间、数字、空间等数据类型;亿级数据查询毫秒级响应。 高可扩展性:支持200+数据节点,支持1000+个数据字段。 业务“0”中断:规格变更、配置更新采用滚动重启,双副本场景下业务0中断。 图3 数据库查询加速场景
  • 阶段五:基于MPC算法的高安全级别计算 完成demo验证阶段,为提升数据保护级别,接入以纯密文的状态做计算的更高安全级别的数据,可以通过开启高隐私级别开关,提升空间安全级别。 图1 高隐私级别开关 再次单击作业,审批进行的同时敏感数据被进行了秘密分享加密。DAG图显示了“psi + 秘密分享”的全过程流向,基本符合业界已公开的PSI算法流程和秘密分享流程。 图2 加密流程 图3 加密流程 父主题: 基于 TICS 实现端到端的企业积分查询作业
  • 操作步骤 执行如下的sql作业。 select c.id as `企业id`, 0.5 * a.tax_bal + 0.8 * b.supp_bal + (0.05 * c.electric_bal + 0.05 * c.water_bal) * 0.1 as `企业评分`from Partner1.TAX a, Partner1.SUPPORT b, Partner2.POWER_DATA c where b.id = c.id and a.id = b.id 审批时可以看到如下的信息,涉及关联字段较多,其使用方式都能够在审批界面中展示出来。 图1 基础信息 执行结果如下。 图2 执行结果 结果显示,TICS支持大量基础的SQL语法。 图3 SQL编写提醒
  • 操作步骤 进入多方安全计算的作业执行界面,单击创建。 图1 创建作业 在作业界面中,按照1~4提供的案例和SQL语句进行作业测试。 图2 作业界面 假设有人输入以下代码试图直接查询敏感数据。 select tax_bal, id from league_creator.tax 系统提示不支持进行敏感数据的SELECT操作。 图3 不支持敏感操作 若试图在敏感数据中追加自己的数据, 从结果倒推敏感数据,即求原数据。 Select tax_bal + electric_bal from LEAGUE_CREATOR.tax a join ZZZZZZ.power_data b on a.id = b.id TICS会识别并提示。 图4 执行失败告警 上述隐私规则,均为TICS系统提供的默认规则。
  • 操作步骤 进入TICS服务控制台。 在计算节点管理中,找到购买的计算节点,通过登录地址,进入计算节点控制台。 图1 前往计算节点 登录计算节点后,在下图所述位置新建连接器。 图2 新建连接器 输入正确的连接信息,建立数据源和计算节点之间的安全连接。 图3 输入信息 建立完成后,连接器显示正常说明连接正常。 图4 连接正常 进入数据管理,进行数据集发布。 图5 新建数据管理 填写参数信息。 图6 填写参数 重复步骤1~7,发布support资助金数据表和power_data能源表。 数据发布的过程并不会直接从数据源中导出用户数据,仅从数据源处获取了数据集相关的元数据信息,用于任务的解析、验证等。
  • 数据准备 以下数据和表结构是根据场景进行模拟的数据,并非真实数据。 以下数据需要提前存导入到MySQL\Hive\Oracle等用户所属数据源中,TICS本身不会持有这些数据,这些数据会通过用户购买的计算节点进行加密计算,保障数据安全。 政府信息提供方的数据tax和support,在用户计算节点agent_gov上发布。 能源信息提供方的数据power,在用户计算节点agent_power上发布。 表1 企业税收和资助金情况表tax 列名 含义 字段分类 Id 企业id 唯一标识 tax_bal 税收 敏感 Industry 行业类型 不敏感 表2 企业政府资助金数据表support 列名 含义 字段分类 Id 企业id 唯一标识 supp_bal 资助金的金额 敏感 Industry 行业类型 不敏感 表3 企业水电情况表power 列名 含义 字段分类 Id 企业id 唯一标识 electric_bal 电费 敏感 water_bal 水费 敏感 从业务角度考虑,安排五个阶段,来对TICS系统进行验证和测试。本章重点讲述如何端到端实现一个该场景下的隐私计算作业完整执行流程。
  • 导入数据 在第一个合作方Partner1的MySQL数据源中,通过如下的SQL语句创建数据表: CREATE TABLE tax ( id integer COMMENT '企业id' , tax_bal integer COMMENT '税收金额' , industry varchar(150) COMMENT '行业' ); CREATE TABLE support ( id integer COMMENT '企业id' , supp_bal integer COMMENT '资助金额', industry varchar(150) COMMENT '行业'); 在第二个合作方Partner2的MySQL数据源中,通过如下的SQL语句创建数据表: CREATE TABLE power ( id integer COMMENT '企业id' , electric_bal integer COMMENT '电费', water_bal integer COMMENT '水费'); 将下面的数据分别导入csv文件并上传到MySQL数据源所在服务器。 Tax表的数据如下: id,tax_bal,industry123400999,745,互联网123400998,324,其他123400997,664,其他123400996,243,金融123400995,715,互联网123400994,475,通讯123400993,526,其他123400992,272,互联网123400991,646,金融123400990,510,其他 Support表的数据如下: id,supp_bal,industry123400999,314,互联网123400998,405,其他123400997,371,其他123400996,484,金融123400995,381,互联网123400994,405,通讯123400993,292,其他123400992,503,互联网123400991,303,金融123400990,412,其他 Power表的数据如下: id,electric_bal,water_bal123400999,79,48123400998,57,70123400997,69,37123400996,50,57123400995,66,50123400994,56,55123400993,63,53123400992,45,76123400991,80,36123400990,39,63 执行如下SQL语句,将csv文件内的数据导入创建的数据表。 LOAD DATA INFILE 'csv数据文件名' INTO TABLE 表名 或者执行如下的插入语句: Tax表: insert into tax values (123400999,745,'互联网'), (123400998,324,'其他' ), (123400997,664,'其他' ), (123400996,243,'金融' ), (123400995,715,'互联网' ), (123400994,475,'通讯' ), (123400993,526,'其他'), (123400992,272,'互联网' ), (123400991,646,'金融' ), (123400990,510,'其他'); Support表: insert into support values (123400999,314,'互联网' ), (123400998,405,'其他' ), (123400997,371,'其他' ), (123400996,484,'金融' ), (123400995,381,'互联网' ), (123400994,405,'通讯' ), (123400993,292,'其他' ), (123400992,503,'互联网' ), (123400991,303,'金融' ), (123400990,412,'其他'); Power表: insert into power values (123400999,79,48), (123400998,57,70), (123400997,69,37), (123400996,50,57), (123400995,66,50 ),(123400994,56,55), (123400993,63,53), (123400992,45,76), (123400991,80,36), (123400990,39,63);
  • 处理方法 通过具有修改该流水线权限的账号登录流水线。 在流水线列表中找到目标流水线,单击操作列,选择“编辑”。 进入流水线“任务编排”页面,单击“权限管理”,检查用户的流水线权限。 图1 流水线权限 人员权限优先级高于角色权限:默认情况下,用户修改角色权限后会自动同步人员权限;如果修改人员权限,则以人员权限为准。 若“角色权限配置”中该用户所属角色没有执行权限,则为该角色添加执行权限(此操作会导致是该角色的用户,对该条流水线都具有执行权限)。 若“角色权限配置”中该用户所属角色有执行权限,则在“人员权限配置”页签,为该用户添加执行权限。
  • 为什么提交代码时会触发执行没有监听代码提交事件的流水线? 提交代码时触发执行了没有监听代码提交事件的流水线(即没有监听push事件的流水线),可能是以下原因导致: 修改并提交了合并请求的源分支代码,且该合并请求没有关闭。 在流水线上配置了合并请求时触发,且监听了更新事件。 图1 合并请求触发事件 综合上述两个条件,修改未关闭合并请求的源分支代码,且在流水线监听了合并请求的更新事件,提交代码时,会触发该合并请求的更新事件,如果该合并请求的目标分支在流水线监听范围内,则会触发执行相应的流水线。 父主题: 功能使用
  • 处理方法 可通过以下两种方法解决: 方法一 将审核人重新添加至当前项目,并为该审核人添加流水线的执行权限。 添加项目成员请参考添加CodeArts项目成员。 配置权限请参考开通并授权使用CodeArts Pipeline。 编辑流水线,单击报错的人工审核任务,进入人工审核任务配置页。 图2 配置人工审核任务 重新添加审核人,保存任务并保存流水线。 方法二 添加当前项目其他成员为审核人。 编辑流水线,单击报错的人工审核任务,进入人工审核任务配置页。 添加其他审核人,保存任务并保存流水线。
  • 如何访问虚拟私有云 通过管理控制台、基于HTTPS请求的API(Application Programming Interface)两种方式访问虚拟私有云。 管理控制台方式 管理控制台是网页形式的,您可以使用直观的界面进行相应的操作。登录管理控制台,从主页选择“虚拟私有云”。 API方式 如果用户需要将云平台上的虚拟私有云集成到第三方系统,用于二次开发,请使用API方式访问虚拟私有云,具体操作请参见《虚拟私有云API参考》。
  • 虚拟私有云产品架构 接下来,本文档将从 虚拟私有云VPC 的基本元素、VPC的网络安全、VPC的网络连接以及VPC的网络运维方面进行介绍,带您详细了解VPC的产品架构。 图1 VPC产品架构 表1 VPC的产品架构介绍 项目分类 简要说明 详细说明 VPC的基本元素 VPC是您在云上的私有网络,您可以指定VPC的IP地址范围,然后通过在VPC内划分子网来进一步细化IP地址范围。同时,您可以配置VPC内的路由表来控制网络流量走向。 不同VPC之间的网络不通,同一个VPC内的多个子网之间网络默认互通。 IP地址范围:您在创建VPC时,需要指定VPC的IP网段,支持的网段为10.0.0.0/8~24、172.16.0.0/12~24和192.168.0.0/16~24。 子网:您可以根据业务需求在VPC内划分子网,VPC内至少需要包含一个子网。实例(云服务器、云容器、云数据库等)必须部署在子网内,实例的私有IP地址从子网网段中分配。 更多信息请参见子网。 路由表:在创建VPC时,系统会为您自动创建一个默认路由表,默认路由表确保同一个VPC内的子网网络互通。您可以在默认路由表中添加路由来管控网络,如果默认路由表无法满足需求时,您还可以创建自定义路由表。 更多信息请参见路由表和路由概述。 VPC的网络安全 安全组与网络ACL(Access Control List)用于保障VPC内部署实例的安全。 安全组:对实例进行防护,您可以在安全组中设置入方向和出方向规则,将实例加入安全组内后,该实例会受到安全组的保护。 更多信息请参见安全组和安全组规则概述。 网络ACL:对整个子网进行防护,您可以在网络ACL中设置入方向和出方向规则,将子网关联至网络ACL,则子网内的所有实例都会受到网络ACL保护。 更多信息请参见网络ACL概述。 相比安全组,网络ACL的防护范围更大。当安全组和网络ACL同时存在时,流量优先匹配网络ACL规则,然后匹配安全组规则。 更多信息请参见VPC访问控制概述。 VPC的网络连接 您可以使用VPC和云上的其他网络服务,基于您的业务诉求,构建不同功能的组网。 连通同区域VPC:通过VPC对等连接或者企业路由器ER,连通同区域的不同VPC。 连通跨区域VPC:通过云连接CC,连通不同区域的VPC。 连通VPC和公网:通过弹性公网IP (EIP)或者NAT网关,连通云内VPC和公网。 连通VPC和线下数据中心:通过云专线DC或者 虚拟专用网络 VPN,连通云内VPC和线下数据中心。 连通同区域VPC VPC对等连接:对等连接用于连通同一个区域内的VPC,您可以在相同账户下或者不同账户下的VPC之间创建对等连接。 更多信息请参见对等连接概述。 企业路由器ER:企业路由器作为一个云上高性能集中路由器,可以同时接入多个VPC,实现同区域VPC互通。 更多信息请参见什么是企业路由器。 对等连接免费,企业路由器收费,相比使用VPC对等连接,企业路由器连接VPC构成中心辐射性组网,网络结构更加简洁,方便扩容和运维。 连通跨区域VPC 云连接CC:云连接可以接入不同区域的VPC,快速实现跨区域网络构建。更多信息请参见什么是云连接。 连通VPC和公网 EIP:EIP是独立的公网IP地址,可以为实例绑定EIP,为实例提供访问公网的能力。 更多信息请参见什么是弹性公网IP。 NAT网关:公网NAT网关能够为VPC内的实例(ECS、BMS等),提供最高20Gbit/s能力的 网络地址转换 服务,实现多个实例使用一个EIP访问公网。 更多信息请参见什么是NAT网关。 连通VPC和线下数据中心 DC:DC用于搭建线下数据中心和云上VPC之间高速、低时延、稳定安全的专属连接通道,通过DC可以构建大规模混合云组网。 更多信息请参见什么是云专线。 VPN:VPN用于在线下数据中心和云上VPC之间建立一条安全加密的公网通信隧道。 更多信息请参见什么是虚拟专用网络。 相比通过DC构建混合云,使用VPN更加快速,成本更低。 VPC的网络运维 VPC流日志和流量镜像可以监控VPC内的流量,用于网络运维。 流日志:通过流日志功能可以实时记录VPC中的流量日志信息。通过这些日志信息,您可以优化安全组和网络ACL的控制规则,监控网络流量、进行网络攻击分析等。更多信息请参见VPC流日志概述。 流量镜像:通过流量镜像功能可以镜像弹性网卡符合筛选条件的报文到目的实例中,在目的实例中进行流量分析,不会影响运行业务的实例,适用于网络流量检查、审计分析以及问题定位等场景。更多信息请参见流量镜像概述。
  • VPC服务配额限制 配额是在某一区域下最多可同时拥有的某种资源的数量。 例如:华东-上海二区域下,VPC默认配额为5个,若在该区域下已创建2个VPC,则在该区域的剩余配额为3个。 华为云为防止资源滥用,对云服务每个区域的用户资源数量和容量做了配额限制。 如需查看每个配额项目支持的默认配额,请参考怎样查看我的配额?,登录控制台查询您的配额详情。如需扩大资源配额,请在华为云管理控制台申请扩大配额。 表1介绍VPC场景的默认配额限制。配额数据分区域呈现,默认每个区域的配额数据相同。 表1 VPC配额说明 配置名称 默认配额限制 是否支持调整 一个用户在单个区域可创建的虚拟私有云数量 不同用户根据其账户类型和服务等级享有不同的默认资源配额。请在配额限制查看您的个人配额详情。 是 提交工单申请提升配额 一个用户在单个区域可创建的子网数量 不同用户根据其账户类型和服务等级享有不同的默认资源配额。请在配额限制查看您的个人配额详情。 是 提交工单申请提升配额 一个用户在单个区域内,单个VPC可关联的路由表数量 不同用户根据其账户类型和服务等级享有不同的默认资源配额。请在配额限制查看您的个人配额详情。 是 提交工单申请提升配额 一个用户在单个区域内,单个路由表可添加的路由数量 不同用户根据其账户类型和服务等级享有不同的默认资源配额。请在配额限制查看您的个人配额详情。 不支持修改 一个用户在单个区域可创建的安全组数量 不同用户根据其账户类型和服务等级享有不同的默认资源配额。请在配额限制查看您的个人配额详情。 是 提交工单申请提升配额 一个用户在单个区域可添加的安全组规则数量 不同用户根据其账户类型和服务等级享有不同的默认资源配额。请在配额限制查看您的个人配额详情。 是 提交工单申请提升配额 一个用户在单个区域可创建的网络ACL数量 不同用户根据其账户类型和服务等级享有不同的默认资源配额。请在配额限制查看您的个人配额详情。 是 提交工单申请提升配额 一个用户在单个区域可创建的IP地址组数量 不同用户根据其账户类型和服务等级享有不同的默认资源配额。请在配额限制查看您的个人配额详情。 是 提交工单申请提升配额 一个用户在单个区域可创建的对等连接数量 不同用户根据其账户类型和服务等级享有不同的默认资源配额。请在配额限制查看您的个人配额详情。 不支持修改 一个用户在单个区域可创建的VPC流日志数量 不同用户根据其账户类型和服务等级享有不同的默认资源配额。请在配额限制查看您的个人配额详情。 不支持修改 一个用户在单个区域可创建的镜像会话数量 不同用户根据其账户类型和服务等级享有不同的默认资源配额。请在配额限制查看您的个人配额详情。 不支持修改
  • 虚拟私有云简介 虚拟私有云(Virtual Private Cloud,VPC)是您在云上的私有网络,为云服务器、云容器、云数据库等云上资源构建隔离、私密的虚拟网络环境。VPC丰富的功能帮助您灵活管理云上网络,包括创建子网、设置安全组和网络ACL、管理路由表等。此外,您可以通过弹性公网IP连通云内VPC和公网网络,通过云专线、虚拟专用网络等连通云内VPC和线下数据中心,构建混合云网络,灵活整合资源。 VPC使用网络虚拟化技术,通过链路冗余,分布式网关集群,多AZ部署等多种技术,保障网络的安全、稳定、高可用。
  • 路由 您可以在默认路由表和自定义路由表中添加路由,路由包括目的地址、下一跳类型、下一跳地址等信息,可以决定网络流量的走向。路由分为系统路由和自定义路由。 系统路由:系统路由一般为VPC服务或者其他服务(比如VPN、DC等)自动在路由表添加的路由,无法删除或修改。 创建路由表时,VPC服务会自动在路由表中添加下一跳为Local的路由,通常情况下,路由表中有以下Local的路由: 目的地址是100.64.0.0/10,该路由用于子网内实例访问云上公共服务,比如访问DNS服务器等。 目的地址是198.19.128.0/20,表示系统内部服务使用的网段地址,比如VPCEP等服务。 目的地址是127.0.0.0/8,表示本地回环地址。 目的地址是子网网段,该路由用于当前VPC内,不同子网的内网网络互通。 您在创建子网时,开启IPv6功能,系统将自动为当前子网分配IPv6网段,就可以在路由表中看到IPv6路由。子网网段目的地址示例如下: IPv4地址:192.168.2.0/24。 IPv6地址:2407:c080:802:be7::/64。 自定义路由:路由表创建完成后,您可以添加自定义路由来控制网络流量的走向,需要指定路由的目的地址和下一跳等信息。除了手动添加自定义路由,当您使用其他云服务时(比如云容器引擎CCE或者NAT网关),其他服务会自动在VPC路由表中添加自定义路由。 路由表包括默认路由表和自定义路由表,不同路由表中支持添加自定义路由的下一跳类型有差异,详情请参见表1和表2。相比自定义路由表,默认路由表支持添加自定义路由的下一跳类型较少,是由于部分服务(比如VPN、云专线、云连接等)会自动在默认路由表中添加路由,无需您手动在默认路由表中添加自定义路由。 表1 默认路由表支持的下一跳类型 下一跳类型 说明 服务器实例 将指向目的地址的流量转发到虚拟私有云内的一台ECS实例。 扩展网卡 将指向目的地址的流量转发到虚拟私有云内的一台ECS实例的扩展网卡。 辅助弹性网卡 将指向目的地址的流量转发到虚拟私有云内的一台ECS实例的辅助弹性网卡。 NAT网关 将指向目的地址的流量转发到一个NAT网关。 对等连接 将指向目的地址的流量转发到一个对等连接。 虚拟IP 将指向目的地址的流量转发到一个虚拟IP地址,可以通过该虚拟IP地址将流量转发到主备ECS。 VPC终端节点 将指向目的地址的流量转发到一个VPC终端节点。 云容器引擎 将指向目的地址的流量转发到一个云容器引擎的节点。 企业路由器 将指向目的地址的流量转发到一个企业路由器。 云防火墙 将指向目的地址的流量转发到一个云防火墙。 全域互联网网关 将指向目的地址的流量转发到一个全域互联网网关。 表2 自定义路由表支持下一跳类型 下一跳类型 说明 服务器实例 将指向目的地址的流量转发到虚拟私有云内的一台ECS实例。 扩展网卡 将指向目的地址的流量转发到虚拟私有云内的一台ECS实例的扩展网卡。 裸金属服务器自定义网络 将指向目的地址的流量转发到一个裸金属服务器自定义网络。 VPN网关 将指向目的地址的流量转发到一个VPN网关。 云专线网关 将指向目的地址的流量转发到一个云专线网关。 云连接 将指向目的地址的流量转发到云连接。 辅助弹性网卡 将指向目的地址的流量转发到虚拟私有云内的一台ECS实例的辅助弹性网卡。 NAT网关 将指向目的地址的流量转发到一个NAT网关。 对等连接 将指向目的地址的流量转发到一个对等连接。 虚拟IP 将指向目的地址的流量转发到一个虚拟IP地址,可以通过该虚拟IP地址将流量转发到主备ECS。 VPC终端节点 将指向目的地址的流量转发到一个VPC终端节点。 云容器引擎 将指向目的地址的流量转发到一个云容器引擎的节点。 企业路由器 将指向目的地址的流量转发到一个企业路由器。 云防火墙 将指向目的地址的流量转发到一个云防火墙。 全域互联网网关 将指向目的地址的流量转发到一个全域互联网网关。 个别由系统下发的路由可供用户修改和删除,这取决于创建对端服务时是否已设置目的地址。 例如,创建NAT网关时,系统会自动下发一条自定义类型的路由,没有明确指定目的地址(默认为0.0.0.0/0),此时用户可修改该目的地址。而创建VPN网关时,可以指定远端子网,也就是路由的目的地址,系统将下发系统类型的路由。如果在路由表页面更改路由将会导致与对端数据不一致,您可以前往对端服务页面修改远端子网来调整路由表中的路由规则。 不支持手动在VPC路由表中添加下一跳类型为“VPC终端节点”或者“云容器引擎”的路由,通常您在配置VPC终端节点或者云容器引擎服务时,由该服务自动添加在VPC路由表中。
  • 优势对比 虚拟私有云相比传统IDC的优势如表1所示。 表1 虚拟私有云与传统IDC对比 对比项 虚拟私有云 传统IDC 部署周期 用户无需工程规划,布线等复杂工程部署的工作。 用户基于业务需求在华为云上自主规划私有网络、子网和路由。 用户需要自行搭建网络并进行测试,整个周期很长,而且需要专业技术支持。 总成本 华为云网络服务提供了多种灵活的计费方式,加上客户无需前期投入和后期网络运维,整体上降低了总体拥有成本(Total Cost of Ownership,TCO)。 用户需要机房、供电、施工、硬件物料等固定重资产投入,也需要专业的运维团队来保障网络安全。随着业务变化,资产管理成本也会随之上升。 灵活性 华为云提供多种网络服务,用户可以根据具体需求搭配服务。当业务发展需要更多的网络资源(如带宽资源)时,可以方便快捷地进行动态扩展。 业务部署需要严格遵守前期网络规划,当业务需求发生变化时,无法便捷地动态调整网络。 安全性 VPC逻辑隔离,结合网络控制网络ACL、安全组功能和DDoS等安全服务,保障了云上资源的安全使用。 网络很难得到专业维护,安全性较差,需要配置专业的网络安全人员来看护。
  • 路由表 路由表由一系列路由规则组成,用于控制VPC内出入子网的流量走向。VPC中的每个子网都必须关联一个路由表,一个子网只能关联一个路由表,但一个路由表可以同时关联至多个子网。 路由表支持添加IPv4和IPv6路由。 图1 路由表 默认路由表:用户创建VPC时,系统会自动为其生成一个默认路由表,创建子网后,子网会自动关联默认路由表。默认路由表可以确保VPC内,不同子网的内网网络互通。 您可以在默认路由表中添加、删除和修改路由规则,但不能删除默认路由表。 创建VPN、云专线、云连接服务时,默认路由表会自动下发路由,该路由不能删除和修改。 自定义路由表:您可以直接使用默认路由表,也可以为具有相同路由规则的子网创建一个自定义路由表,并将自定义路由表与子网关联。自定义路由表可以删除。 子网关联自定义路由表仅影响子网的出流量走向,入流量仍然匹配子网所在VPC的默认路由表。 默认情况下,您没有创建自定义路由表的配额,因此创建自定义路由表时,请您根据界面提示“申请扩大配额”,具体请参见申请扩大配额。
  • 互联互通 默认情况下,VPC与公网是不能通信访问的,可以使用弹性公网IP、弹性负载均衡、NAT网关、虚拟专用网络、云专线等多种方式连接公网。 默认情况下,两个VPC之间也是不能通信访问的,可以使用对等连接的方式,使用私有IP地址在两个VPC之间进行通信。 对于云上和云下网络二层互通问题,企业交换机支持二层连接网关功能,允许您在不改变子网、IP规划的前提下将数据中心或私有云主机业务部分迁移上云。 提供多种连接选择,满足企业云上多业务需求,让您轻松部署企业应用,降低企业IT运维成本。
  • VPC与其他服务的关系 虚拟私有云VPC服务与其他服务的关系,如图1所示。 图1 与其他服务的关系 表1 与其他服务的关系 服务 交互功能说明 弹性云服务器(Elastic Cloud Server,ECS) 使用安全组防护ECS网络安全 弹性公网IP(Elastic IP,EIP) 使用EIP连通VPC和公网网络 NAT网关(NAT Gateway,NAT) 使用公网NAT连通VPC和公网网络 虚拟专用网络(Virtual Private Network,VPN) 使用VPN连通VPC和数据中心网络 云专线(Direct Connect,DC) 使用DC连通VPC和数据中心网络 企业路由器(Enterprise Router, ER) 使用ER连通同区域VPC网络 云连接(Cloud Connect,CC) 使用云连接连通不同区域的VPC网络 弹性负载均衡(Elastic Load Balance,ELB) 使用ELB将访问流量均衡分发到VPC内多个后端服务器 统一身份认证 服务(Identity and Access Management, IAM ) 使用IAM授权用户使用VPC的权限 云监控服务 (Cloud Eye Service, CES ) 使用CES监控VPC网络指标 云审计服务(Cloud Trace Service,CTS) 使用CTS审计VPC关键操作 标签管理服务(Tag Management Service,TMS) 使用TMS标识VPC资源
  • VPC权限 默认情况下,管理员创建的IAM用户没有任何权限,需要将其加入用户组,并给用户组授予策略或角色,才能使得用户组中的用户获得对应的权限,这一过程称为授权。授权后,用户就可以基于被授予的权限对云服务进行操作。 VPC部署时通过物理区域划分。授权时,“作用范围”需要选择“区域级项目”,然后在指定区域(如华东-上海一)对应的项目(cn-east-3)中设置相关权限,并且该权限仅对此项目生效;如果在“所有项目”中设置权限,则该权限在所有区域项目中都生效。访问VPC时,需要先切换至授权区域。 根据授权精细程度分为角色和策略。 角色:IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度,提供有限的服务相关角色用于授权。由于华为云各服务之间存在业务依赖关系,因此给用户授予角色时,可能需要一并授予依赖的其他角色,才能正确完成业务。角色并不能满足用户对精细化授权的要求,无法完全达到企业对权限最小化的安全管控要求。 策略:IAM最新提供的一种细粒度授权的能力,可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式,能够满足企业对权限最小化的安全管控要求。例如:针对VPC服务,管理员能够控制IAM用户仅能对某一类网络资源进行指定的管理操作。多数细粒度策略以API接口为粒度进行权限拆分,虚拟私有云(VPC)支持的API授权项请参见策略及授权项说明。 如表1所示,包括了VPC的所有系统权限。 表1 VPC系统权限 策略名称 描述 策略类别 依赖关系 VPC FullAccess 虚拟私有云的所有执行权限。 系统策略 如果您需要使用VPC流日志功能,则依赖 云日志 服务的只读权限LTS ReadOnlyAccess。 VPC ReadOnlyAccess 虚拟私有云的只读权限。 系统策略 无 VPC Administrator 虚拟私有云的大部分操作权限,不包括创建、修改、删除、查看安全组以及安全组规则。 拥有该权限的用户必须同时拥有Tenant Guest权限。 系统角色 依赖Tenant Guest策略,在同项目中勾选依赖的策略。 表2列出了VPC常用操作与系统权限的授权关系,您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 VPCReadOnlyAccess VPC Administrator VPC FullAccess 创建VPC x √ √ 修改VPC x √ √ 删除VPC x √ √ 查看VPC √ √ √ 创建子网 x √ √ 查看子网 √ √ √ 修改子网 x √ √ 删除子网 x √ √ 创建安全组 x x √ 查看安全组 √ x √ 修改安全组 x x √ 删除安全组 x x √ 添加安全组规则 x x √ 查看安全组规则 √ x √ 修改安全组规则 x x √ 删除安全组规则 x x √ 创建网络ACL x √ √ 查看网络ACL √ √ √ 修改网络ACL x √ √ 删除网络ACL x √ √ 添加网络ACL规则 x √ √ 修改网络ACL规则 x √ √ 删除网络ACL规则 x √ √ 创建对等连接 x √ √ 修改对等连接 x √ √ 删除对等连接 x √ √ 查询对等连接 √ √ √ 接受对等连接 x √ √ 拒绝对等连接 x √ √ 创建路由表 x √ √ 删除路由表 x √ √ 修改路由表 x √ √ 将路由表关联至子网 x √ √ 添加路由 x √ √ 修改路由 x √ √ 删除路由 x √ √ 创建VPC流日志 x √ √ 查看VPC流日志 √ √ √ 开启/关闭VPC流日志 x √ √ 删除VPC流日志 x √ √ 创建IP地址组 x √ √ 将IP地址组关联至资源 x √ √ 将IP地址组和资源解除关联 x √ √ 在IP地址组内添加IP地址条目 x √ √ 删除IP地址组内的IP地址条目 x √ √ 修改IP地址组 x √ √ 删除IP地址组 x √ √ 对于企业项目用户,您可以对属于该企业项目的资源进行权限范围内的操作。
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全