云服务器内容精选

  • 如何转换CER安全证书的格式? 启用了HTTPS访问的安全集群可以下载CSS服务安全证书(CloudSearchService.cer)。而大多数软件支持“.pem”或“.jks”格式的证书,因此要对安全证书进行格式转换。 将安全证书从“.cer”格式转换为“.pem”格式。 openssl x509 -inform pem -in CloudSearchService.cer –out newname.pem 将安全证书从“.cer”格式转换为“.jks”格式。 keytool -import -alias newname -keystore ./truststore.jks -file ./CloudSearchService.cer 其中,newname是由用户自定义的证书名称。 执行命令后,会提示设置证书密码,并确认密码。请保存该密码,后续接入集群会使用。 父主题: 安全模式集群
  • 约束限制 如果集群已经具有Master节点和Client节点,则“形态变更”页面将不存在“添加Master/Client节点”页签。如此时需要添加Master节点和Client节点,可以执行扩容任务。 添加Master节点或Client节点时,不同节点类型的可配置节点数量不同,具体情况请参考表1。 表1 不同节点类型的节点数量说明 节点类型 节点数量的取值范围 Master节点 3~9的奇数 Client节点 1~32
  • 响应示例 状态码: 200 OK { "meta_info" : { "current_time" : "2023-12-13T09:55:45Z" }, "payload" : { "list" : [ { "id" : "ef4fd3d6-fa4e-49ea-989a-3216c36164d7", "cluster_id" : "3c151f54-e5df-4b6c-8690-b955df98a97f", "match_nodes" : 1, "usage" : "TRAINING_TRAIN", "cpu" : 5, "memory" : 20, "build_in" : false, "project_id" : "54d37c8f25af4277a1ff4ee9772687bf" }, { "id" : "38aa2057-4217-41d0-b5ba-94f8832e909e", "cluster_id" : "3c151f54-e5df-4b6c-8690-b955df98a97f", "match_nodes" : 1, "usage" : "TRAINING_TRAIN", "gpu_type" : "Pnt1", "gpu" : 1, "cpu" : 5, "memory" : 20, "build_in" : false, "project_id" : "54d37c8f25af4277a1ff4ee9772687bf" }, { "id" : "2ac937fa-d17a-4991-8e56-f1951b878af8", "cluster_id" : "3c151f54-e5df-4b6c-8690-b955df98a97f", "match_nodes" : 1, "usage" : "TRAINING_TRAIN", "gpu_type" : "Pnt1", "gpu" : 1, "cpu" : 4, "memory" : 20, "build_in" : false, "project_id" : "54d37c8f25af4277a1ff4ee9772687bf" }, { "id" : "7676f33e-cf22-4227-aac1-ac3865ceddb2", "cluster_id" : "3c151f54-e5df-4b6c-8690-b955df98a97f", "match_nodes" : 1, "usage" : "TRAINING_TRAIN", "gpu_type" : "Pnt1", "gpu" : 1, "cpu" : 4, "memory" : 32, "build_in" : false, "project_id" : "54d37c8f25af4277a1ff4ee9772687bf" } ], "page_info" : { "offset" : 0, "limit" : 4, "total" : 4 } } }
  • 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 payload ResourceSpecs object 实际返回的资源规格信息 meta_info RespMetaInfo object 元数据 表5 ResourceSpecs 参数 参数类型 描述 list Array of ResourceSpecsVo objects 资源规格列表 page_info PageInfo object 返回列表分页信息 表6 ResourceSpecsVo 参数 参数类型 描述 id String id cluster_id String 集群ID usage String 资源规格用途 枚举值: SIM_COMPILE(仿真编译) SIM_DOCKER(仿真异步镜像) DATA_PROCESS(数据处理) DATA_CONVERSION(数据转换) DATA_RESIM(回放仿真) DATA_DESENSITIZATION(数据脱敏) TRAINING_TRAIN(训练任务) TRAINING_EVALUATE(模型评测) TRAINING_COMPILE(模型编译) ANNOTATION_MANUAL(人工标注) ANNOTATION_AI(预标注) ANNOTATION_SEGMENTATION(交互式分割) COMMON_DATASET(数据集) gpu_type String GPU类型(资源规格不包含GPU,此字段不会返回); 枚举值: Tnt004 Vnt1 Mnt06 Pnt1 Pnt004 gpu Integer GPU数量,整数(资源规格不包含GPU,此字段不会返回); cpu Double CPU数量,单位Core,支持一位小数; memory Double 内存大小,单位GiB,支持一位小数; build_in Boolean 是否内置资源规格,true代表内置资源规格,false代表用户自定义资源规格。 project_id String 项目id match_nodes Integer 资源规格可用节点的数量 表7 PageInfo 参数 参数类型 描述 offset Integer 查询偏移量 limit Integer 返回个数上限 total Integer 资源总数 表8 RespMetaInfo 参数 参数类型 描述 current_time String 请求时间,UTC时间格式,时间为UTC标准时间。
  • 场景介绍 当专属资源池中的节点含有GPU/Ascend资源时,用户基于自己的业务,可能会有自定义GPU/Ascend驱动的需求,ModelArts面向此类客户提供了自助升级专属资源池GPU/Ascend驱动的能力。 驱动升级有两种升级方式:安全升级、强制升级。 安全升级:不影响正在运行的业务,开始升级后会先将节点进行隔离(不能再下发新的作业),待节点上的存量作业运行完成后再进行升级,因需要等待作业完成,故升级周期可能比较长。 强制升级:忽略资源池中正在运行的作业,直接进行驱动升级,可能会导致运行中作业失败,需谨慎选择。
  • 前提条件 连接数据库的弹性云服务器必须和DDS实例之间网络互通,可以使用curl命令连接DDS实例服务端的IP和端口号,测试网络连通性。 curl ip:port 返回“It looks like you are trying to access MongoDB over HTTP on the native driver port.”,说明网络互通。 如果开启SSL,需要在界面上下载根证书,并上传到弹性云服务器。
  • 数据类型转换说明 当前用户导入到Hive/Spark的数据在HDFS存储为ORC文件格式,GaussDB(DWS)实际读取HDFS中的ORC文件,并对文件内的数据进行查询分析。 由于Hive/Spark支持的数据类型与GaussDB(DWS)自身支持的数据类型存在差异,在创建外表定义表字段时,您需要了解这两者之间数据类型的对应关系,具体如表1所示: 表1 数据类型匹配表 类型名称 GaussDB(DWS)的HDFS/OBS外表支持的字段类型 Hive表字段类型 Spark表字段类型 2字节整数 SMALLINT SMALLINT SMALLINT 4字节整数 INTEGER INT INT 8字节整数 BIGINT BIGINT BIGINT 单精度浮点数 FLOAT4 (REAL) FLOAT FLOAT 双精度浮点型 FLOAT8(DOUBLE PRECISION) DOUBLE FLOAT 科学数据类型 DECIMAL[p (,s)] 最大支持38位精度 DECIMAL 最大支持38位(Hive 0.11) DECIMAL 日期类型 DATE DATE DATE 时间类型 TIMESTAMP TIMESTAMP TIMESTAMP Boolean类型 BOOLEAN BOOLEAN BOOLEAN Char类型 CHAR(n) CHAR (n) STRING VarChar类型 VARCHAR(n) VARCHAR (n) VARCHAR (n) 字符串 TEXT(CLOB) STRING STRING
  • 创建外表 当完成获取MRS数据源连接的外部服务器信息和获取MRS数据源的HDFS路径后,就可以创建一个外表,用于读取MRS数据源数据。 创建外表的语法格式如下,详细的描述请参见(CREATE FOREIGN TABLE (SQL on Hadoop or OBS))。 CREATE FOREIGN TABLE [ IF NOT EXISTS ] table_name ( [ { column_name type_name [ { [CONSTRAINT constraint_name] NULL | [CONSTRAINT constraint_name] NOT NULL | column_constraint [...]} ] | table_constraint [, ...]} [, ...] ] ) SERVER dfs_server OPTIONS ( { option_name ' value ' } [, ...] ) DISTRIBUTE BY {ROUNDROBIN | REPLICATION} [ PARTITION BY ( column_name ) [ AUTOMAPPED ] ] ; 例如,创建一个名为"foreign_product_info"的外表,对语法中的参数按如下描述进行设置: table_name 必选。外表的表名。 表字段定义 column_name:外表中的字段名。 type_name:字段的数据类型。 多个字段用“,”隔开。 外表的字段个数和字段类型,需要与MRS上保存的数据完全一致。定义字段的数据类型之前,您必须先了解数据类型转换说明。 SERVER dfs_server 外表的外部服务器名称,这个server必须存在。外表通过设置外部服务器,从而关联MRS数据源连接并从MRS集群读取数据。 此处应填写为通过获取MRS数据源连接的外部服务器信息查询到的“srvname”字段的值。 OPTIONS参数 用于指定外表数据的各类参数,关键参数如下所示。 format:必选参数。取值只支持“orc”。表示数据源文件的格式,只支持Hive的ORC数据文件。 foldername:必选参数。表示数据在HDFS的存储目录或数据文件路径。 如果是启用了Kerberos认证的MRS分析集群,请确保MRS数据源连接的MRS用户,拥有此目录的读取权限。 请按照获取MRS数据源的HDFS路径中的步骤获取HDFS路径,该路径作为foldername的参数值。 encoding:可选参数。外表中数据源文件的编码格式名称,缺省为utf8。 DISTRIBUTE BY 表示外表的数据读取方式。有以下两种方式供选择,在本例中选择ROUNDROBIN。 ROUNDROBIN:表示外表在从数据源读取数据时,GaussDB(DWS)集群每一个节点读取随机一部分数据,并组成完整数据。 REPLICATION:表示外表在从数据源读取数据时,GaussDB(DWS)集群每一个节点都读取一份完整数据。 语法中的其他参数 其他参数均为可选参数,用户可以根据自己的需求进行设置,在本例中不需要设置。 根据以上信息,创建外表命令如下所示: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 DROP FOREIGN TABLE IF EXISTS foreign_product_info; CREATE FOREIGN TABLE foreign_product_info ( product_price integer , product_id char(30) , product_time date , product_level char(10) , product_name varchar(200) , product_type1 varchar(20) , product_type2 char(10) , product_monthly_sales_cnt integer , product_comment_time date , product_comment_num integer , product_comment_content varchar(200) ) SERVER hdfs_server_8f79ada0_d998_4026_9020_80d6de2692ca OPTIONS ( format 'orc', encoding 'utf8', foldername '/user/hive/warehouse/demo.db/product_info_orc/' ) DISTRIBUTE BY ROUNDROBIN;
  • 获取MRS数据源连接的外部服务器信息 使用创建外部服务器的用户去连接其对应的数据库。 是否使用普通用户在自定义数据库中创建外表,请根据需求进行选择: 是 请先确保,您已按照手动创建外部服务器章节中的步骤,创建了普通用户dbuser和它的数据库mydatabase,并在mydatabase中手动创建了一个外部服务器。 使用用户dbuser通过GaussDB(DWS)提供的数据库客户端连接数据库mydatabase。 如果已经使用gsql客户端连接至数据库,可以直接执行如下命令进行用户和数据库切换: 1 \c mydatabase dbuser; 根据界面提示输入密码。 否 当您通过GaussDB(DWS)管理控制台创建MRS数据源连接时,数据库管理员dbadmin会在默认数据库postgres中自动创建一个外部服务器。因此,如果使用数据库管理员dbadmin在默认数据库postgres中创建外表,需要通过GaussDB(DWS)提供的数据库客户端工具连接数据库。例如,使用gsql客户端的用户通过如下命令连接数据库: 1 gsql -d postgres -h 192.168.2.30 -U dbadmin -p 8000 -W password -r 执行以下命令,查看已创建的MRS数据源连接的外部服务器信息。 1 SELECT * FROM pg_foreign_server; 也可以执行\desc+命令查看外部服务器信息。 返回结果如下: 1 2 3 4 5 6 srvname | srvowner | srvfdw | srvtype | srvversion | srvacl | srvoptions --------------------------------------------------+----------+--------+---------+------------+--------+--------------------------------------------------------------------------------------------------------------------- gsmpp_server | 10 | 13673 | | | | gsmpp_errorinfo_server | 10 | 13678 | | | | hdfs_server_8f79ada0_d998_4026_9020_80d6de2692ca | 16476 | 13685 | | | | {"address=192.168.1.245:25000,192.168.1.218:25000",hdfscfgpath=/MRS/8f79ada0-d998-4026-9020-80d6de2692ca,type=hdfs} (3 rows) 查询结果中,每一行代表一个外部服务器的信息。与MRS数据源连接相关联的外部服务器包含以下信息: srvname值包含“hdfs_server”字样以及MRS集群的ID,此ID与MRS管理控制台的集群列表MRS ID相同。 srvoptions字段中的address参数为MRS集群的主备节点的IP地址及端口。 您可以根据上述信息找到您所要的外部服务器,并记录下它的srvname和srvoptions的值。
  • 故障现象 删除集群失败,报错信息如下: Expected HTTP response code [200 202 204 404] when accessing [DELETE https://vpc.xxx.com/v2.0/security-groups/46311976-7743-4c7c-8249-ccd293bcae91], but got 409 instead {"code":"VPC.0602","message":"{\"NeutronError\":{\"message\": \"Security Group 46311976-7743-4c7c-8249-ccd293bcae91 in use.\",\"type\":\"SecurityGroupInUse\",\"detail\":\"\"}}"}
  • 操作步骤 复制报错信息中的资源ID,进入到VPC服务的安全组界面,根据ID过滤安全组。 单击进入安全组详情界面,选择关联实例页签。 查询该安全组关联的其他资源,例如服务器、弹性网卡实例、辅助弹性网卡实例等。您可以将残留的资源(辅助弹性网卡会自动删除)删除。 以删除残留的弹性网卡为例,您需要前往弹性网卡界面将上一步查询到的网卡删除。 可以用ID过滤需要删除的弹性网卡,也可以通过集群ID的名称过滤需要删除的弹性网卡。 清理完成后,前往安全组页面确认该安全组已经没有关联的实例,然后前往CCE控制台即可正常删除集群。
  • 如何修改CCE集群名称? 集群创建完成后,支持修改集群名称。 登录CCE控制台,单击集群名称进入集群。 在集群信息页面,单击集群名称后的。 图1 修改集群名称 输入新的集群名称后,单击“保存”。 集群名称不能与其他集群的名称或原名相同。 集群名称修改后,如果集群相关的周边服务已使用集群名称命名实例或者将集群名称作为某个配置项,则不会同步修改。例如集群日志采集时仍会使用集群修改前的名称。 父主题: 集群运行
  • 背景信息 逻辑集群支持周期性增删能力。支持在计划时间段内,动态创建、删除计算逻辑集群,实现计算资源动态伸缩。 该功能仅支持DWS 3.0集群,历史版本需要联系技术支持人员升级使用。 DWS 3.0集群包年/包月集群在定时增加逻辑集群时自动扩容节点,节点按需计费。 通过该功能创建的逻辑集群主要用于提供计算能力,关联用户后该用户的查询都会切换到该逻辑集群上,同时建表语句仍在原始的逻辑集群上。 一个用户仅支持绑定到一个计算逻辑集群上。 若删除逻辑集群时,该逻辑集群关联的用户有业务运行,可能会出现报错。
  • 背景信息 很多用户在使用JDBC连接集群时只连接集群的一个CN,这就导致单个CN压力较大并且别的CN资源浪费,并且这种方式还有单点故障导致连接不可用的风险。 用户可使用JDBC连接多个CN避免以上问题。主要有以下两种方式: 使用ELB连接集群:弹性负载均衡(ELB)是将访问流量根据转发策略分发到后端多台弹性云服务器的流量分发控制服务,可以通过流量分发扩展应用系统对外的服务能力,提高应用程序的容错能力。 使用multi-host方式连接集群:使用JDBC配置多个节点的方式,也能实现类似ELB的效果。
  • 开启操作保护 操作保护默认关闭,您可以参考以下步骤开启操作保护。 登录GaussDB(DWS)管理控制台。 在“控制台”页面,鼠标移动至右上方的用户名,在下拉列表中单击“安全设置”。 在“安全设置”页面中,切换至“敏感操作”页签,单击“操作保护”区域的“立即启用”。 图1 敏感操作 在“操作保护设置”页面中,选择“开启”,单击“确定”后,开启操作保护。 用户如果进行敏感操作,将进入“操作保护”页面,选择认证方式,包括邮箱、手机和虚拟MFA三种认证方式。 如果用户只绑定了手机,则认证方式只能选择手机。 如果用户只绑定了邮箱,则认证方式只能选择邮件。 如果用户未绑定邮箱、手机和虚拟MFA,进行敏感操作时,华为云将提示用户绑定邮箱、手机或虚拟MFA。 如需修改验证手机号、邮件地址,请在账户中心修改。详情请参见IAM基本信息。 当您开启操作保护,在进行敏感操作时,系统会先进行敏感操作保护。 例如在您进行删除集群操作时,会弹出敏感操作保护验证框,需要选择一种验证方式进行验证,避免误操作带来的风险和损失。