华为云用户手册

  • 方案架构 IDC的两个子公司的部门A和部门B均使用192.168.0.0/24网段。网段免修改,直接在云上创建相同网段的VPC。 分别为两个子公司的VPC创建 私网NAT网关 ,为部门A的主机(192.168.0.3)和部门B的主机(192.168.0.3)分别映射10.1.0.11和10.2.0.22两个中转IP地址,通过中转IP实现两个主机相互访问。 图1 最佳实践逻辑拓扑 请注意手动配置如下几条路由信息,避免漏配置导致流量不通。 VPC(部门A)到私网NATA 中转VPC1到VPC-Peering 中转VPC2到VPC-Peering VPC(部门B)到私网NATB
  • 方案架构 华为云私网NAT网关(Private NAT Gateway)能够为虚拟私有云(Virtual Private Cloud)内的云主机提供 网络地址转换 服务,实现重叠子网VPC内的主机互访以及主机私网地址映射。弥补了VPC对等连接服务中有重叠子网网段的VPC,不能使用VPC对等连接的约束限制。 如图2: 将部门A和部门B的192.168.0.0/24网段直接迁移到云上的VPC内,然后使用私网NAT网关实现两个部门的主机相互访问。 同时可以通过配置SNAT规则,将部门A的主机私网地址映射为指定的IP地址10.1.0.55访问外部主机。 图2 华为云私网NAT服务
  • 应用场景 在不改变现有IDC网络组织架构的前提下,需要将网络组织架构迁移上云,并实现IDC中的两个重叠网段内的主机相互访问。 在不改变现有IDC网络组织架构的前提下,需要将网络组织架构迁移上云,并实现以IDC中指定IP地址访问外部资源。 例如: 某大型公司拥有多个分公司,分公司之间网段独立规划、存在重叠子网。如图1,部门A和部门B分配了相同的192.168.0.0/24网段,并且两个网段内的主机可以相互访问;另外,根据行业规范要求,部门A需要定期以指定的IP地址访问行业监管部门的主机归档数据。 IDC内业务复杂且庞大,重新规划并整改网段会影响已有业务的正常运行。客户希望能够保持现有网络规划不变,网段免修改上云,上云后重叠子网的主机仍能相互访问,且部门A的主机仍然可以以指定IP地址访问行业监管部门的主机。 图1 子公司间的网络存在子网重叠
  • 约束与限制 使用私网NAT网关时,您需要注意以下几点: 用户需要在VPC下手动添加私网路由,即通过创建对等连接或开通云专线/VPN连接远端私网。 VPC内的每个子网只能添加一条SNAT规则。 SNAT规则和DNAT规则不能共用同一个中转IP。 DNAT的全端口模式不能和具体端口模式共用同一个中转IP。 私网NAT网关支持添加的DNAT规则和SNAT规则的数量如下: 小型:DNAT规则和SNAT规则的总数不超过20个。 中型:DNAT规则和SNAT规则的总数不超过50个。 大型:DNAT规则和SNAT规则的总数不超过200个。 超大型:DNAT规则和SNAT规则的总数不超过500个。
  • 资源和成本规划 表1 资源和成本规划 资源 名称 规划网段/IP 子网名称 说明 VPC(华北-北京四) vpc-部门A 192.168.0.0/24 subnet-A 部门A迁移到云上的VPC。 vpc-中转1 10.1.0.0/24 ext_sub_T1 私网NAT网关所需的中转VPC。 vpc-监管 10.10.0.0/24 subnet-W 模拟监管部门的VPC。 弹性云服务器(华北-北京四) ecs-部门A 192.168.0.3 -- 部门A的主机,可以访问行业监管部门的主机。 ecs-监管 10.10.0.5 -- 模拟监管部门的主机。 中转IP(vpc-中转1) 部门A中转IP 10.1.0.55 -- 部门A主机通过监管部门分配的IP地址访问监管部门的主机。
  • 私网NAT网关 私网NAT网关(Private NAT Gateway),能够为虚拟私有云内的云主机(弹性云服务器、裸金属服务器)提供私网地址转换服务。您可以在私网NAT网关上配置SNAT、DNAT规则,可将源、目的网段地址转换为中转IP,通过使用中转IP实现VPC内的云主机与其他VPC、云下IDC互访。 私网NAT网关分为SNAT和DNAT两个功能: SNAT功能通过绑定中转IP,可实现VPC内跨可用区的多个云主机共享中转IP,访问外部数据中心或其他VPC。 DNAT功能通过绑定中转IP,可实现IP映射或端口映射,使VPC内跨可用区的多个云主机共享中转IP,为外部私网提供服务。 中转子网 中转子网相当于一个中转网络,是中转IP所属的子网。 中转IP 您可以在中转子网中创建私网IP,即中转IP,使本端VPC中的云主机可以共享该私网IP(中转IP)访问用户IDC或其他远端VPC。 中转VPC 中转子网所在VPC。 图3 私网NAT网关
  • 如何访问NAT网关 通过管理控制台、基于HTTPS请求的API(Application Programming Interface)两种方式访问NAT网关。 管理控制台方式 管理控制台是网页形式的,您可以使用直观的界面进行相应的操作。登录管理控制台,从主页选择“NAT网关”。 API方式 如果您需要将云平台上的NAT网关集成到您自己的系统,请使用API方式访问NAT网关。具体操作请参见《NAT网关API参考》。
  • 公网NAT网关 公网NAT网关(Public NAT Gateway)能够为虚拟私有云内的云主机(弹性云服务器、裸金属服务器)或者通过云专线/VPN接入虚拟私有云的本地数据中心的服务器,提供最高20Gbit/s能力的网络地址转换服务,使多个云主机可以共享弹性公网IP访问Internet或使云主机提供互联网服务。 公网NAT网关分为SNAT和DNAT两个功能。 SNAT功能通过绑定弹性公网IP,实现私有IP向公有IP的转换,可实现VPC内跨可用区的多个云主机共享弹性公网IP,安全,高效的访问互联网。 SNAT架构如图1所示。 图1 SNAT架构图 DNAT功能绑定弹性公网IP,可通过IP映射或端口映射两种方式,实现VPC内跨可用区的多个云主机共享弹性公网IP,为互联网提供服务。 DNAT架构如图2所示。 图2 DNAT架构图
  • 弹性公网IP 弹性公网IP是基于互联网上的静态IP地址。 弹性公网IP地址为可以直接访问Internet的IP地址。私有IP地址为公有云内局域网络所有的IP地址,私有IP地址禁止出现在Internet中。 将弹性公网IP地址和子网中关联的弹性云服务器绑定,可以实现VPC中的弹性云服务器通过固定的公网IP地址与互联网互通。 一个弹性公网IP只能直接给一个弹性云服务器使用。如要实现VPC内跨可用区的多个云主机共享弹性公网IP,可选择NAT网关。更多内容请参见《NAT网关用户指南》。
  • 请求示例 修改指定service_id和schema_id的契约的契约内容和摘要。 PUT https://{endpoint}/v4/{project_id}/registry/microservices/{service_id}/schemas/{schema_id} { "schema": "---\nswagger: \"2.0\"\ninfo:\n version: \"1.0.0\"\n title: \"swagger definition for com.service.provider.controller.ProviderImpl\"\n x-java-interface: \"cse.gen.springmvc.provider.provider.ProviderImplIntf\"\nbasePath: \"/provider\"\nconsumes:\n- \"application/json\"\nproduces:\n- \"application/json\"\npaths:\n /helloworld:\n get:\n operationId: \"helloworld\"\n produces:\n - \"application/json\"\n parameters:\n - name: \"name\"\n in: \"query\"\n required: true\n type: \"string\"\n responses:\n 200:\n description: \"response of 200\"\n schema:\n type: \"string\"\n", "summary": "test" }
  • URI PUT /v4/{project_id}/registry/microservices/{service_id}/schemas/{schema_id} 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 请填固定值:default。 service_id 是 String 微服务唯一标识。字符长度为1~64,正则表达式为^.*$。获取方法请参考查询所有微服务信息。 schema_id 是 String 微服务契约唯一标识。字符长度为1~160,正则表达式为^[a-zA-Z0-9]{1,160}$|^[a-zA-Z0-9][a-zA-Z0-9_-.]{0,158}[a-zA-Z0-9]$。获取方法请参考查询微服务的所有契约。
  • 响应参数 状态码: 400 表4 响应Body参数 参数 参数类型 描述 errorCode String 错误代码。 errorMessage String 错误信息。 detail String 详细定位信息。 状态码: 500 表5 响应Body参数 参数 参数类型 描述 errorCode String 错误代码。 errorMessage String 错误信息。 detail String 详细定位信息。
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 Authorization 否 String 若ServiceComb引擎专享版开启了安全认证,此参数必填。否则,无此参数。 开启了安全认证的ServiceComb引擎专享版Token,格式为: Authorization:Bearer {Token} Token获取方法,请参考获取ServiceComb引擎专享版用户Token。 表3 请求Body参数 参数 是否必选 参数类型 描述 schema 是 String 契约内容。 summary 否 String 新加入参数,后面创建schema,请尽量提供schema的摘要。
  • 请求方法 HTTP方法(也称为操作或动词),它告诉服务您正在请求什么类型的操作。 GET:请求服务器返回指定资源。 PUT:请求服务器更新指定资源。 POST:请求服务器新增资源或执行特殊操作。 DELETE:请求服务器删除指定资源,如删除对象等。 HEAD:请求服务器资源头部。 PATCH:请求服务器更新资源的部分内容。当资源不存在的时候,PATCH可能会去创建一个新的资源。 在获取用户Token的URI部分,您可以看到其请求方法为“POST”,则其请求为: POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens
  • 请求消息头 附加请求头字段,如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”,请求鉴权信息等。 如下公共消息头需要添加到请求中。 Content-Type:消息体的类型(格式),必选,默认取值为“application/json”,有其他取值时会在具体接口中专门说明。 X-Auth-Token:用户Token,可选,当使用Token方式认证时,必须填充该字段。用户Token也就是调用获取用户Token接口的响应值,该接口是唯一不需要认证的接口。 Authorization:微服务引擎实例的账号Token,可选,当使用微服务引擎安全认证时,必须填充该字段。账号Token是调用获取ServiceComb引擎专享版用户Token接口的响应值,该接口是唯一不需要认证的接口。 对于获取用户Token接口,由于不需要认证,所以只添加“Content-Type”即可,添加消息头后的请求如下所示。 POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens Content-Type: application/json
  • 请求URI 请求URI由如下部分组成。 {URI-scheme} :// {Endpoint} / {resource-path} ? {query-string} 尽管请求URI包含在请求消息头中,但大多数语言或框架都要求您从请求消息中单独传递它,所以在此单独强调。 URI-scheme:表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint:指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同,您可以从地区和终端节点处获取。例如 IAM 服务在“华北-北京一”区域的Endpoint为“iam.cn-north-1.myhuaweicloud.com”。当获取微服务引擎实例的账号Token时,Endpoint取值为服务注册发现地址。 resource-path:资源路径,即API访问路径。从具体API的URI模块获取,例如“获取用户Token”API的resource-path为“/v3/auth/tokens”。 query-string:查询参数,是可选部分,并不是每个API都有查询参数。查询参数前面需要带一个“?”,形式为“参数名=参数取值”,例如“limit=10”,表示查询不超过10条数据。 例如您需要获取IAM在“华北-北京一”区域的Token,则需使用“华北-北京一”区域的Endpoint(iam.cn-north-1.myhuaweicloud.com),并在获取用户Token的URI部分找到resource-path(/v3/auth/tokens),拼接起来如下所示。 https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens 图1 URI示意图 为查看方便,在每个具体API的URI部分,只给出resource-path部分,并将请求方法写在一起。这是因为URI-scheme都是HTTPS,而Endpoint在同一个区域也相同,所以简洁起见将这两部分省略。
  • 请求消息体 请求消息体通常以结构化格式发出,与请求消息头中Content-type对应,传递除请求消息头之外的内容。若请求消息体中参数支持中文,则Content-type中需声明字符编码方式为utf-8,例如,Content-Type: application/json;utf-8。 每个接口的请求消息体内容不同,也并不是每个接口都需要有请求消息体(或者说消息体为空),GET、DELETE操作类型的接口就不需要消息体,消息体具体内容需要根据具体接口而定。 对于获取用户Token接口,您可以从接口的请求部分看到所需的请求参数及参数说明。将消息体加入后的请求如下所示,加粗的斜体字段需要根据实际值填写,其中username为用户名,domainname为用户所属的账号名称,********为用户登录密码,xxxxxxxxxxxxxxxxxx为project的名称,可以从地区和终端节点处获取。 scope参数定义了Token的作用域,上面示例中获取的Token仅能访问project下的资源。您还可以设置Token的作用域为某个账号下所有资源或账号的某个project下的资源,详细定义请参见获取用户Token。 POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens Content-Type: application/json { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "username", "password": "********", "domain": { "name": "domainname" } } } }, "scope": { "project": { "name": "xxxxxxxxxxxxxxxxxx" } } } } 到这里为止这个请求需要的内容就具备齐全了,您可以使用curl命令行等工具或直接编写代码等方式发送请求调用API。对于获取用户Token接口,返回的响应消息头中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。
  • 基本概念 账号 用户注册云平台时的账号,账号对其所拥有的资源及云服务具有完全的访问权限,可以重置用户密码、分配用户权限等。由于账号是付费主体,为了确保账号安全,建议您不要直接使用账号进行日常管理工作,而是创建用户并使用他们进行日常管理工作。 用户 由账号在IAM中创建的用户,是云服务的使用人员,具有身份凭证(密码和访问密钥)。 在我的凭证下,您可以查看账号ID和用户ID。通常在调用API的鉴权过程中,您需要用到账号、用户和密码等信息。 区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region,通用Region指面向公共租户提供通用云服务的Region;专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 详情请参见区域和可用区。 可用区(AZ,Availability Zone) 一个可用区是一个或多个物理数据中心的集合,有独立的风火水电,AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连,以满足用户跨AZ构建高可用性系统的需求。 项目 云平台的区域默认对应一个项目,这个项目由系统预置,用来隔离物理区域间的资源(计算资源、存储资源和网络资源),以默认项目为单位进行授权,用户可以访问您账号中该区域的所有资源。如果您希望进行更加精细的权限控制,可以在区域默认的项目中创建子项目,并在子项目中创建资源,然后以子项目为单位进行授权,使得用户仅能访问特定子项目中资源,使得资源的权限控制更加精确。 同样在我的凭证下,您可以查看项目ID。 图1 项目隔离模型 企业项目 企业项目是项目的升级版,针对企业不同项目间资源的分组和管理,是逻辑隔离。企业项目中可以包含多个区域的资源,且项目中的资源可以迁入迁出。 关于企业项目ID的获取及企业项目特性的详细信息,请参见《企业管理服务用户指南》。 父主题: 使用前必读
  • 请求示例 POST https://{endpoint}/v2/{project_id}/enginemgr/engines { "name" : "string", "description" : "string", "payment" : "string", "flavor" : "cse.s1.small2", "azList" : [ "string" ], "authType" : "NONE", "vpc" : "string", "networkId" : "string", "subnetCidr" : "string", "publicIpId" : "string", "specType" : "string", "inputs" : { "nodeFlavor" : "string" } }
  • 响应参数 状态码: 200 表5 响应Body参数 参数 参数类型 描述 id String 创建的微服务引擎专享版ID。 name String 创建的微服务引擎专享版名称。 jobId Integer 微服务引擎专享版执行的任务ID。 状态码: 400 表6 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误信息。 detail String 详细定位信息。 状态码: 500 表7 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误信息。 detail String 详细定位信息。
  • 准备数据 首先,企业A和大数据厂商B需要商议确定要提供的数据范围及对应的元数据信息,双方初始决定使用最近三个月的已有用户转化数据作为联邦训练的训练集和评估集,之后使用每周产生的新数据作为联邦预测的预测集。 表1 企业A的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 col0-col4 label float int 企业A数据特征 企业A对用户的标签属性 industry_all.csv id,col0,col1,col2,col3,col4,label 5feceb66ffc86f38d952786c6d696c79c2dbc239dd4e91b46729d73a27fb57e9,-1.4092505981594734,-0.5893679205612337,-4.467396692737264,1.370376187747878,-1.236832500268279,1 6b86b273ff34fce19d6b804eff5a3f5747ada4eaa22f1d49c01e52ddb7875b4b,-1.5143756509526236,-1.9007475942180778,-5.617412558508785,2.2624690030531363,0.2886799132470795,0 d4735e3a265e16eee03f59718b9b5d03019c07d8b6c51f90da3a666eec13ab35,-1.768367116508903,1.2721845837988317,1.1497337351126178,-1.3322677230347135,0.9716103319957519,1 4b227777d4dd1fc61c6f884f48641d02b4d121d3fd328cb08b5531fcacdabf8a,0.37260755643902965,-0.2919401803207504,0.08086265459068624,0.3915016044811785,-0.01227642831882032,1 ef2d127de37b942baad06145e54b0c619a1f22327b2ebbcfbec78f5564afe39d,-2.963183239713765,0.15113195842028704,-3.8749664899828824,1.0598464836794779,-4.400883309764479,1 e7f6c011776e8db7cd330b54174fd76f7d0216b612387a5ffcfb81e6f0919683,-0.35120767987472346,1.8018318746365054,1.4431627055321963,0.33307198119824927,0.8626132267902704,0 7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451,-2.6642415757243825,0.8836647864509011,-1.2340786744195096,-1.4945873871135977,-2.6999504889710626,1 2c624232cdd221771294dfbb310aca000a0df6ac8b66b696d90ef06fdefb64a3,3.0418810956792526,-0.6516843409674193,3.6616499550343105,0.035548733627266224,3.477873903864847,0 19581e27de7ced00ff1ce50b2047e7a567c76b1cbaebabe5ef03f7c3017bb5b7,-0.8239137547429756,0.7877120377027675,0.4296355963569869,-1.315646485980162,-1.652321610851379,1 4a44dc15364204a80fe80e9039455cc1608281820fe2b24f1e5233ade6af1dd5,0.24150521920304757,-0.21911471888817458,1.5143874504690156,-0.6652345113435701,0.17857570592695637,0 6b51d431df5d7f141cbececcf79edf3dd861c3b4069f0b11661a3eefacbba918,0.9669487046029339,-1.5427187535294289,2.490658334326762,0.4233920429380765,2.972622142213776,0 3fdba35f04dc8c462986c992bcf875546257113072a909c162f7e470e581e278,-1.847252571492643,0.4969814473631169,1.6544165211185982,-1.9450069019776826,0.39415199332185435,1 8527a891e224136950ff32ca212b45bc93f69fbb801c3b1ebedac52775f99e61,0.1622108420432964,0.1771676208189943,4.55368226430978,-1.1032207991089722,2.375621631048501,0 e629fa6598d732768f7c726b4b621285f9c3b85303900aa912017db7617d8bdb,4.0527809556953,1.2053939486734313,3.260708709473611,1.1400990661834884,5.025657734758696,0 b17ef6d19c7a5b1ee83b907c595526dcb1eb06db8227d650d5dda0a9f4ce8cd9,-0.21563539406333465,0.5231489445682316,-2.639937297036372,2.3738020768486425,0.34341393069722226,1 4523540f1504cd17100c4835e85b7eefd49911580f8efff0599a8f283be6b9e3,-0.5935568930535046,-0.35175055806960276,0.9645122559090376,-0.017390131639078914,0.09256256476781644,1 4ec9599fc203d176a301536c2e091a19bc852759b255bd6818810a42c5fed14a,1.0066513658973761,-0.9724037855292317,1.314115256428494,0.363296291355055,5.171128738363806,0 9400f1b21cb527d7fa3d3eabba93557a18ebe7a2ca4e471cfe5e4c5b4ca7f767,0.1406977237605178,-1.455646778048175,-0.7223212422509906,1.265951206785454,-0.5504387433588089,1 表2 大数据厂商B的数据 字段名称 字段类型 描述 id string hash过后的手机号字符串 f0-f4 float 大数据厂商数据特征 bigdata_all.csv id,f0,f1,f2,f3,f4 5feceb66ffc86f38d952786c6d696c79c2dbc239dd4e91b46729d73a27fb57e9,-0.246852445,-1.761531756,-2.840375975,-0.562750693,-2.23499737 6b86b273ff34fce19d6b804eff5a3f5747ada4eaa22f1d49c01e52ddb7875b4b,-1.216062821,-1.093614452,-1.632396806,0.887601314,-4.40930101 4e07408562bedb8b60ce05c1decfe3ad16b72230967de01f640b7e4729b49fce,-0.150047899,-1.323266508,3.01679156,1.728583156,0.656158732 4b227777d4dd1fc61c6f884f48641d02b4d121d3fd328cb08b5531fcacdabf8a,-0.333871414,-1.21968931,-0.082894791,0.020390259,-0.076884947 ef2d127de37b942baad06145e54b0c619a1f22327b2ebbcfbec78f5564afe39d,-2.438861166,0.111880807,-3.51428545,1.123004835,0.228893969 e7f6c011776e8db7cd330b54174fd76f7d0216b612387a5ffcfb81e6f0919683,-2.759963795,0.405262468,1.264947591,1.027350049,1.293868423 7902699be42c8a8e46fbbb4501726517e86b22c56a189f7625a6da49081b2451,0.189352371,-0.607297495,-0.808339321,2.048455567,1.303872778 2c624232cdd221771294dfbb310aca000a0df6ac8b66b696d90ef06fdefb64a3,0.390064223,0.664175034,3.20228741,0.380574513,0.017733811 19581e27de7ced00ff1ce50b2047e7a567c76b1cbaebabe5ef03f7c3017bb5b7,0.379250902,1.962293246,0.066277661,3.083228267,1.952626328 4a44dc15364204a80fe80e9039455cc1608281820fe2b24f1e5233ade6af1dd5,-0.070919538,-2.219653517,1.461645551,1.66185096,0.778770954 4fc82b26aecb47d2868c4efbe3581732a3e7cbcc6c2efb32062c08170a05eeb8,-0.771151327,-1.184821181,-0.674077615,-0.379858223,0.158957184 6b51d431df5d7f141cbececcf79edf3dd861c3b4069f0b11661a3eefacbba918,-0.738091802,-1.474822882,2.93475295,-3.763763721,-1.817301398 3fdba35f04dc8c462986c992bcf875546257113072a909c162f7e470e581e278,-0.483250226,0.616586578,3.001851708,2.407914633,0.856369412 8527a891e224136950ff32ca212b45bc93f69fbb801c3b1ebedac52775f99e61,-0.789268594,1.071733834,3.763254446,-3.760298263,0.49776472 e629fa6598d732768f7c726b4b621285f9c3b85303900aa912017db7617d8bdb,-0.372531118,1.559382514,2.403559204,-0.041093457,0.169341125 b17ef6d19c7a5b1ee83b907c595526dcb1eb06db8227d650d5dda0a9f4ce8cd9,-2.773477116,-1.137653133,-1.50133841,0.82842642,-1.25476711 4523540f1504cd17100c4835e85b7eefd49911580f8efff0599a8f283be6b9e3,-1.542814756,1.019110477,1.395515599,0.539956076,0.100325065 4ec9599fc203d176a301536c2e091a19bc852759b255bd6818810a42c5fed14a,0.024227451,-1.087235302,3.67470964,-2.420729037,-3.132456573 其中为了保证数据安全,企业A和大数据厂商B通过讨论决定使用hash过后的手机号作为已有数据的唯一标识id字段,并将唯一标识作为数据对齐的依据。 父主题: 使用 TICS 可信联邦学习进行联邦建模
  • IEF服务委托授权 使用主账号访问IEF服务首页,单击“同意授权”,IEF将在 统一身份认证 服务为您创建名为ief_admin_trust的委托。 图1 IEF服务授权 ief_admin_trust委托具有Tenant Administrator权限。Tenant Administrator拥有除IAM管理外的全部云服务管理员权限,用于对IEF所依赖的其他云服务资源进行调用,且该授权仅在当前区域生效。
  • CCE服务委托授权 由于CCE在运行中对计算、存储、网络以及监控等各类云服务资源都存在依赖关系,因此当您首次登录CCE控制台时,CCE将自动请求获取当前区域下的云资源权限,从而更好地为您提供服务。 CCE的服务授权为全局配置,只要您所使用的账号在当前Region曾经进行过服务授权,则无需重新配置,可以跳过本节操作。 图1 服务授权 当您同意授权后,CCE将在IAM中创建名为“cce_admin_trust”委托,统一使用系统账户“op_svc_cce”对您的其他云服务资源进行操作,cce_admin_trust委托具有Tenant Administrator权限。Tenant Administrator拥有除IAM管理外的全部云服务管理员权限,用于对CCE所依赖的其他云服务资源进行调用,且该授权仅在当前区域生效。关于资源委托详情,您可参考委托进行了解。
  • 操作步骤 进入TI CS 服务控制台。 在计算节点管理中,找到购买的计算节点,通过登录地址,进入计算节点控制台。 图1 前往计算节点 登录到计算节点后,进入数据管理并进行数据集发布。 图2 数据管理中新建数据集 参考下图填写参数信息。(1)指定连接器为localConnector,选择数据文件的路径,填写数据名称;(2)字段配置中特征字段(x_{特征序号})均配置为字段类型:FLOAT,字段类别:特征,特征类型:连续;标签字段(label)配置为字段类型:INTEGER,字段类别:标签。 图3 配置数据集参数 发布数据集。 图4 发布数据集 数据集发布的过程并不会直接从数据源中导出用户数据,仅从数据源处获取了数据集相关的元数据信息,用于任务的解析、验证等。
  • 发起联邦预测 企业A单击“发起预测”按钮,选择己方和大数据厂商B的预测数据集,单击确定即可发起预测。 TICS服务会对两方的数据先进行样本对齐,并对双方共有的数据进行联邦预测,预测的结果会保存在企业A(作业发起方)的计算节点上。企业A可以通过obs服务或者登录到计算节点后台获取到对应路径的文件。 当只有一方提供特征时,预测的结果如下,第一列是用户的id,第二列是用户是否是高价值用户的标签,第三列、第四列是对应的概率: id,label,proba_0,proba_1 4e07408562bedb8b60ce05c1decfe3ad16b72230967de01f640b7e4729b49fce, 1,0.268941,0.731059 2c624232cdd221771294dfbb310aca000a0df6ac8b66b696d90ef06fdefb64a3, 0,0.731059,0.268941 8527a891e224136950ff32ca212b45bc93f69fbb801c3b1ebedac52775f99e61, 0,0.731059,0.268941 可以看出企业A提供的预测数据集中有部分用户被模型预测成了高价值的客户,后续企业A可以对这一部分用户进行定向精准营销,缩小营销广告的投放范围,减少了营销的成本。 当两方都提供特征时,预测结果分为对齐id文件(只有一列id)和预测结果文件(包括预测结果标签、0的概率、1的概率),两个文件的行数相等且每一行相互对应。 至此,企业A完成了整个TICS联邦建模的流程,并将模型应用到了营销业务当中。这个预测作业可以作为后续持续预测的依据,企业A可以定期地使用模型预测自己的新业务数据。同时企业A也可以根据新积累的数据训练出新的模型,进一步优化模型预测的精确率,再创建新的联邦预测作业,产出更精准的预测结果供业务使用。 父主题: 使用TICS联邦预测进行新数据离线预测
  • 使用TICS的用户角色 根据人员的职能进行划分,使用TICS的用户主要可以分为以下两类。 组织方 面向熟悉业务并具有管理、决策、审核权限的管理人员。组织方具有TICS的所有权限,包括创建空间、邀请空间成员、删除空间等权限。例如,在创建空间模块中,组织方可以对合作方人员发布的数据进行审核,把好质量关。 合作方 合作方使用数据源计算节点模块实现自主可控的数据源注册、隐私策略(脱敏、加密、水印)的设定、元数据的发布等,为数据源计算节点提供全生命周期的可靠性监控、运维管理。
  • CCE服务委托授权 由于CCE在运行中对计算、存储、网络以及监控等各类云服务资源都存在依赖关系,因此当您首次登录CCE控制台时,CCE将自动请求获取当前区域下的云资源权限,从而更好地为您提供服务。 CCE的服务授权为全局配置,只要您所使用的账号在当前Region曾经进行过服务授权,则无需重新配置,可以跳过本节操作。 图1 服务授权 当您同意授权后,CCE将在IAM中创建名为“cce_admin_trust”委托,统一使用系统账户“op_svc_cce”对您的其他云服务资源进行操作,cce_admin_trust委托具有Tenant Administrator权限。Tenant Administrator拥有除IAM管理外的全部云服务管理员权限,用于对CCE所依赖的其他云服务资源进行调用,且该授权仅在当前区域生效。关于资源委托详情,您可参考委托进行了解。
  • 修订记录 发布日期 修订记录 2024-05-06 新增怎样升级 DLI 作业的引擎版本。 2024-04-29 移动计费类常见问题至计费说明手册中。 2024-04-07 修改通用队列操作OBS表如何设置AK/SK。 2024-03-30 新增执行SQL作业时产生数据倾斜怎么办?。 2024-01-30 新增怎样查看弹性资源池和作业的资源使用情况?。 2023-05-11 新增在使用Spark2.3.x访问元数据时,DataSource语法创建avro类型的OBS表创建失败。 2023-03-31 新增为什么Spark3.x的作业日志中打印找不到global_temp数据库。 2022-10-28 新增创建跨源成功但测试网络连通性失败怎么办?。 2022-10-10 常见问题手册结构调整。 新增DLI Flink与 MRS Flink有什么区别?。 2022-09-29 新增SQL作业使用咨询。 新增Spark作业使用咨询。
  • 安全组规则修改(可选) 该解决方案使用22端口用来远程登录弹性云服务器 ECS,默认对该方案创建的VPC子网网段放开,请参考修改安全组规则,配置IP地址白名单,以便能正常访问服务。 安全组实际是网络流量访问策略,包括网络流量入方向规则和出方向规则,通过这些规则为安全组内具有相同保护需求并且相互信任的云服务器、云容器、云数据库等实例提供安全保护。 如果您的实例关联的安全组策略无法满足使用需求,比如需要添加、修改、删除某个TCP端口,请参考以下内容进行修改。 添加安全组规则:根据业务使用需求需要开放某个TCP端口,请参考添加安全组规则添加入方向规则,打开指定的TCP端口。 修改安全组规则:安全组规则设置不当会造成严重的安全隐患。您可以参考修改安全组规则,来修改安全组中不合理的规则,保证云服务器等实例的网络安全。 删除安全组规则:当安全组规则入方向、出方向源地址/目的地址有变化时,或者不需要开放某个端口时,您可以参考删除安全组规则进行安全组规则删除。
  • CloudExplorer Lite功能界面 单击顶部导航栏中的首页,进入主页功能界面。 图10 首页 单击左侧导航栏,左侧固定模块菜单,包含管理中心、云主机服务、云账单、运营分析、安全合规五个服务模块,单击图标便可切换到相应的模块中。 图11 功能界面 管理中心是云管平台的核心能力之一,CloudExplorer Lite 为用户提供多租户、多角色的管理模型;采用模块化设计,即插即用,提供模块管理。企业可以轻松部署不同模块,从而扩大对云基础设施的管理范围; 图12 管理中心 云主机管理提供统一的云主机生命周期管理操作和监控界面,基于既有的用户管理体系,用户可创建、可操作的资源都具有租户隔离属性。 图13 云主机管理 云账单提供统一的费用管理、费用分摊、自定义多维度账单功能,可作为企业的云资源成本分析中心,能够帮助企业用户有效降低云上资源的成本管理难度。 图14 云账单 运营分析能够对企业现有的云资源从分布、容量、使用情况等多个维度进行分析,并提供资源优化建议。 图15 运营分析 安全合规支持一键扫描多个云平台的多种云资源,可灵活定义规则。 图16 安全合规 更加详细的使用请参考:https://fit2cloud.com/cloudexplorer-lite/docs/user_manual/homepage/
共100000条