云服务器内容精选

  • 获取数据目录的guid 每个业务资产、技术资产或指标资产都具备guid,guid是资产的唯一标识符。在调用数据目录或数据地图接口时,部分URL中需要填入guid。 在数据地图或数据目录组件中,数据资产guid的获取步骤如下: 在DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择“数据地图”或对应工作空间的“数据目录”,进入数据地图或数据目录页面。 图3 选择数据地图或数据目录 按下F12,打开开发者调试工具,然后选择Network功能。 图4 选择Network 在数据地图的“首页”界面或“数据搜索”界面,或者在数据目录的“总览”界面或“数据目录”界面,选择需要查询guid的资产,并点击资产名进入资产详情页。 在Network请求中,寻找Name形如“09318f28-939f-4ab6-a374-9e621096652c”的长字符串。 图5 寻找长字符串 点击该字符串,弹出具体请求的弹窗。在Request URL中,可以确认该字符串即为该资产的guid。 图6 获取guid
  • 获取DataArts Studio实例ID和工作空间ID DataArts Studio的实例ID和工作空间ID可以从DataArts Studio控制台的URI链接中获取。 在DataArts Studio控制台首页,选择对应工作空间,并点击任一模块,如“管理中心”。 进入管理中心页面后,从浏览器地址栏中获取“instanceId”和“workspace”对应的值,即为DataArts Studio的实例ID和工作空间ID。 如图2所示,实例ID为6b88…2688,工作空间ID为1dd3bc…d93f0。 图2 获取实例ID和工作空间ID
  • 获取终端节点 终端节点(Endpoint)即调用API的请求地址,不同服务不同区域的终端节点不同。 数据治理中心的终端节点Endpoint构造规则如下,请您根据业务需要选择对应区域的终端节点。 CDM数据集成接口:cdm.{region_id}.myhuaweicloud.com,具体如表1所示。 DLF数据开发V1接口:dayu-dlf.{region_id}.myhuaweicloud.com,具体如表2所示。 DLF数据开发V2接口:dayu.{region_id}.myhuaweicloud.com,具体如表2所示。 DataArts Studio其他组件接口(如管理中心、数据架构、数据质量、数据目录、数据服务、数据安全、数据地图等):dayu.{region_id}.myhuaweicloud.com,具体如表3所示。 表1 CDM数据集成Endpoint 区域名称 区域ID 终端节点(Endpoint) 协议类型 华北-北京一 cn-north-1 cdm.cn-north-1.myhuaweicloud.com HTTPS 华北-北京二 cn-north-2 cdm.cn-north-2.myhuaweicloud.com HTTPS 华北-北京四 cn-north-4 cdm.cn-north-4.myhuaweicloud.com HTTPS 华北-乌兰察布一 cn-north-9 cdm.cn-north-9.myhuaweicloud.com HTTPS 华东-上海一 cn-east-3 cdm.cn-east-3.myhuaweicloud.com HTTPS 华东-上海二 cn-east-2 cdm.cn-east-2.myhuaweicloud.com HTTPS 华南-广州 cn-south-1 cdm.cn-south-1.myhuaweicloud.com HTTPS 西南-贵阳一 cn-southwest-2 cdm.cn-southwest-2.myhuaweicloud.com HTTPS 表2 数据开发Endpoint 区域名称 区域ID V1接口终端节点(Endpoint) V2接口终端节点(Endpoint) 协议类型 华北-北京一 cn-north-1 dayu-dlf.cn-north-1.myhuaweicloud.com dayu.cn-north-1.myhuaweicloud.com HTTPS 华北-北京二 cn-north-2 dayu-dlf.cn-north-2.myhuaweicloud.com dayu.cn-north-2.myhuaweicloud.com HTTPS 华北-北京四 cn-north-4 dayu-dlf.cn-north-4.myhuaweicloud.com dayu.cn-north-4.myhuaweicloud.com HTTPS 华北-乌兰察布一 cn-north-9 dayu-dlf.cn-north-9.myhuaweicloud.com dayu.cn-north-9.myhuaweicloud.com HTTPS 华东-上海一 cn-east-3 dayu-dlf.cn-east-3.myhuaweicloud.com dayu.cn-east-3.myhuaweicloud.com HTTPS 华东-上海二 cn-east-2 dayu-dlf.cn-east-2.myhuaweicloud.com dayu.cn-east-2.myhuaweicloud.com HTTPS 华南-广州 cn-south-1 dayu-dlf.cn-south-1.myhuaweicloud.com dayu.cn-south-1.myhuaweicloud.com HTTPS 西南-贵阳一 cn-southwest-2 dayu-dlf.cn-southwest-2.myhuaweicloud.com dayu.cn-southwest-2.myhuaweicloud.com HTTPS 表3 其他组件Endpoint 区域名称 区域ID 终端节点(Endpoint) 协议类型 华北-北京一 cn-north-1 dayu.cn-north-1.myhuaweicloud.com HTTPS 华北-北京二 cn-north-2 dayu.cn-north-2.myhuaweicloud.com HTTPS 华北-北京四 cn-north-4 dayu.cn-north-4.myhuaweicloud.com HTTPS 华北-乌兰察布一 cn-north-9 dayu.cn-north-9.myhuaweicloud.com HTTPS 华东-上海一 cn-east-3 dayu.cn-east-3.myhuaweicloud.com HTTPS 华东-上海二 cn-east-2 dayu.cn-east-2.myhuaweicloud.com HTTPS 华南-广州 cn-south-1 dayu.cn-south-1.myhuaweicloud.com HTTPS 西南-贵阳一 cn-southwest-2 dayu.cn-southwest-2.myhuaweicloud.com HTTPS
  • 背景信息 只有拥有DAYU Administrator或Tenant Administrator权限的用户才可以购买DataArts Studio实例或DataArts Studio增量包。如需购买,您需要给用户授予所需的权限。 Tenant Administrator策略具有所有云服务的管理员权限(除IAM管理权限之外),为安全起见,一般不建议给IAM用户授予该权限,请谨慎操作。 只有拥有Security Administrator权限的用户才创建云服务委托。云服务委托可将相关云服务的操作权限委托给DataArts Studio,让DataArts Studio以您的身份使用这些云服务,代替您进行一些任务调度、资源运维等工作。
  • 按需计费方式购买数据集成集群 购买“按需计费”增量包,系统会按照您所选规格自动创建一个数据集成CDM集群。 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面,参见表1进行配置。 表1 配置数据集成的增量包 参数 说明 增量包类型 选择批量数据迁移增量包。 计费方式 选择按需计费。 可用区 第一次购买DataArts Studio实例或增量包时,可用区无要求。 再次购买DataArts Studio实例或增量包时,是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 工作空间 选择需要使用批量数据迁移增量包的工作空间。只有在关联了工作空间后,才能在此工作空间中使用创建的CDM集群。 企业项目 当关联了多个工作空间后,需要为CDM集群指定一个企业项目。 集群名称 自定义数据集成集群名称。 实例类型 目前数据集成集群支持以下部分规格供用户选择: cdm.large:8核CPU、16G内存的虚拟机,最大带宽/基准带宽为3/0.8 Gbps,集群作业并发数上限为16。 cdm.xlarge:16核CPU、32G内存的虚拟机,最大带宽/基准带宽为10/4 Gbps,集群作业并发数上限为32,适合使用10GE高速带宽进行TB级以上的数据量迁移。 cdm.4xlarge:64核CPU、128G内存的虚拟机,最大带宽/基准带宽为40/36 Gbps,集群作业并发数上限为128。 购买DataArts Studio赠送的4核CPU、8G内存的虚拟机,仅支持作业单并发运行。 虚拟私有云 DataArts Studio实例中的数据集成CDM集群所属的VPC、子网、安全组。 如果DataArts Studio实例或CDM集群需连接云上服务(如DWS、MRS、RDS等),则您需要确保CDM集群与该云服务网络互通。同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通,如果同虚拟私有云而子网或安全组不同,还需配置路由规则及安全组规则。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 说明: 目前CDM实例创建完成后不支持切换VPC、子网、安全组,请谨慎选择。 此处支持选择共享VPC子网,即由VPC的所有者将VPC内的子网共享给当前账号,由当前账号在购买CDM集群时选择共享VPC子网。通过共享VPC子网功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。如何共享VPC子网,请参考《共享VPC》。 子网 安全组 IPv6双栈支持 开启IPv6双栈后,集群内网IP支持IPv4和IPv6,可通过IPv4或IPv6内网地址访问集群。 说明: 开启IPv6双栈后,仅支持选择已开启IPv6网段的子网。如果待选择的子网未开启IPv6网段,则需要在虚拟私有云VPC服务中开启。 仅支持为内网IP启用IPv6双栈,暂不支持为公网IP启用IPv6双栈。 集群创建好以后不支持修改规格,如果需要使用更高规格,需要重新创建。 单击“立即购买”,确认规格后单击“创建”。 购买成功后,即可返回对应的工作空间查看已购买的数据集成集群。
  • 套餐包方式购买数据集成集群 如果您希望享受“套餐包”的优惠价格,您需要先购买一个“套餐包”增量包,再购买一个和“套餐包”增量包具有相同区域和规格的“按需计费”增量包。 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面,按照如下配置: 增量包类型:选择批量数据迁移增量包。 计费方式:选择套餐包。 购买时长:表示此套餐包的有效时长。 购买数量:表示购买套餐包的数量。例如当购买时长选择1个月,购买数量选择2,那么您将拥有1490小时的额度,有效期是1个月。 单击“立即购买”,确认规格后提交订单。 购买套餐包成功后,系统不会自动创建数据集成集群。此时您还需要参考按需计费方式购买数据集成集群再购买一个和“套餐包”具有相同区域和规格的“按需计费”增量包,创建成功后您即可享受套餐包的优惠价格。
  • 购买数据服务专享集群 单击已开通实例卡片上的“购买增量包”。 进入购买DataArts Studio增量包页面,参见表2进行配置。 表2 购买数据服务专享版实例参数说明 参数项 说明 增量包类型 选择数据服务专享集群增量包。 计费方式 实例收费方式,当前支持“包年包月”。 工作空间 选择需要使用数据服务专享集群增量包的工作空间。例如需要在DataArts Studio实例的工作空间A中使用数据服务专享版,则此处工作空间应选择为A。集群购买成功后,即可通过在工作空间A查看到创建好的数据服务专享集群。 可用区 第一次购买DataArts Studio实例或批增量包时,可用区无要求。 再次购买DataArts Studio实例或增量包时,是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延的要求。 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。 如果您的应用要求实例之间的网络延时较低,则建议您将资源创建在同一可用区内。 详情请参见什么是可用区。 集群名称 - 集群描述 可以自定义对当前数据服务专享版集群的描述。 版本 当前数据服务专享版的集群版本。 集群规格 不同实例规格,对API数量的支持能力不同。 公网入口 开启“公网入口”,即允许外部服务通过公网地址,调用专享版实例创建的API。 带宽大小 可配置公网带宽范围。 虚拟私有云 DataArts Studio实例中的数据服务专享版集群所属的VPC、子网、安全组。 在相同VPC、子网、安全组中的云服务资源(如ECS),可以使用数据服务专享版实例的私有地址调用API。建议将专享版集群和您的其他关联业务配置一个相同的VPC、子网、安全组,确保网络安全的同时,方便网络配置。 VPC、子网、安全组的详细操作,请参见《虚拟私有云用户指南》。 说明: 目前专享版集群创建完成后不支持切换VPC、子网、安全组,请谨慎选择。 如果开启公网入口,安全组入方向需要放开80(HTTP)和443(HTTPS)端口的访问权限。 此处支持选择共享VPC子网,即由VPC的所有者将VPC内的子网共享给当前账号,由当前账号在购买数据服务专享版集群时选择共享VPC子网。通过共享VPC子网功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。如何共享VPC子网,请参考《共享VPC》。 子网 安全组 企业项目 DataArts Studio专享版集群关联的企业项目。企业项目管理是一种按企业项目管理云资源的方式,具体请参见企业管理用户指南。 节点数量 - 购买时长 - 单击“立即购买”,确认规格后提交。
  • 背景说明 购买DataArts Studio实例的用户,系统将默认为其创建一个默认的工作空间“default”,并赋予该用户为管理员角色。 在主账号创建的DataArts Studio实例中,该账号下的IAM用户如需创建工作空间,需要由主账号给IAM用户赋予DAYU Administrator或Tenant Administrator权限。在子用户创建的DataArts Studio实例中,主账号默认具有该DataArts Studio实例的所有执行权限。 具备DAYU User账号权限的用户,只有当其被添加为工作空间的成员后,才可以访问该工作空间。
  • 什么是数据资产入表 所谓“数据资产入表”,是指数据资产入资产负债表,将数据确认为企业资产负债表中“资产”一项,在财务报表中体现其真实价值与业务贡献。 数据资产入表后,可以准确计量数据资源价值,同时为财报使用者提供更直观的数据资产相关信息,有助于投资者对企业进行更好的估值;可以改善企业财务报表,进而降低资产负债率,提升利润率;数据入表后可以通过数据交易为企业增值,并促进数据资产开发的相关投入。 企业数据资产的计量方法分为成本法、收益法、市场法。具体每个企业有哪些数据资产能入表,怎么开展相关工作,成为各企业的核心问题。能够入表的数据资源必须满足很多要求,首先,必须是企业合法拥有的数据,需要做完整合规授权的检查。第二是精确可计量。第三,要确保这些数据在企业生产经营过程中,创造了经济利益价值。比如,很多企业用数据做了统计分析报表,并不代表企业这些数据真正在业务上直接创造了营收。
  • 维度建模 维度建模是从分析决策的需求出发构建多维模型,它主要是为分析需求服务,因此它重点关注用户如何更快速地完成需求分析,同时具有较好的大规模复杂查询的响应性能。 多维模型是由数字型度量值组成的一张事实表连接到一组包含描述属性的多张维度表,事实表与维度表通过主/外键实现关联。 在DataArts Studio数据架构中,维度建模是以维度建模理论为基础,构建总线矩阵、抽象出事实和维度,构建维度模型和事实模型,同时对报表需求进行抽象整理出相关指标体系,构建出汇总模型。
  • DataArts Studio实例 DataArts Studio实例是数据治理中心给用户提供的最小计算资源单位。数据治理中心以DataArts Studio实例的方式提供给用户,用户可以同时创建多个DataArts Studio实例,并分别管理和访问每个DataArts Studio实例。每个DataArts Studio实例具有用户指定的基础计算资源,包含管理中心、数据架构、数据集成、数据开发、数据质量、数据目录等组件。用户可根据业务需要申请相应规格的DataArts Studio实例。
  • 调用API示例 在工程中引入sdk(signer.go)。 import "apig-sdk/go/core" 生成一个新的Signer,输入AppKey和AppSecret。 // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。 ak = os.Getenv("SDK_AK"); sk = os.Getenv("SDK_SK"); s := core.Signer{ Key: ak, Secret: sk, } 生成一个新的Request,指定域名、方法名、请求url、query和body。 r, _ := http.NewRequest("POST", "http:/c967a237-cd6c-470e-906f-a8655461897e.apigw.cn-north-1.huaweicloud.com/api?a=1&b=2", ioutil.NopCloser(bytes.NewBuffer([]byte("foo=bar")))) 给请求添加header头,内容为具体参数数据。如有需要,添加需要签名的其他头域。 r.Header.Add("x-stage", "RELEASE") r.Header.Add("name","value") 进行签名,执行此函数会在请求中添加用于签名的X-Sdk-Date头和Authorization头。然后为请求添加x-Authorization头,值与Authorization头相同。 s.Sign(r) authorization := r.Header.Get("Authorization") r.Header.Add("x-Authorization", authorization) 访问API,查看访问结果。 resp, err := http.DefaultClient.Do(r) body, err := ioutil.ReadAll(resp.Body)
  • 准备环境 已获取API的域名、请求url、请求方法、AppKey和AppSecret等信息,具体参见认证前准备。 获取并安装Nodejs安装包,如果未安装,请至Nodejs官方网站下载。 Nodejs安装后,在命令行中,用npm安装“moment”和“moment-timezone”模块。 npm install moment --save npm install moment-timezone --save 获取并安装IntelliJ IDEA,如果未安装,请至IntelliJ IDEA官方网站下载。 已在IntelliJ IDEA中安装NodeJS插件,如果未安装,请按照图1所示安装。 图1 安装NodeJS插件
  • 调用API(Node.js)示例 在工程中引入signer.js。 1 2 var signer = require('./signer') var http = require('http') 生成一个新的Signer,填入AppKey和AppSecret。 1 2 3 4 5 6 7 8 // 认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全; // 本示例以ak和sk保存在环境变量中来实现身份验证为例,运行本示例前请先在本地环境中设置环境变量SDK_AK和SDK_SK。 var ak = process.env.SDK_AK; var sk = process.env.SDK_SK; var sig = new signer.Signer(); sig.Key = ak; sig.Secret = sk; 生成一个Request对象,指定方法名、请求uri和body。 1 2 var r = new signer.HttpRequest("POST", "c967a237-cd6c-470e-906f-a8655461897e.apigw.cn-north-1.huaweicloud.com/app1?a=1"); r.body = '{"a":1}' 给请求添加header头,内容为具体参数数据。如有需要,添加需要签名的其他头域。 1 r.headers = { "x-stage":"RELEASE", "name":"value"} 进行签名,执行此函数会生成请求参数,用于创建http(s)请求,请求参数中添加了用于签名的X-Sdk-Date头和Authorization头。然后为请求参数添加x-Authorization头,值与Authorization头相同。 1 2 var opt = sig.Sign(r) opt.headers["x-Authorization"] = opt.headers["Authorization"] 访问API,查看访问结果。如果使用https访问,则将“http.request”改为“https.request”。 1 2 3 4 5 6 7 8 9 10 11 var req=http.request(opt, function(res){ console.log(res.statusCode) res.on("data", function(chunk){ console.log(chunk.toString()) }) }) req.on("error",function(err){ console.log(err.message) }) req.write(r.body) req.end()
  • 调用API示例 使用JavaScript SDK生成curl命令。 获取“ApiGateway-javascript-sdk.zip”压缩包并解压。在浏览器中打开demo.html,页面如下图所示。 填入Key、Secret、方法名、请求协议、域名和url(认证用的ak和sk编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全)。本示例从前端输入,仅用于演示,例如: 1 2 3 4 Key=4f5f626b-073f-402f-a1e0-e52171c6100c Secret=****** Method=POST Url=https://{apig-endpoint} 填入json格式的Query和Headers,填入Body。其中所访问API的ID为必填项,需要填入具体的ID信息,以参数"x-api-id"填入Headers中。 单击“Send request”,生成curl命令。 $ curl -X POST "https://{apig-endpoint}/" -H "X-Sdk-Date: 20180530T115847Z" -H "Authorization: SDK-HMAC-SHA256 Access=071fe245-9cf6-4d75-822d-c29945a1e06a, SignedHeaders=host;x-sdk-date, Signature=9e5314bd156d517******dd3e5765fdde4" -d "" 为命令添加x-Authorization头,值与Authorization头相同。将curl命令复制到命令行,访问API。 $ curl -X POST "https://{apig-endpoint}/" -H "X-Sdk-Date: 20180530T115847Z" -H "Authorization: SDK-HMAC-SHA256 Access=071fe245-9cf6-4d75-822d-c29945a1e06a, SignedHeaders=host;x-sdk-date, Signature=9e5314bd156d517******dd3e5765fdde4" -H "X-Authorization: SDK-HMAC-SHA256 Access=071fe245-9cf6-4d75-822d-c29945a1e06a, SignedHeaders=host;x-sdk-date, Signature=9e5314bd156d517******dd3e5765fdde4" -d "" Congratulations, sdk demo is running