华为云用户手册

  • 排查思路 根据具体事件信息确定具体问题原因,如表1所示。 表1 实例拉取镜像失败 事件信息 问题原因与解决方案 Failed to pull image "xxx": rpc error: code = Unknown desc = Error response from daemon: Get xxx: denied: You may not login yet 没有登录镜像仓库,无法拉取镜像。 排查项一:kubectl创建工作负载时未指定imagePullSecret Failed to pull image "nginx:v1.1": rpc error: code = Unknown desc = Error response from daemon: Get https://registry-1.docker.io/v2/: dial tcp: lookup registry-1.docker.io: no such host 镜像地址配置有误找不到镜像导致失败。 排查项二:填写的镜像地址错误(使用第三方镜像时) 排查项三:使用错误的密钥(使用第三方镜像时) Failed create pod sandbox: rpc error: code = Unknown desc = failed to create a sandbox for pod "nginx-6dc48bf8b6-l8xrw": Error response from daemon: mkdir xxxxx: no space left on device 磁盘空间不足。 排查项四:节点磁盘空间不足 Failed to pull image "xxx": rpc error: code = Unknown desc = error pulling image configuration: xxx x509: certificate signed by unknown authority 从第三方仓库下载镜像时,第三方仓库使用了非知名或者不安全的证书. 排查项五: 远程镜像仓库使用非知名或不安全的证书 Failed to pull image "XXX": rpc error: code = Unknown desc = context canceled 镜像体积过大。 排查项六: 镜像过大导致失败 Failed to pull image "docker.io/bitnami/nginx:1.22.0-debian-11-r3": rpc error: code = Unknown desc = Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers) 排查项七:无法连接镜像仓库 ERROR: toomanyrequests: Too Many Requests. 或 you have reached your pull rate limit, you may increase the limit by authenticating an upgrading 由于拉取镜像次数达到上限而被限速。 排查项八:拉取公共镜像达上限
  • 排查项四:节点磁盘空间不足 当k8s事件中包含以下信息,表明节点上用于存储镜像的磁盘空间已满,会导致重新拉取镜像失败。您可以通过清理镜像或扩容磁盘解决该问题。 Failed create pod sandbox: rpc error: code = Unknown desc = failed to create a sandbox for pod "nginx-6dc48bf8b6-l8xrw": Error response from daemon: mkdir xxxxx: no space left on device 您可以执行以下命令,确认节点上存储镜像的磁盘空间: lvs 方案一:清理镜像 您可以执行以下步骤清理未使用的镜像: 使用containerd容器引擎的节点: 查看节点上的本地镜像。 crictl images -v 确认镜像无需使用,并通过镜像ID删除无需使用的镜像。 crictl rmi {镜像ID} 使用docker容器引擎的节点: 查看节点上的本地镜像。 docker images 确认镜像无需使用,并通过镜像ID删除无需使用的镜像。 docker rmi {镜像ID} 请勿删除cce-pause等系统镜像,否则可能导致无法正常创建容器。 方案二:扩容磁盘 扩容磁盘的操作步骤如下: 在EVS界面扩容数据盘。 登录CCE控制台,进入集群,在左侧选择“节点管理”,单击节点后的“同步云服务器”。 登录目标节点。 使用lsblk命令查看节点块设备信息。 这里存在两种情况,根据容器存储Rootfs而不同。 Overlayfs,没有单独划分thinpool,在dockersys空间下统一存储镜像相关数据。 # lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT vda 8:0 0 50G 0 disk └─vda1 8:1 0 50G 0 part / vdb 8:16 0 200G 0 disk ├─vgpaas-dockersys 253:0 0 90G 0 lvm /var/lib/docker # 容器引擎使用的空间 └─vgpaas-kubernetes 253:1 0 10G 0 lvm /mnt/paas/kubernetes/kubelet # kubernetes使用的空间 在节点上执行如下命令, 将新增的磁盘容量加到dockersys盘上。 pvresize /dev/vdb lvextend -l+100%FREE -n vgpaas/dockersys resize2fs /dev/vgpaas/dockersys Devicemapper,单独划分了thinpool存储镜像相关数据。 # lsblk NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT vda 8:0 0 50G 0 disk └─vda1 8:1 0 50G 0 part / vdb 8:16 0 200G 0 disk ├─vgpaas-dockersys 253:0 0 18G 0 lvm /var/lib/docker ├─vgpaas-thinpool_tmeta 253:1 0 3G 0 lvm │ └─vgpaas-thinpool 253:3 0 67G 0 lvm # thinpool空间 │ ... ├─vgpaas-thinpool_tdata 253:2 0 67G 0 lvm │ └─vgpaas-thinpool 253:3 0 67G 0 lvm │ ... └─vgpaas-kubernetes 253:4 0 10G 0 lvm /mnt/paas/kubernetes/kubelet 在节点上执行如下命令, 将新增的磁盘容量加到thinpool盘上。 pvresize /dev/vdb lvextend -l+100%FREE -n vgpaas/thinpool 在节点上执行如下命令, 将新增的磁盘容量加到dockersys盘上。 pvresize /dev/vdb lvextend -l+100%FREE -n vgpaas/dockersys resize2fs /dev/vgpaas/dockersys
  • 排查项一:kubectl创建工作负载时未指定imagePullSecret 当工作负载状态异常并显示“实例拉取镜像失败”的K8s事件时,请排查yaml文件中是否存在imagePullSecrets字段。 排查事项: 当Pull SWR容器镜像 仓库的镜像时,name参数值需固定为default-secret。 apiVersion: extensions/v1beta1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchLabels: app: nginx strategy: type: RollingUpdate template: metadata: labels: app: nginx spec: containers: - image: nginx imagePullPolicy: Always name: nginx imagePullSecrets: - name: default-secret Pull第三方镜像仓库的镜像时,需设置为创建的secret名称。 kubectl创建工作负载拉取第三方镜像时,需指定的imagePullSecret字段,name表示pull镜像时的secret名称,创建密钥的方法请参见使用kubectl创建第三方镜像仓库的密钥。
  • 排查项七:无法连接镜像仓库 问题现象 创建工作负载时报如下错误。 Failed to pull image "docker.io/bitnami/nginx:1.22.0-debian-11-r3": rpc error: code = Unknown desc = Error response from daemon: Get https://registry-1.docker.io/v2/: net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers) 问题原因 无法连接镜像仓库,网络不通。SWR仅支持直接拉取Docker官方的镜像,其他仓库的镜像需要连接公网。 解决方案: 方案一:给需要下载镜像的节点绑定公网IP。 方案二:先将镜像上传到SWR,然后从SWR拉取镜像。
  • 使用CCE设置工作负载访问方式时,端口如何填写? CCE支持工作负载的内部互访和被互联网访问两种方式。 内部访问:包括集群内访问(通过集群虚拟IP)和节点访问(通过节点私有IP)两种方式。 表1 内部访问类型说明 内部访问类型 说明 端口如何填写 集群内访问(通过集群虚拟IP) 用于“工作负载之间的互访”,例如某个后端工作负载需要和前端工作负载互访,就需要选择该类型来实现内部互访。 集群虚拟IP,即Cluster IP,是在工作负载设置此访问类型后,就会自动分配一个可用的Cluster IP。 容器端口:指容器中工作负载启动监听的端口。端口根据每个业务的不同而不同,一般在容器镜像中已指定。 服务端口:指该容器工作负载发布为服务后,所设定的服务端口号,请填写1-65535之间的整数值。在内部工作负载互访时,将通过“Cluster IP:访问端口”来访问。 节点访问(通过节点私有IP) 可以通过“节点IP:节点端口”的形式访问工作负载。若该节点绑定了弹性IP,则外网就可以访问该工作负载。 容器端口:指容器中工作负载启动监听的端口。端口根据每个业务的不同而不同,一般在容器镜像中已指定。 服务端口:指该容器工作负载发布为服务后,所设定的服务端口号,请填写1-65535之间的整数值。 节点端口:指容器映射到节点上的端口。配置完成后,系统会在用户所在项目的所有节点上打开一个真实的端口号。访问工作负载时可以通过“节点IP:节点端口”来访问工作负载。 如无特殊需求,选择“自动生成”即可,系统会自动分配访问端口号。若选择“指定端口”,请填写30000-32767之间的整数,且确保集群内该值唯一。 外部访问:包括节点访问(通过弹性IP)、负载均衡和DNAT网关三种方式。 表2 外部访问类型说明 外部访问类型 说明 端口如何填写 节点访问(通过弹性IP) 为节点绑定弹性IP,访问工作负载时,通过“节点弹性IP:节点端口”的形式访问工作负载。工作负载可被公网访问。 容器端口:指容器中工作负载启动监听的端口。端口根据每个业务的不同而不同,一般在容器镜像中已指定。 服务端口:指该容器工作负载发布为服务后,所设定的服务端口号,请填写1-65535之间的整数值。 节点端口:指容器映射到节点上的端口。配置完成后,系统会在用户所在项目的所有节点上打开一个真实的端口号。访问工作负载时可以通过“节点IP:节点端口”来访问工作负载。 如无特殊需求,选择“自动生成”即可,系统会自动分配访问端口号。若选择“指定端口”,请填写30000-32767之间的整数,且确保集群内该值唯一。 负载均衡 负载均衡通过将访问流量自动分发到多台节点,扩展工作负载系统对外的服务能力,实现更高水平的工作负载程序容错性能。 您需要提前创建负载均衡实例,并在CCE访问类型中选择负载均衡实例。 容器端口:指容器中工作负载启动监听的端口。端口根据每个业务的不同而不同,一般在容器镜像中已指定。 服务端口:代表负载均衡上注册的对外端口,请填写1-65535之间的整数值。外部用户使用“ELB的VIP:服务端口”访问工作负载。 DNAT网关 NAT网关提供 网络地址转换 服务,使多个云服务器可以共享弹性公网IP。 您需要提前创建公网NAT网关实例。 容器端口:指容器中工作负载启动监听的端口。端口根据每个业务的不同而不同,一般在容器镜像中已指定。 服务端口:代表NAT网关上注册的对外端口,请填写1-65535之间的整数值。系统会自动创建DNAT规则,外部用户使用“网关的弹性IP:服务端口”访问工作负载。 父主题: 网络指导
  • 支持审计的关键操作列表 表1 云审计 服务支持的AppStage服务操作列表 操作名称 资源类型 事件名称 订单支付完成回调 wiseOrder orderPayCompleted 订购下单 wiseOrder subscribeOrder 变更资源状态 wiseOrder changeResourceStatus 证书授权 wiseCredential authorizeCredential 关联组织 wiseOrg associateOrg 清理资源 rosCleanup cleanupResources 创建委托 wiseAgency createAgency
  • 通过控制台创建WordPress 登录CCE控制台。 单击集群进入集群控制台。 在左侧菜单栏选择“工作负载”,单击右上角“创建负载”。 填写工作负载参数。 基本信息 负载类型:选择无状态负载。 负载名称:wordpress。 命名空间:default。 实例数量:本例中实例数量设置为2。 图1 设置工作负载基本信息 容器配置 在基本信息中单击“选择镜像”,在弹出的窗口中选择“镜像中心”,并搜索“wordpress”,选择wordpress镜像,并设置镜像版本为“php7.3”。 图2 选择镜像版本 在环境变量下添加如下环境变量, 此处一共需要设置四个环境变量,让WordPress知道MySQL数据库的信息。 WORDPRESS_DB_HOST:数据库的访问地址。可以在mysql工作负载的访问方式中找到。可以使用集群内部域名mysql.default.svc.cluster.local:3306访问,其中.default.svc.cluster.local可以省略,即使用mysql:3306。 WORDPRESS_DB_USER:访问数据的用户名,此处需要设置为步骤1:创建MySQL中MYSQL_USER一致,即使用这个用户去连接MySQL。 WORDPRESS_DB_PASSWORD:访问数据库的密码,此处需要设置为步骤1:创建MySQL中MYSQL_PASSWORD一致。 WORDPRESS_DB_NAME:访问数据库的名称,此处需要设置为步骤1:创建MySQL中MYSQL_DATABASE一致。 图3 设置环境变量 服务配置 单击服务配置下的加号,创建服务(Service),用于从外部访问负载。本例将创建一个负载均衡类型的Service,请在右侧弹窗中配置如下参数。 Service名称:输入应用发布的可被外部访问的名称,设置为:wordpress。 访问类型:选择“负载均衡 ( LoadBalancer )”。 服务亲和:保持默认。 负载均衡器:如果已有负载均衡(ELB)实例,可以选择已有ELB,如果没有可单击“创建负载均衡器”,在ELB控制台创建一个公网类型负载均衡器。 端口配置: 对外协议:TCP。 服务端口:设置为80,该端口号将映射到容器端口。 容器端口:容器中应用启动监听的端口,wordpress镜像请设置为80,其他应用容器端口和应用本身的端口一致。 图4 创建服务 单击右下角“创建工作负载”。 等待工作负载创建成功。 创建成功后在无状态负载下会显示一个运行中的工作负载。 图5 wordpress负载创建成功
  • 访问WordPress 获取WordPress的外部访问地址。 单击WordPress工作负载名称,进入工作负载详情页。在“访问方式”页签下可以看到WordPress的IP地址,其中公网地址就是外部访问地址。 图6 访问WordPress应用 在浏览器中输入“外部访问地址:端口”,即可成功访问应用。 访问到的WordPress应用如下图。 图7 WordPress应用 图8 WordPress应用
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Language 否 String 语言类型。 表3 请求Body参数 参数 是否必选 参数类型 描述 is_reboot 是 String 是否重启。 hbase_modify_settings 是 Array of HbaseModifySettingV2 objects 参见HBaseModifySettingV2结构说明。 表4 HbaseModifySettingV2 参数 是否必选 参数类型 描述 id 否 String 参数ID。 parm_name 是 String 待修改的参数名。 new_value 是 String 设置的参数值。
  • 请求示例 修改集群配置参数示范。 { "is_reboot" : false, "hbase_modify_settings" : [ { "parm_name" : "hbase.regionserver.thread.compaction.small", "new_value" : "4" }, { "parm_name" : "hbase.regionserver.global.memstore.size", "new_value" : "0.25" } ] }
  • URI PUT /v2/{project_id}/clusters/{cluster_id}/setting 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法,请参见获取项目ID。 cluster_id 是 String 集群ID。 获取方法:在CloudTable控制台,单击要查询的集群名称进入集群详情页,获取“集群ID"。请参见获取集群ID。
  • 响应示例 状态码: 200 查询集群详情成功(openTSDB字段只适用于HBase1.3.1版本,enable_lemon字段废弃)。 { "datastore" : { "type" : "hbase", "version" : "1.0.6" }, "actions" : [ "GROWING" ], "enable_openTSDB" : true, "enable_lemon" : false, "cluster_name" : "cloudtable-sxh-lemon07", "cu_num" : "2", "tsd_num" : "2", "lemon_num" : "4", "storage_type" : "ULTRAHIGH", "storage_quota" : "800", "used_storage_size" : "0", "auth_mode" : false, "updated" : "2018-12-12T07:41:19", "created" : "2018-12-12T07:41:19", "cluster_id" : "464d092e-b950-4f31-a904-b07c68431a78", "status" : "200", "openTSDB_link" : "opentsdb-pbn2zws091euf76.mycloudtable.com:4242", "tsd_public_endpoint" : "ac753d5bb4844f14a5d000dfe6dc366d.apigw.southchina.huaweicloud.com", "lemon_link" : "cloudtable-sxh-hba-lemon-2-1-oKGxbvrR.mycloudtable.com:8765,cloudtable-sxh-hba-lemon-3-1-mkvVSaZ2.mycloudtable.com:8765", "zookeeper_link" : "cloudtable-sxh-hbase-l07-zk1-NrHKTDDO.mycloudtable.com:2181,cloudtable-sxh-hbase-l07-zk2-MTLPWir9.mycloudtable.com:2181,cloudtable-sxh-hbase-l07-zk3-p0HFRqDR.mycloudtable.com:2181", "hbase_public_endpoint" : "2c6412739e7f4258a1de2ee4dad7e758.apigw.southchina.huaweicloud.com", "is_frozen" : "0", "vpc_id" : "23af42c2-f57f-499f-8a2f-a934bd05b8b3", "sub_net_id" : "8e8b7b75-5e55-4948-907e-79d06e18c516", "security_group_id" : "1ee23c44-9bfb-4a5e-80c7-83ad78b7aba4", "availability_zone" : "cn-north-7c" }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 actions Array of strings 集群当前状态列表: 创建中 扩容中 重启中 开启opentsdb(此字段只适用于HBase1.3.1版本) 扩容失败 重启失败 开启opentsdb失败(此字段只适用于HBase1.3.1版本) datastore Datastore object 创建集群数据库参数。 enable_openTSDB Boolean 是否打开openTSDB特性。 false:不开启 true:开启 备注:此字段只适用于HBase1.3.1版本。 enable_lemon Boolean 是否打开SQL查询特性。 false:不开启 true:开启 备注:此字段废弃 cluster_name String 集群名称。 cu_num String RegionServer个数。 tsd_num String TSD节点个数。 备注:此字段废弃。 lemon_num String Lemon节点个数。 备注:此字段废弃 storage_type String 集群底层存储类型: OBS HDFS storage_quota String 集群存储配额。 used_storage_size String 当前使用存储空间。 auth_mode Boolean 是否打开 IAM 认证。 false:不开启 true:开启 备注:此字段废弃。 enable_dfv Boolean 是否打开dfv。 updated String 集群更新时间。 created String 集群创建时间。 cluster_id String 集群唯一标识,集群ID。 status String 集群当前状态: 200:集群正常。 300:集群异常。 400:集群已删除。 303:集群创建失败。 openTSDB_link String 内网OpenTSDB连接访问地址。 备注:此字段废弃。 tsd_public_endpoint String OpenTSDB公网endpoint地址。 备注:此字段只适用于HBase1.3.1版本。 lemon_link String 内网Lemon连接访问地址。 备注:此字段废弃。 zookeeper_link String 内网ZooKeeper连接访问地址。 hbase_public_endpoint String 公网HBase连接访问地址。 is_frozen String 集群是否被冻结。 false:不冻结 true:冻结 vpc_id String VPC ID,创建集群节点所在的虚拟私有ID。 sub_net_id String 子网ID,创建集群所在子网段。 security_group_id String 安全组对应的ID。 availability_zone String 集群所属的可用区。 表4 Datastore 参数 参数类型 描述 version String controller版本号,默认1.0.6。 type String 集群数据库类型。
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 parm_status Integer 集群参数生效状态:0、未更改 1、未应用 2、应用中 3、已应用 4、应用失败。 parameter_info Array of ParameterInfo objects 参数列表。 表4 ParameterInfo 参数 参数类型 描述 id String 参数ID。 name String 配置名称。 default_value String 默认值。 value_type String 配置值类型。 running_value String 集群当前运行的配置值。 unit String 单位。 reboot Boolean 是否需要重启生效。 value_range String 配置值取值范围。 description String 配置描述信息。 状态码: 400 表5 响应Body参数 参数 参数类型 描述 error_code String 错误码。 error_msg String 错误信息。
  • URI GET /v2/{project_id}/clusters/{cluster_id}/setting 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID。获取方法,请参见获取项目ID。 cluster_id 是 String 集群ID。 获取方法:在CloudTable控制台,单击要查询的集群名称进入集群详情页,获取“集群ID"。请参见获取集群ID。
  • 响应示例 状态码: 200 正常响应示例。 { "parm_status" : 0, "parameter_info" : [ { "id" : "1d5ae2cf-45ea-45b8-a45e-b9de3af9ea41", "name" : "hbase.regionserver.thread.compaction.small", "unit" : "--", "reboot" : true, "description" : "thread_compaction_des", "default_value" : "1", "value_type" : "integer", "running_value" : "1", "value_range" : "[1,20]" }, { "id" : "27508fbd-dbc4-46ce-8c39-5b76517432ed", "name" : "hbase.regionserver.global.memstore.size", "unit" : "--", "reboot" : true, "description" : "global_memstore_size_des", "default_value" : "0.4", "value_type" : "decimal", "running_value" : "0.4", "value_range" : "(0,0.8)" }, { "id" : "2e46b1bd-d77d-4b82-a9a2-71ad1d6ba577", "name" : "hbase.hstore.blockingStoreFiles", "unit" : "--", "reboot" : true, "description" : "hstore_blockingStoreFiles_des", "default_value" : "60", "value_type" : "integer", "running_value" : "60", "value_range" : "[1,2147483647]" }, { "id" : "31abc744-ead8-411d-af32-f98bb249f540", "name" : "hbase.client.scanner.timeout.period", "unit" : "millisecond", "reboot" : true, "description" : "client_scanner_period_des", "default_value" : "60000", "value_type" : "integer", "running_value" : "60000", "value_range" : "[1,2147483647]" }, { "id" : "3fed1e81-9f44-4688-9b3a-cb1f53dd7735", "name" : "hfile.block.cache.size", "unit" : "--", "reboot" : true, "description" : "hfile_block_cache_size_des", "default_value" : "0.2", "value_type" : "decimal", "running_value" : "0.2", "value_range" : "(0,0.8)" }, { "id" : "5fffdba2-675f-41bf-9b47-906b9246ff95", "name" : "hbase.regionserver.handler.count", "unit" : "--", "reboot" : true, "description" : "handler_count_des", "default_value" : "100", "value_type" : "integer", "running_value" : "100", "value_range" : "[1,300]" }, { "id" : "661a69a4-e9dc-4107-b608-3ffad6866015", "name" : "hbase.regionserver.metahandler.count", "unit" : "--", "reboot" : true, "description" : "metahandler_count_des", "default_value" : "50", "value_type" : "integer", "running_value" : "50", "value_range" : "[1,100]" }, { "id" : "89c573eb-72fe-446a-8db5-00e1881569b3", "name" : "hbase.ipc.server.callqueue.read.ratio", "unit" : "--", "reboot" : true, "description" : "callqueue_read_ratio_des", "default_value" : "0.5", "value_type" : "decimal", "running_value" : "0.5", "value_range" : "[0,1]" }, { "id" : "9ea7cf3b-f7bc-4906-82fc-a83c328a1be5", "name" : "hbase.hstore.flusher.count", "unit" : "--", "reboot" : true, "description" : "hstore_flusher_count_des", "default_value" : "2", "value_type" : "integer", "running_value" : "2", "value_range" : "[1,10]" } ] } 状态码: 400 失败响应结果 { "error_code" : "CloudTable.0140", "error_msg" : "Invalid parameter project id or cluster id." }
  • 请求消息体(可选) 该部分可选。请求消息体通常以结构化格式(如JSON或XML)发出,与请求消息头中Content-Type对应,传递除请求消息头之外的内容。若请求消息体中的参数支持中文,则中文字符必须为UTF-8编码。 每个接口的请求消息体内容不同,也并不是每个接口都需要有请求消息体(或者说消息体为空),GET、DELETE操作类型的接口就不需要消息体,消息体具体内容需要根据具体接口而定。 对于获取用户Token接口,您可以从接口的请求部分看到所需的请求参数及参数说明。将消息体加入后的请求如下所示,加粗的斜体字段需要根据实际值填写,其中username为用户名,domainname为用户所属的账号名称,********为用户登录密码,xxxxxxxxxxxxxxxxxx为project的ID,获取方法请参见获取项目ID。 scope参数定义了Token的作用域,上面示例中获取的Token仅能访问project下的资源。您还可以设置Token的作用域为某个账号下所有资源或账号的某个project下的资源,详细定义请参见IAM服务的获取用户Token。 POST https://{{endpoint}}/v3/auth/tokens Content-Type: application/json { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "username", "password": "********", "domain": { "name": "domainname" } } } }, "scope": { "project": { "id": "xxxxxxxxxxxxxxxxxx" } } } } 到这里为止这个请求需要的内容就具备齐全了,您可以使用curl、Postman或直接编写代码等方式发送请求调用API。对于获取用户Token接口,返回的响应消息头中“x-subject-token”就是需要获取的用户Token。有了Token之后,您就可以使用Token认证调用其他API。
  • 请求消息头 附加请求头字段,如指定的URI和HTTP方法所要求的字段。例如定义消息体类型的请求头“Content-Type”,请求鉴权信息等。 详细的公共请求消息头字段请参见表3。 表3 公共请求消息头 名称 描述 是否必选 示例 X-Sdk-Date 请求的发生时间,格式为(YYYYMMDD'T'HHMMSS'Z')。 取值为当前系统的GMT时间。 使用AK/SK认证时必选。 20150907T101459Z Host 请求的服务器信息,从服务API的URL中获取。值为hostname[:port]。端口缺省时使用默认的端口,https的默认端口为443。 使用AK/SK认证时必选。 code.test.com or code.test.com:443 Content-Type 发送的实体的MIME类型。推荐用户默认使用application/json,有其他取值时会在具体接口中专门说明。 是 application/json Content-Length 请求body长度,单位为Byte。 POST/PUT请求必填。 GET不能包含。 3495 X-Project-Id project id,用于不同project取token。 否 e9993fc787d94b6c886cbaa340f9c0f4 X-Auth-Token 用户Token。 用户Token也就是调用获取用户Token接口的响应值,该接口是唯一不需要认证的接口。 请求响应成功后在响应消息头中包含的“X-Subject-Token”的值即为Token值。 否 使用Token认证时必选。 - X-Language 请求语言,支持配置如下值: zh-cn:中文 en-us:英文 是 en-us X-Domain-Id 账号ID。 否 - API同时支持使用AK/SK认证,AK/SK认证是使用SDK对请求进行签名,签名过程会自动往请求中添加Authorization(签名认证信息)和X-Sdk-Date(请求发送的时间)请求头。 AK/SK认证的详细说明请参见认证鉴权的“AK/SK认证”。 对于获取用户Token接口,由于不需要认证,所以只添加“Content-Type”即可,添加消息头后的请求如下所示。 POST https://{{endpoint}}/v3/auth/tokens Content-Type: application/json
  • 请求方法 HTTP请求方法(也称为操作或动词),它告诉服务你正在请求什么类型的操作。 表2 HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源,如删除对象等。 HEAD 请求服务器资源头部。 PATCH 请求服务器更新资源的部分内容。 当资源不存在的时候,PATCH可能会去创建一个新的资源。 在获取用户Token的URI部分,您可以看到其请求方法为“POST”,则其请求为: POST https://{{endpoint}}/v3/auth/tokens
  • 请求URI 请求URI由如下部分组成: {URI-scheme}://{Endpoint}/{resource-path}?{query-string} 尽管请求URI包含在请求消息头中,但大多数语言或框架都要求您从请求消息中单独传递它,所以在此单独强调。 表1 URI中的参数说明 参数 说明 URI-scheme 表示用于传输请求的协议,当前所有API均采用HTTPS协议。 Endpoint 指定承载REST服务端点的服务器域名或IP,不同服务不同区域的Endpoint不同,您可以从终端节点及区域获取。 resource-path 资源路径,也即API访问路径。从具体接口的URI模块获取,例如获取用户TokenAPI的resource-path为“/v3/auth/tokens”。 query-string 查询参数,是可选部分,并不是每个API都有查询参数。查询参数前面需要带一个“?”,形式为“参数名=参数取值”,例如“limit=10”,表示查询不超过10条数据。 例如您需要获取IAM在“华北-北京一”区域的Token,则需使用“华北-北京一”区域的Endpoint(iam.cn-north-1.myhuaweicloud.com),并在获取用户Token的URI部分找到resource-path(/v3/auth/tokens),拼接起来如下所示。 https://iam.cn-north-1.myhuaweicloud.com/v3/auth/tokens 图1 URI示意图 为查看方便,在每个具体API的URI部分,只给出resource-path部分,并将请求方法写在一起。这是因为URI-scheme都是HTTPS,而Endpoint在同一个区域也相同,所以将这两部分内容省略。
  • 响应示例 状态码: 200 查询集群列表成功(lemon字段废弃,enable_openTSDB字段只适用于HBase1.3.1版本)。 { "clusters" : [ { "cluster_name" : "cloudtable-3058", "cluster_id" : "24cebcf3-8c51-493e-84ae-4c0bd2d2334d", "status" : "200", "version" : "v1.1.16", "created" : "2019-02-21T01:51:49", "zookeeper_link" : "cloudtable-3058-zk3-Dqcwuh6R.mycloudtable.com:2181,cloudtable-3058-zk2-TCwkZEie.mycloudtable.com:2181,cloudtable-3058-zk1-TBELUFOK.mycloudtable.com:2181", "az_code" : "kvmxen.dc1", "actions" : [ ], "action_progress" : { }, "enable_dfv" : "true", "enable_lemon" : "false", "enable_openTSDB" : "false", "enable_free" : "false", "auth_mode" : "false" }, { "cluster_name" : "cloudtable-ES", "cluster_id" : "8907e9cc-0e6d-4f86-a719-b7971f84ebe0", "status" : "200", "version" : "v1.1.16", "created" : "2019-02-21T00:52:14", "zookeeper_link" : "cloudtable-es-zk3-iQd6HzKa.mycloudtable.com:2181,cloudtable-es-zk1-dCmsgqrb.mycloudtable.com:2181,cloudtable-es-zk2-mTR1TS4c.mycloudtable.com:2181", "az_code" : "kvmxen.dc1", "actions" : [ ], "action_progress" : { }, "enable_dfv" : "true", "enable_lemon" : "false", "enable_openTSDB" : "false", "enable_free" : "false", "auth_mode" : "false" } ], "count" : 2 }
  • 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 clusters Array of ClusterDetail objects 查询到的集群详细列表,每个json体表示一个集群的详情。 count Integer 查询到的集群数量。 表4 ClusterDetail 参数 参数类型 描述 action_progress ActionProgress object 集群操作进度,任务信息,由key、value组成。key值为正在进行的任务,value值为正在进行任务的进度。示例如 "action_progress":{"SNAPSHOTTING":"16%"}。 actions Array of strings 集群操作记录。 auth_mode String 是否开启IAM权限认证。 false:不开启 true:开启 备注:此字段废弃。 az_code String 集群所在的可用区(AZ)。 cluster_id String 集群ID,集群唯一标识。 cluster_name String CloudTable集群名称。 created String 集群创建时间。 enable_dfv String 是否开启DFV。 false:不开启 true:开启 enable_free String 集群是否免费。 false:不免费 true:免费 enable_lemon String 是否开启Lemon。 false:不开启 true:开启 备注:此字段废弃。 enable_openTSDB String 是否开启OpenTSDB。 false:不开启 true:开启 备注:此字段只适用于HBase1.3.1版本。 status String 集群状态: 200:集群正常 300:集群异常 303:集群创建失败 400:集群已删除 tags String 集群标识符。 version String 集群版本号。 zookeeper_link String CloudTable集群ZooKeeper的链接地址。例如:cloudtable-3058-zk3-Dqcwuh6R.mycloudtable.com:2181,cloudtable-3058-zk2-TCwkZEie.mycloudtable.com:2181,cloudtable-3058-zk1-TBELUFOK.mycloudtable.com:2181 表5 ActionProgress 参数 参数类型 描述 CREATING String 创建集群进度,例如:29% GROWING String 扩容集群进度,例如:29% RESTORING String 恢复集群进度,例如:29% SNAPSHOTTING String 集群快照进度,例如:29% REPAIRING String 修复集群进度,例如:29%
  • 请求示例 创建超高IO集群请求样例(enable_openTSDB字段只适用HBase1.3.1版本,enable_lemon字段废弃)。 POST /v2/{project_id}/clusters/ { "cluster" : { "name" : "cloudtable-interfacetest1", "datastore" : { "version" : "1.0.6", "type" : "hbase" }, "vpc_id" : "23af42c2-f57f-499f-8a2f-a934bd05b8b3", "storage_type" : "ULTRAHIGH", "enable_openTSDB" : false, "auth_mode" : false, "enable_lemon" : false, "instance" : { "nics" : [ { "net_id" : "8e8b7b75-5e55-4948-907e-79d06e18c516", "security_group_id" : "57c6e2a1-857c-4504-92b2-24e95bd587cc" } ], "availability_zone" : "cn-north-1a", "cu_num" : 2, "tsd_num" : 0, "lemon_num" : 0 } } }
  • 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Language 是 String 语言类型。 表3 请求Body参数 参数 是否必选 参数类型 描述 cluster 是 Cluster object 创建集群参数对象实体。 表4 Cluster 参数 是否必选 参数类型 描述 auth_mode 否 String 是否开启IAM权限认证。 false:不开启 true:开启 备注:此字段废弃。 enable_lemon 否 Boolean 是否开启Lemon(目前已关闭该参数,填false即可) false:不开启 true:开启 备注:此字段废弃。 enable_openTSDB 否 Boolean 是否开启OpenTSDB。 false:不开启 true:开启 备注:此字段只适用HBase1.3.1版本。 instance 是 Instance object 集群的实例对象。 name 是 String CloudTable集群的名称。 storage_size 否 Integer 存储值的大小。 HBase取值范围: 800GB-10TB。 storage_type 是 String 存储类型: ULTRAHIGH:超高IO COMMON:普通IO vpc_id 是 String 集群所在的(虚拟网络私有云)VPC。 datastore 是 Datastore object 创建集群数据库参数。 表5 Instance 参数 是否必选 参数类型 描述 availability_zone 是 String 集群所在可用区的ID。 cu_num 是 Integer CloudTable集群计算单元节点数目,至少为2。 lemon_num 否 Integer CloudTable集群Lemon节点数目。 备注:此字段废弃。 nics 是 Array of Nics objects 集群所在网络信息。 tsd_num 是 Integer CloudTable集群TSD节点数目,至少为2。 备注:此字段废弃。 表6 Nics 参数 是否必选 参数类型 描述 net_id 是 String CloudTable集群所在网络ID。 security_group_id 是 String CloudTable所在安全组对应的ID。 表7 Datastore 参数 是否必选 参数类型 描述 version 是 String controller版本号,默认1.0.6。 type 是 String 集群数据库类型。
  • 背景信息: 自党的十八大以来,党中央、国务院多次研究部署并加快推进“互联网+政 务服务”,陆续出台审批服务便民化、“互联网+政务服务”、优化营商环境等一 系列政策文件;十九大以后,更是明确提出打造数字政府、培育数字经济、构 建数字社会,尤其是在《中华人民共和国国民经济和社会发展第十四个五年规划和 2035年远景目标纲要》中,着重提出提高数字政府建设水平,加强公共数据开放共享,推动政务信息化共建共用,提高数字化政务服务效能,推动政府 治理体系和治理能力现代化,建设人民满意的服务型政府。 作为数字政府建设的一部分,围绕推进政务服务一体化建设的相关问题, 国务院办公厅和相关部门出台了一系列指导全国一体化政务服务平台建设的重要文件。2018年8月,国务院出台《关于加快推进全国一体化在线政务服务平 台建设的指导意见》,重点围绕十六类三十三项任务,提出加快建设全国一体化 在线政务服务平台,全面实现“一网通办”。2020年9月,《国务院办公厅关于加快推进政务服务“跨省通办”的指导意见》提出依托全国一体化政务服务平 台和各级政务服务机构,着力打通业务链条和数据共享堵点,推动更多政务服务事项“跨省通办”,为建设人民满意的服务型政府提供有力保障。2021年11月,针对政务服务平台移动端建设管理分散、标准规范不统一、数据共享不充分、技术支撑和安全保障体系不完备等突出问题,出台《全国一体化政务服务平台移动端建设指南》,从政务服务平台移动端总体架构、支撑能力、服务功能、服务方式等方面加强和规范全国一体化政务服务平台移动端建设。2021年12月,中央网络安全和信息化委员会印发《“十四五”国家信息化规划》,表明大力推进“一网通办”,优化全国一体化政务服务平台服务水平,促进政务服务线上线下融合,完善 统一身份认证 、电子证照等共性支撑体系,有力支撑政务 服务标准化、规范化、便利化,实现全国范围内“一次认证、全网通办”。2022年3月,针对政务服务标准不统一、线上线下服务不协同、数据共享不充分、区域和城乡政务服务发展不平衡等问题,国务院出台《关于加快推进政务服务标准化规范化便利化的指导意见》,明确提出加强跨层级、跨地域、跨系统、跨部门、跨业务协同管理和服务,充分发挥全国一体化政务服务平台“一网通办”支撑作用,进一步推进政务服务运行标准化、服务供给规范化、企业和群众办事便利化,有效服务生产要素自由流动和畅通国民经济循环,更好满足人民日益增长的美好生活需要,为推动高质量发展、创造高品质生活、推进国家治理体系和治理能力现代化提供有力支撑。2022年06月23日,国务院发布《关于加强数字政府建设的指导意见》,进一步明确提出充分发挥全国一体化政务服务平台“一网通办”枢纽作用,推动政务服务线上线下标准统一、全面融合、服务同质,构建全时在线、渠道多元、全国通办的一体化政务服务体系,推行政务服务事项集成化办理,推广“免申即享”、“民生直达”等服务方式,打造掌上办事服务新模式,提高主动服务、精准服务、协同服务、智慧服务能力。 为贯彻落实党中央、国务院关于建设一体化政务服务平台,提高数字化政务服务效能的文件精神,XX委省政府高度重视“数字政府”改革建设,于2021 年10月印发了《XX数字政府建设“十四五”规划》,提出全面提升一体化政务服务平台功能,构建线上线下融合的政务服务体系,推动政务服务平台、政务服务大厅(便民中心、站点)、移动端、自助端、便民服务热线等线上线下服务渠道向基层、向偏远地区延伸,不断满足群众多层次多样化服务需求。XX积极响应国家和省级要求,围绕政府治理和公共服务的改革需要,加快构建全市一体化网上政务服务体系。XXX人民政府分别于2019年1月和2021年3月印发《XXX全面推进“一网通办”加快数字化转型行动方案》和《政务信息系统打通与数据共享工作实施方案》,提出全面推进一体化在线政务服务平台建设,紧紧围绕政府治理和公共服务的改革需要,不断完善数据赋能和数字惠民服务,加快构建全市一体化网上政务服务体系,推进跨层级、跨区域、跨系统的协同管理和服务,转变政府职能,推进政务服务标准化、规范化、便利化。 通过本项目建设加强标准规范体系建设、建强数据中台能力,规范平台安全运行和运营保障能力等内容,积极落实和响应国家、省、市关于数字政府、一体化政务服务平台建设工作要求和整体目标,建成纵向贯通、横向协同、全面覆盖的一体化政务服务体系,提升XXX的政务服务品质,数据共享交换取得突破。
  • 落标与清洗 由于部门资源库表由各部门维护,可能会存在相同数据结构不一致等状况(例:国标姓名长度为 30,部门可能存在长度过长数据),故需通过标准定义为部门资源库表配置数据元并基于数据元为其生成标准表。 不同部门的业务库,字段规则并不统一,要形成统一的库,就必须要指定统一标准,此时便可借助数据定义,规范字段的中文名、关联标准的数据元,如果字段是代码项的也可以关联代码项,帮助管理员建立有统一标准的标准表。 图1 落标与清洗1 默认按数据元生成标准表,默认的标准表名格式为 S_ST_{@dept}_{@table},{@dept}与{@table},分别代表部门简称及原表名。比如人口信息表生成的标准表为 S_ST_XTGLB_t_rk_baseinfo。 图2 落标与清洗2 构建完标准表后可通过清洗定义将部门资源库表数据交换到标准表,在这个过程中,我们可以处理掉一些较为明显的问题数据,例如人口基本信息中家庭住址存在特殊字符需替换掉,婚姻信息中注册时间不符合标准时间格式 yyyy-MM-dd hh:mm:ss 需做时间格式转换,人口基本信息中身份证号码 idcard 不符合身份证号码规范需过滤掉这些错误数据等等。 清洗定义中清洗规则为已知异常数据及处理方式,直接对数据进行处理,来源与目标数据量一致。 清洗定义中过滤规则将错误数据过滤掉,目标表数量可能小于来源表数量,对于这些质检产生的异常数据,通过质检工单形式告知部门,进行修正,中心无法直接处理这些数据,故需告知部门整改后在下个批次识别为增量数据进行同步。 有了人口库标准表后,我们对于原业务库中不符合标准规则的数据进行处理即数据清洗,标准表生成成功后,通过配置修复规则对贴源层数据简单修复、值处理等操作和通过过滤规则将不符合规则的错误数据过滤掉从而形成数仓中的标准层数据。 图3 落标与清洗3 比如对人口信息基本表的标准表 S_ST_XTGLB_t_rk_baseinfo 的电话号码 telephone 字段配置电话规范检查,即可将不规范的电话号码的数据过滤掉,对血型字段 bloodtype 配置修复规则-大小写转换,将血型字段全部转为大写,对地址字段 address 配置去除空格规则,将该字段的数据去除空格。 图4 落标与清洗4 父主题: 场景实践
  • 数据交换节点 组件说明 交换节点用于执行各自的交换作业。 数据库还原 不同部门可能使用不同的交换节点,每个交换节点需要使用单独的数据库。 在 MySQL 实例上面创建数据库,数据库名称为 dxp_node; 中心节点: 部门前置节点: 从数据交换节点部署包中拷贝出数据库备份文件,还原到上一步创建的数据库中。 容器创建 图1 修改容器 所属服务:新增服务的时候需要注意一定要选择 Tomcat 类型。 图2 修改服务 主机名称:按照规划的服务器选择用于部署资源目录管理平台的服务器即可。 容器名称:按照实际情况取名。 业务文件夹名称:需要与 DockerFile 文件中的项目名称一致。 图3 修改1 镜像名称:使用流水线构建完成之后的镜像地址。 图4 修改2 镜像版本:按照实际情况选择。一般更新之后构建容器选择最新的(最高的)版本。 配置修改 所有的配置文件都通过配置文件覆盖的方式进行配置,一定要在原来的配置文件的基础上进行修改,不要拷贝其他的项目中同名的配置文件,避免特殊配置项遗漏。 数据库配置文件(jdbc.properties): /usr/local/tomcat/webapps/DataexNode/WEB-INF/classes/jdbc.properties url:填写数据库jdbc连接; Username:填写数据库用户名; password:填写数据库密码。 交换配置文件(kettle.properties): /usr/local/tomcat/webapps/DataexNode/WEB-INF/classes/kettle.properties LOG URL:配置交换管理端的地址,如果配置了外网映射,请填写内网地址; 节点配置文件(node.properties): /usr/local/tomcat/webapps/DataexNode/WEB-INF/classes/node.properties nodename:配置节点名称不能与其他节点重复; manageurl:配置交换管理端的地址,如果配置了外网映射,请填写内网地址; uploadPath:文件接受路径,配置本地文件夹路径,文件夹最后需要带分隔符例如:C:\Users\Administrator\Desktop\uploadpath\ 或者 /opt// 图5 编辑配置文件 部署验证 访问该地址:http://IP:端口号/DataexNode/rest/upload/checkMD5(注意替换IP和端口号),如果页面返回空白,说明未放注册码,需到日志中查看注册码信息,并申请后将注册码放到 DataexNode\WEB-INF\lib 文件夹下(通过更新镜像包的方式上传机器码)。返回以下页面说明部署成功。 图6 地址 节点注册 打开交换管理端,登陆,首页拖动图标新建节点。 图7 新建节点 填写节点基本信息,保存并关闭: 节点名称:需要与节点的 node.properties 配置文件中一致; 节点 IP:交换节点部署的容器 IP; 节点分类:按照业务自行划分; 端口号:交换节点部署的 tomcat 端口号; 主机名:新建的数据库的 IP 地址; 数据库名:新建的数据库的名称; 端口号:新建的数据库的端口号; 用户名:新建的数据库的用户名; 密码:新建的数据库的密码; 图8 编辑节点 添加数据源,右键新增的节点,选择数据源管理,点击新增数据源,填写资源库的连接信息。其中连接名称一定要与数据库名称一致。 至此交换平台部署完毕,需要注意的是: Kettle.properties文件中的*_DB 配置项与交换节点 MySQL 数据库名称与数据源管理中新建的数据源名称这三者必须保持一致。 图9 数据源管理1 图10 数据源管理2 接入统一认证 修改支撑平台配置(SSOClient.properties) /usr/local/tomcat/webapps/DataexManager/WEB-INF/classes/SSOClient.properties verification_type:1; client_id:上个步骤的应用 key; client_secret:上个步骤的应用密钥; server_url:统一认证的浏览器访问地址; server_intranet_url:非必填,如果统一认证配置了映射,内外网地址不一样的情况,需要在此处配置统一认证的内网地址; redirect_url:交换管理端的浏览器访问地址,与注册应用时填写的一致。 图11 编辑配置文件 访问验证 登录相应页面,正常显示。业务平台部署成功。 父主题: 基础组件部署
  • 分析来源并接入 分析人口库中所需数据,得出数据来源,例:户籍人口信息 rk_baseinfo、民政局 婚姻状况 rk_marriage、人社局 社保信息 Insuarance、教育局 教育信息 Education。将这些部门资源库配置入系统,并配置接入作业 首先要根据需求将不同部门的人口信息实体表 t_rk_baseinfo 从部门资源库采集到数仓贴源层中。 选择部门资源库(来源库)、来源表,根据选择的来源表判断表的类型是实体还是明细,比如如果设定好调度周期和调度时间,保存成功后点击【推送并启用】,等待作业跑成功,可以先关闭页面,任务跑结束后会发送一个是否跑成功的系统提醒。在数仓的贴源层会生成一个贴源层表,如果是实体表格式为 O_ST_{@dept}_{@table},明细表格式为O_SS_{@dept}_{@table}({@dept}与{@table} 分别代表部门简称及原表名)。 如人口信息实体表t_rk_baseinfo接入成功后贴源层生成O_ST_XTGLB_t_rk_baseinfo表。 图1 分析来源并接入1 人口婚姻表 t_rk_marriage 资源表类型选择明细,接入成功后贴源层生成 O_SS_XTGLB_t_rk_marriage 表 图2 分析来源并接入2 采集方式说明 全量模式接入:推荐 1000w 以下数据量使用,平均 100ws 数据只需 60s 即可接入至数仓中 时间戳接入:只支持数据是增量插入的,存在删除、修改数据的情况不建议使用,数据会不准确 时间戳+触发器接入:推荐 1000w 数据量以上使用,但贴源层表数据不能直接使用,需数据清洗至标准层,hive 中数据处理存在临时表,处理数据时间比前两种方式长 父主题: 场景实践
  • 一体化数据管理平台 组件说明 一体化数据管理平台包括目录管理模块、资源管理模块、数据供需模块、绩效考核模块、运行监控模块、 数据治理 模块。 首先需要在平台发布下载最新的发布包,由项目开发打成部署包,然后在 PAAS 平台中构建镜像。 数据库还原 一体化数据管理平台与开放共享门户三个部署包使用同一个数据库。 在 MySQL 实例上面创建数据库,数据库名称为 edc; 从数据资源目录平台部署包中拷贝出数据库备份文件,还原到上一步创建的数据库中。 容器创建 图1 容器创建1 所属服务:新增服务的时候需要注意一定要选择 Tomcat 类型。 图2 容器创建2 主机名称:按照规划的服务器选择用于部署资源目录管理平台的服务器即可。 容器名称:按照实际情况取名。 业务文件夹名称:需要与 DockerFile 文件中的项目名称一致。 图3 容器创建3 镜像名称:使用流水线构建完成之后的镜像地址。 图4 容器创建4 镜像版本:按照实际情况选择。一般更新之后构建容器选择最新的(最高的)版本。 配置修改 所有的配置文件都通过配置文件覆盖的方式进行配置,一定要在原来的配置文件的基础上进行修改,不要拷贝其他的项目中同名的配置文件,避免特殊配置项遗漏。 数据库配置文件(jdbc.properties): /usr/local/tomcat/webapps/edc/WEB-INF/classes/jdbc.properties url:填写数据库 jdbc 连接; Username:填写数据库用户名; password:填写数据库密码。 部署验证 启动容器后访问 http://IP:PORT/edc, 出现机器码 URL 申请上传服务器 /opt/apache-tomcat-7.0.85/webapps/edc/WEB-INF/lib 出现登录页面,输入 admin/11111,可以登录成功的话,部署成功。 图5 部署验证 接入统一支撑 注册应用:打开支撑平台的统一应用与服务-统一应用管理-应用注册,点击新增应用,填写应用名称、应用回掉地址、PC 跳转地址、移动跳转地址。地址都使用资源目录平台的浏览器访问地址。点击保存并关闭。接下来查看应用详情,可以看到应用 key 和应用密钥,注册完成。 图6 接入统一支撑1 图7 接入统一支撑2 订阅用户,订阅角色:打开支撑平台的统一应用与服务-统一应用管理-应用管理。 订阅用户:用于设置需要同步哪些用户到应用系统,公开同步所有; 订阅角色:用于设置需要同步哪些角色到应用系统,需要勾选 adminGroup 和 ouAdminGroup 图8 接入统一支撑3 图9 接入统一支撑4 图10 接入统一支撑5 修改框架配置文件(frame.properties) /usr/local/tomcat/webapps/edc/WEB-INF/classes/frame.properties SOAAddress:支撑平台地址 +/rest/organization,如果配置了外网映射,需要配置内网地址; SOA_Appkey_secret:第一步的应用 key 和应用密钥,使用分号隔开; IsOAuthEnabled:1 图11 接入统一支撑6 图12 接入统一支撑7 如果是集群部署: redisSetting:配置已经部署的redis数据库地址,格式:redis://host:port/dbIndex,与其他配置文件中的 redis 地址不要重复 enableEditorTempUpload:true 接入统一认证 修改支撑平台配置(SSOClient.properties) /usr/local/tomcat/webapps/edc/WEB-INF/classes/SSOClient.properties verification_type:1; client_id:上个步骤的应用 key; client_secret:上个步骤的应用密钥; server_url:统一认证的浏览器访问地址; server_intranet_url:非必填,如果统一认证配置了映射,内外网地址不一样的情况,需要在此处配置统一认证的内网地址; redirect_url:资源目录平台的浏览器访问地址,与注册应用时填写的一致。 重启容器,访问支撑平台会跳转到统一认证,输入账号密码可以登录到首页,配置完成。 图13 接入统一认证 如果是集群部署: clustered_enabeld:1 资源目录配置 资源目录的配置项都在后台管理-系统配置-系统参数模块中,下面介绍每个系统参数的作用和配置的值。 API_ADDRESS 说明:用于服务管理中的应用系统注册和 API服务 注册,如果发现上述功能无法正常使用,请优先检查改配置是否正确。 配置:配置支撑平台地址。如果支撑平台配置了外网映射,此处需要配置内网地址。 APIPrefix 说明:资源目录平台如果配置了外网映射,发布的API服务会使用外网地址,如果KONG服务器无法访问外网地址,需要配置该参数。 配置:配置资源目录平台的内网访问地址。 DataEXUrl 说明:用于中心资源管理-交换配置和资源订阅下发,如果发现上述功能无法正常使用,请优先检查改配置是否正确。 配置:配置交换平台地址。如果交换平台配置了外网映射,此处需要配置内网地址。 TOKEN_ADDRESS 说明:用于门户测试API接口,如果发现上述功能无法正常使用,请优先检查改配置是否正确。 配置:配置统一认证平台地址。如果统一认证平台配置了外网映射,此处需要配置内网地址。 访问验证 登录相应页面,正常显示。业务平台部署成功。 父主题: 基础组件部署
  • 概述 场景介绍:以人口库建设为场景,介绍数据从部门前置库进入到最后从资源目录挂载出来的整个流程的实现。 前置条件:部门已经建设好前置库,并且在前置库中推了数据。 整体流程: 部门前置库数据经过库表采集环节进入资源库(中心前置库)。 资源库数据经过数据质检、分析来源并接入到数据治理平台对应的模型中(对应人口库模型构建环节)。 数据治理平台的数据经过落标与清洗、融合与发布将数据发布到DWS发布库上。 发布库的数据经过挂载资源目录环节将资源挂载到共享门户上。 父主题: 场景实践
共100000条