华为云用户手册

准备工作 注册华为云并实名认证。 如果您已有一个华为账户，请跳到下一个任务。如果您还没有华为账户，请参考以下步骤创建。 打开华为云官网，单击“注册”。 根据提示信息完成注册，详细操作请参见 注册华为账号 并开通华为云。 注册成功后，系统会自动跳转至您的个人信息界面。 参考实名认证完成个人或企业账号实名认证。 为账户充值。 您需要确保账户有足够金额。 关于 OneAccess 的价格，请参见 应用身份管理 服务价格详情。 关于充值，请参见如何给华为账户充值。 为用户添加操作权限。 用户在创建依赖资源和OneAccess前，需要具备相应的操作权限。具体权限请参考权限管理。

购买实例 进入购买应用身份管理服务页面。 在“购买应用身份管理服务”页面，配置实例参数。 在“区域”下拉框中选择区域。 在“规格选择”中选择实例规格，当前支持基础版、专业版和企业版三种，此处选择“基础版”。 选择“用户数”，此处选择100。 设置购买时长，默认勾选“自动续费”。 设置实例数量，取值为1~100之间的整数，此处选择1。 单击“下一步：确认配置”。 勾选“我已阅读并同意《OneAccess服务声明》”，单击“立即购买”，开始发放实例，实例创建完成，会自动生成用户访问 域名 。

普通用户登录用户门户并进入应用 用户从管理员处获取用户访问域名，并登录OneAccess用户门户。 用户从管理员处获取“用户访问域名”。 “用户访问域名”由管理员在购买OneAccess实例时配置，在OneAccess管理控制台获取。如：example.huaweioneaccess.com。 用户访问“用户访问域名”，进入用户门户登录页面。 输入用户名和密码，单击“登录”，进入用户门户首页。 单击管理员添加应用并授权中添加的应用，进入应用系统。

入门实践 当您购买了应用身份管理服务实例后，可根据业务需要使用OneAccess提供的一些实践操作。 实践 描述 集成身份源 集成钉钉身份源 本实践将为您介绍如何在OneAccess中配置钉钉身份源，通过身份源导入用户和组织信息，实现OneAccess实时同步身份源中用户和组织信息。 集成企业微信身份源 本实践将为您介绍如何在OneAccess中配置企业微信身份源，通过身份源导入用户和组织信息，实现OneAccess实时同步身份源中用户和组织信息。 集成AD身份源 本实践将为您介绍如何在OneAccess中配置AD身份源，通过身份源导入用户和组织信息，实现OneAccess实时同步身份源中用户和组织信息。 集成LDAP身份源 本实践将为您介绍如何在OneAccess中配置LDAP身份源，通过身份源导入用户和组织信息，实现OneAccess实时同步身份源中用户和组织信息。 集成飞书身份源 本实践将为您介绍如何在OneAccess中配置飞书身份源，通过身份源导入用户和组织信息，实现OneAccess实时同步身份源中用户和组织信息。 集成薪人薪事身份源 本实践将为您介绍如何在OneAccess中配置薪人薪事身份源，通过身份源导入用户和组织信息，实现OneAccess实时同步身份源中用户和组织信息。 集成泛微OA_E9身份源 本实践将为您介绍如何在OneAccess平台中配置泛微OA-E9身份源，通过身份源导入用户和组织信息，实现组织机构和用户数据的同步。 集成企业应用 使用OneAcceess用户门户登录华为云 华为云支持基于SAML、OIDC协议的单点登录，企业管理员在华为云和OneAccess进行配置后，普通用户登录OneAccess用户门户，即可免密进入华为云Console系统或者是某个具体的华为云应用。 通过SAML协议单点登录至应用 本实践介绍在OneAccess中如何以SAML协议集成应用。 通过OAuth2.0协议单点登录至应用 本实践介绍在OneAccess中如何以OAuth协议集成应用。 通过OIDC协议单点登录至应用 本实践介绍在OneAccess中如何以OIDC协议集成应用。 通过CAS协议单点登录至应用 本实践介绍在OneAccess中如何以CAS协议集成应用。 以插件代填的方式集成应用 本实践介绍在OneAccess中如何以插件代填的方式集成应用。 WeLink 使用OneAccess进行二次认证 本实践介绍OneAccee以及WeLink实现二次认证的配置方法。 单点登录至云速邮箱 本实践介绍在OneAccess中如何以OAuth协议集成云速邮箱的方法。 单点登录至观远BI 本实践介绍在OneAccess中如何以OAuth协议集成观远BI的方法。 同步企业数据 通过SCIM协议同步数据至Atlassian 本实践介绍在OneAccess中如何以SCIM协议同步用户至Atlassian的方法。 通过LDAP协议同步数据 本实践介绍在OneAccess中如何以LDAP协议同步组织和用户数据至OpenLDAP的方法。 集成认证源 内置认证源 本实践为您介绍通过FIDO2认证源（人脸、指纹等生物认证）来登录OneAccess平台集成的应用系统。 微信认证登录 本实践为您介绍在OneAcces平台如何配置集成微信认证源和如何配置微信扫码认证登录各应用系统。 支付宝认证登录 本实践为您介绍在OneAcces平台如何配置集成支付宝认证源和如何配置支付宝扫码认证登录各应用系统。 微博认证登录 本实践为您介绍在OneAcces平台如何配置集成微博认证源和如何配置微博扫码认证登录各应用系统。 QQ认证登录 本实践为您介绍在OneAcces平台如何配置集成QQ认证源和如何配置QQ扫码认证登录各应用系统。 钉钉认证登录 本实践为您介绍在OneAccess平台如何配置钉钉认证源、如何配置钉钉扫码登录各应用系统、如何实现钉钉工作台免密登录企业应用和如何实现钉钉工作台使用系统浏览器免密登录企业应用。 WeLink认证登录 本实践为您介绍在OneAccess平台如何配置WeLink认证源、如何配置WeLink扫码登录各应用系统、如何实现WeLink工作台免密登录企业应用和如何使用WeLink免密登录管理门户。 企业微信认证登录 本实践为您介绍在OneAccess平台如何配置企业微信认证源、如何配置企业微信扫码登录各应用系统和如何实现企业微信工作台免密登录企业应用。 飞书认证登录 本实践为您介绍在OneAccess平台如何配置飞书认证源、如何配置飞书扫码登录各应用系统和如何实现飞书工作台免密登录企业应用。 泛微eteams认证登录 本实践为您介绍在OneAccess平台如何配置泛微eteams认证源、如何配置泛微eteams扫码登录各应用系统。 SAML认证登录 本实践为您介绍在OneAccess平台如何配置SAML认证源、如何配置配置SAML认证登录各应用系统。 OIDC认证登录 本实践为您介绍在OneAccess平台如何配置OIDC认证源、如何配置OIDC认证登录各应用系统。 CAS认证登录 本实践为您介绍在OneAccess平台如何配置CAS认证源、如何配置CAS认证登录各应用系统。 OAuth认证登录 本实践为您介绍在OneAccess平台如何配置OAuth认证源、如何配置OAuth认证登录各应用系统。 Kerberos认证登录 本实践为您介绍在OneAccess平台如何配置Kerberos认证源、如何配置Kerberos认证登录各应用系统。 AD认证登录 本实践为您介绍在OneAccess平台如何配置AD认证源、如何配置AD认证登录各应用系统。 LDAP认证登录 本实践为您介绍在OneAccess平台如何配置LDAP认证源、如何配置LDAP认证登录各应用系统。

DSC支持识别的非结构化文件类型？ 数据安全中心 （DSC）支持解析的非结构化文件类型如表1、表2和表3。 表1 文本文档代码类 序号 文件类型 序号 文件类型 1 Access数据库文件 74 Pdf文档 2 Arff文件 75 Perl源代码 3 Asp文件 76 Pgp文件 4 Atom文件 77 Php源代码 5 Bat文件 78 Pkcs7数字证书文件 6 Bcpl源代码 79 Plist文件 7 Bib文件 80 Postgres数据库文件 8 C#源代码 81 Postscript文档 9 C/C+源代码 82 Powerpoint文档 10 Cad Sldworks文件 83 Properties文件 11 Cad文档 84 Publisher文件 12 Cbor文件 85 Python源代码 13 Cfg文件 86 Quattro-Pro电子表格 14 Chm文件 87 Redis数据库文件 15 Com可执行文件 88 Rss文件 16 Css文件 89 Rtf文档 17 Datax配置文件 90 Ruby源代码 18 Dbf文件 91 R源代码 19 Dif文件 92 Sas7Bdat文件 20 Dita文件 93 Sas文件 21 Djvu文档 94 Scala源代码 22 Dos可执行文件 95 Shell脚本 23 D源代码 96 Sqlite3数据库文件 24 Elf可执行文件 97 Sqlserver数据库文件 25 Epub电子书 98 Sql源代码 26 Excel文档 99 Ssh公钥 27 Fdf文档 100 Ssh配置文件 28 Fictionbook Xml文件 101 Ssh私钥 29 Ftp会话文件 102 Staroffice文档 30 Gnuccash财务xml文件 103 Swift源代码 31 Go源代码 104 Tab文件 32 Groovy源代码 105 Tcl源代码 33 Hdr文件 106 Text文件 34 Hocon文件 107 Tff文件 35 Html文件 108 Tnef文件 36 Htm文件 109 Tomcat Application配置文件 37 Hwp文件 110 Tomcat Users配置文件 38 Ibooks文件 111 Tomcat配置文件 39 Iis配置文件 112 Toml文件 40 Ini 文件 113 Tsd文件 41 Isa-Tab文件 114 Tsv文件 42 Iwork文档 115 Vcs文件 43 Java Jce Keystore文件 116 Visio文档 44 Java Keystore文件 117 Visualbasic源代码 45 Javascript源代码 118 Vrml虚拟现实建模语言代码 46 Java源代码 119 Webarchive文件 47 Json文件 120 Weblogic配置文件 48 Jsp源代码 121 Webvtt文件 49 Latex源代码 122 Windowsinf文件 50 Log日志文件 123 Windows帮助全文搜索引 51 Lua源代码 124 Windows预编译文件 52 Mariadb数据库文件 125 Wordperfect文档 53 Markdown文档 126 Word文档 54 Matlab源代码 127 Wpd文档 55 Mbox文件 128 Wps文档 56 Mhtml文件 129 Xdp文件 57 Microsoft Reader文档 130 Xfdf文件 58 Mongodb数据库文件 131 Xhtml文件 59 Mrs配置文件 132 Xlf文件 60 Msworks文档 133 Xliff文件 61 Mysql数据库文件 134 Xlr文件 62 Netcdf文件 135 Xlz文件 63 Objective-C源代码 136 Xml Sitemap文件 64 Obs配置文件 137 Xml文件 65 Office文档 138 Xmp文件 66 Onenote文件 139 Xps文档 67 Opendocument文件 140 Xpt文件 68 Openvpn配置文件 141 Yaml文件 69 Oracle数据库文件 142 常见数字证书文件 70 Outlook文件 143 空文件 71 Pascal源代码 144 配置文件windows Initialization 72 Pbm文件 145 其他普通未加密文本文件 73 Pcx文件 146 邮件文档 表2 压缩和二进制类 序号 类型说明 序号 类型说明 1 7Zip文件 26 Lha压缩文件 2 Apk安卓程序 27 Lz4压缩文件 3 Arj文件 28 Lzma压缩文件 4 Ar文件 29 Mat文件 5 Bgp文件 30 Netcdf文件 6 Brotli压缩文件 31 Object文件 7 Bzip2压缩文件 32 Pack200压缩文件 8 Bzip压缩文件 33 Rar压缩文件 9 Cabinet压缩文件 34 Sharelib文件 10 Coredump文件 35 Snappy压缩文件 11 Cpio压缩文件 36 Tar压缩文件 12 Deflate64压缩文件 37 Tcpdump捕获文件 13 Dmg文件 38 Tika-Unix-Dump文件 14 Elf可执行文件 39 Unix压缩文件 15 Gdal文件 40 Xcompress压缩文件 16 Grb文件 41 Xlz压缩文件 17 Grib2文件 42 Xpi Firefox插件安装包 18 Grib文件 43 Xz压缩文件 19 Gzip文件 44 Zip压缩文件 20 Hdf文件 45 Zlib压缩文件 21 He5文件 46 Zstd压缩文件 22 Iso-19139地理信息文件 47 Zstd字典文件 23 Iso压缩文件 48 Z压缩文件 24 Jar文件 49 可执行文件 25 Java Class文件 50 普通压缩文件 表3 图片类 序号 类型说明 序号 类型说明 1 BMP文件 4 JFIF文件 2 PNM文件 5 JPEG文件 3 PNG文件 6 TIFF文件 父主题： 产品咨询类

DSC支持的内置识别规则有哪些？ 数据安全中心根据行业敏感信息内置了包含敏感图片信息、个人敏感信息、企业敏感信息等七类规则，具体内置规则如表1所示。 表1 内置规则 敏感数据分类 类型 个人敏感图片信息 驾照图片（中国内地） 银行卡图片（中国内地） 身份证图片（中国内地） 机动车登记证书图片（中国内地） 护照图片（中国内地） 车险保单图片（中国内地） 机动车行驶证图片（中国内地） 个人敏感信息 身份证号（中国内地） 护照号（中国内地） 驾照号（中国内地） 港澳通行证 车牌号（中国内地） 军官证号 美国社会保险号码SSN ITIN 社保相关信息 车辆识别代码 姓名（简体中文） 姓名（英文） 国籍 性别 民族 生日 出生地 教育程度 工作单位 工作行业 电话号码（中国内地） 手机号码（中国内地） 邮箱 微信号 QQ号 婚姻状况 家庭成员关系 宗教信仰 银行卡号 信用卡号 万事达信用卡 VISA信用卡 信用卡安全码 企业敏感图片信息 营业执照图片 企业敏感信息 工商注册号 统一社会信用代码 纳税人识别号(税号) 组织机构代码 企业类型 经营状态 企业交付信息 企业需求信息 设备敏感信息 唯一设备识别码IMEI 移动设备识别码MEID MAC地址 SIM卡IMSI信息 IPv4地址 IPv6地址 Linux-Passwd文件 Linux-Shadow文件 密钥敏感信息 SSL Certificate Access_Key_Id Secret_Access_Key AWS_AC CES S_KEY AWS_SECRET_KEY Facebook_SECRET IAM 账号密码 GitHub_KEY DSA私钥 EC私钥 加密私钥 RSA私钥 位置敏感信息 GPS信息 精确地址（中国） 省份（中国内地） 邮政编码（中国内地） 城市（中国内地） 直辖市（中国） 地址（中国内地） 系统敏感信息 URL链接 LDAP OS类型 通用敏感信息 日期 父主题： 数据识别和数据脱敏

如何排查数据库资产连通性失败？ 数据库添加完成后，该数据库的“连通性”为“检查中”，此时，DSC会测试数据库的连通性，如果数据库的“连通性”为“失败”，请按照以下步骤进行排查： 检查添加资产的IP、账号、密码、数据库名是否正确。 不正确，修改添加资产的IP、账号、密码、数据库名。 正确，执行2。 检查您资产安全组的出方向是否全部放开。 没有全部放开，需要添加出方向规则，安全组的出方向全部放开后再编辑数据库重新添加，如果仍失败，执行3。 已全部放开，执行3。 检查数据库对应IP子网的可用IP数是否为0。 由于DSC服务需要对数据库进行网络打通，至少需要一个可用IP数。如果数据库对应IP子网的可用IP数为0，则需要在对应数据库服务中添加可用IP。 父主题： 资产授权类

对待注入水印的源数据有什么要求？ 由于注入水印的原理是将水印原子信息嵌入到不同特征的数据中去，因此源数据特征越多，越能嵌入完整的水印信息、提高提取成功率，并且即使缺失部分数据也不影响水印提取。所以对需要注入水印的数据有如下要求： 待注入水印的源数据需要大于等于1000行。 小于1000行的源数据有可能因为特征不够导致提取水印失败。 尽量选取数据取值比较多样的列注入水印，如果该列的值是可枚举穷尽的，则有可能因为特征不够导致提取失败。 常见的适合嵌入水印的列如地址、姓名、UUID、金额、总数等。 父主题： 数据水印类

DSC能够识别哪些数据源对象？ DSC能通过内置规则和自定义规则从OBS、RDS、Elasticsearch、DWS、 DLI 的海量数据中分析并识别出敏感对象。 DSC支持的数据源如表1所示。 表1 支持的数据源 数据源 具体的数据类型 扫描限制 RDS（关系型数据库） MySQL、SqlServer、PostgreSQL类型。 采样扫描前500行数据。扫描指标QPS为300次/秒。 CSS （ 云搜索服务 ） 大数据资产 -- OBS（ 对象存储服务 ） 支持200+文件类型。 大于200MB以上的文件不会对其进行扫描；同时如果OBS桶的文件进行了加密，则无法对其扫描。 DWS（ 数据仓库 服务） -- -- E CS （弹性云服务器） 搭建的Mysql、TDSQL、SqlServer、PostgreSQL、Oracle数据库及ElasticSearch实例。 -- DLI（ 数据湖探索 ） 大数据资产 -- LTS（ 云日志 服务） 日志流 -- 父主题： 数据识别和数据脱敏

DSC可以检测哪些类型的异常事件？ 数据安全中心服务当前仅支持对OBS桶数据进行异常检测。 DSC根据敏感数据规则对OBS桶进行识别，根据识别的敏感数据进行监控，监控到敏感数据的异常事件相关操作后，会将监控结果展示在异常事件处理页面中，用户可根据需要对异常事件进行处理。DSC支持检测的异常类型和异常内容如表1所示。 表1 DSC异常检测 异常类型 异常内容 数据访问异常 敏感文件的越权操作。 敏感文件的下载操作。 数据操作异常 敏感文件的更新操作。 敏感文件的文件内容追加操作。 敏感文件的删除操作。 敏感文件的复制操作。 数据管理异常 添加桶时，检测到桶为公共读或公共读写桶。 添加桶时，检测到私有桶对匿名用户或注册用户组开通了访问/ACL访问权限。 含有敏感文件的桶出现桶策略更改、删除操作。 含有敏感文件的桶出现桶ACL更改、删除操作。 含有敏感文件的桶出现跨区域复制配置的更改、删除操作。 敏感文件的对象出现ACL更改、删除操作。 相关文档： 如何处理异常事件？ 如何查看异常事件？ 父主题： 数据审计

什么是区域、可用区？ 我们用区域和可用区来描述数据中心的位置，您可以在特定的区域、可用区创建资源。 区域（Region）：从地理位置和网络时延维度划分，同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。Region分为通用Region和专属Region，通用Region指面向公共租户提供通用云服务的Region；专属Region指只承载同一类业务或只面向特定租户提供业务服务的专用Region。 可用区（AZ，Availability Zone）：一个AZ是一个或多个物理数据中心的集合，有独立的风火水电，AZ内逻辑上再将计算、网络、存储等资源划分成多个集群。一个Region中的多个AZ间通过高速光纤相连，以满足用户跨AZ构建高可用性系统的需求。 图1阐明了区域和可用区之间的关系。 图1 区域和可用区 目前，华为云已在全球多个地域开放云服务，您可以根据需求选择适合自己的区域和可用区。

如何选择区域？ 选择区域时，您需要考虑以下几个因素： 地理位置 一般情况下，建议就近选择靠近您或者您的目标用户的区域，这样可以减少网络时延，提高访问速度。 在除中国大陆以外的亚太地区有业务的用户，可以选择“中国-香港”、“亚太-曼谷”或“亚太-新加坡”区域。 在非洲地区有业务的用户，可以选择“非洲-约翰内斯堡”区域。 在拉丁美洲地区有业务的用户，可以选择“拉美-圣地亚哥”区域。 资源的价格 不同区域的资源价格可能有差异，请参见华为云服务价格详情。

内置华为云数据安全分类分级模板 表1 内置分类分级模板 一级分类 二级分类 敏感等级 内置规则 个人信息 权威社会标识 L3 身份证号（中国内地） L3 护照号（中国内地） L3 驾照号（中国内地） L3 港澳通行证 L2 车牌号（中国内地） L3 军官证号 L3 美国社会保险号码SSN L3 ITIN L3 社保相关信息 L2 车辆识别代码 个人一般信息 L1 姓名（简体中文） L1 姓名（英文） L2 国籍 L2 性别 L2 民族 L2 生日 L2 出生地 L2 教育程度 L2 工作单位 L2 工作行业 L2 电话号码（中国内地） L3 手机号码（中国内地） L3 邮箱 L2 微信号 L2 QQ号 个人私密信息 L4 婚姻状况 L4 家庭成员关系 L4 宗教信仰 实名认证证明 L4 驾照图片（中国内地） L4 银行卡图片（中国内地） L4 身份证图片（中国内地） L4 机动车登记证书图片（中国内地） L4 护照图片（中国内地） L4 车险保单图片（中国内地） L4 机动车行驶证图片（中国内地） 银行账号信息 L3 银行卡号 L3 信用卡号 L3 万事达信用卡 L3 VISA信用卡 L4 信用卡安全码 企业信息 企业标识信息 L1 工商注册号 L1 统一社会信用代码 L1 纳税人识别号(税号) L1 组织机构代码 L1 营业执照图片 公开披露信息 L1 企业类型 L1 经营状态 企业内部信息 L2 企业交付信息 L2 企业需求信息 设备信息 终端标识信息 L2 唯一设备识别码IMEI L2 移动设备识别码MEID L2 MAC地址 L2 SIM卡IMSI信息 IP地址信息 L2 IPv4地址 L2 IPv6地址 终端配置信息 L3 Linux-Passwd文件 L3 Linux-Shadow文件 通用信息 时间信息 L1 日期 L1 时间 位置信息 L4 GPS信息 L4 精确地址（中国） L2 省份（中国内地） L2 邮政编码（中国内地） L2 城市（中国内地） L2 直辖市（中国） L3 地址（中国内地） 密钥凭证信息 L3 SSL Certificate L3 Access_Key_Id L4 Secret_Access_Key L3 AWS_ACCESS_KEY L4 AWS_SECRET_KEY L4 Facebook_SECRET L4 IAM账号密码 L4 GitHub_KEY L4 DSA私钥 L4 EC私钥 L4 加密私钥 L4 RSA私钥 系统网络信息 L2 URL链接 L2 LDAP L1 OS类型

开通云资源授权后，获得了授权资产服务的哪些权限？ 开通云资源授权后，可以访问OBS桶、数据库、大数据以及资产地图，获得了授权资产服务的权限如表1所示。 表1 对应授权项服务创建的委托 资产模块 服务策略 作用范围 备注 OBS OBS Administrator 全局 用于配置OBS日志，获取OBS对象列表，下载OBS对象等 EVS ReadOnlyAccess 区域 用于获取云硬盘列表 OBS Administrator 全局 用于获取OBS服务投递日志 数据库 ECS ReadOnlyAccess 区域 用于获取自建数据库ECS列表 RDS ReadOnlyAccess 区域 用于获取RDS数据库列表及数据库列表相关信息 DWS ReadOnlyAccess 区域 用于获取DWS列表 VPC FullAccess 区域 用于打通网络，VPC的端口创建，安全组规则创建等 KMS CMKFullAccess 区域 用于使用KMS加密脱敏的场景 GaussDB ReadOnlyAccess 区域 用于获取GaussDB列表 大数据 ECS ReadOnlyAccess 区域 用于获取自建大数据ECS列表 CSS ReadOnlyAccess 区域 用于获取CSS数据集群列表及数据索引等相关信息 DLI Service User 区域 用于获取DLI队列及数据库 VPC FullAccess 区域 用于打通网络，VPC的端口创建，安全组规则创建等 KMS CMKFullAccess 区域 用于使用KMS加密脱敏的场景 MRS MRS CommonOperations 区域 用于集群查询、任务创建等 资产地图 Tenant Guest 区域 用于获取用户涉及数据存储处理等相关云服务的列表等 OBS Administrator 全局 用于配置OBS日志，获取OBS对象列表，下载OBS对象等 EVS ReadOnlyAccess 区域 用于云硬盘列表获取 OBS Administrator 全局 用于OBS服务投递日志 LTS LTS ReadOnlyAccess 区域 用于读取LTS日志组/日志流 父主题： 资产授权类

开发流程 DLI下UDF函数开发流程参考如下： 图1 开发流程 表2 开发流程说明 序号 阶段 操作界面 说明 1 新建Maven工程，配置pom文件 IntelliJ IDEA 参考操作步骤说明，编写UDF函数代码。 2 编写UDF函数代码 3 调试，编译代码并导出Jar包 4 上传Jar包到OBS OBS控制台 将生成的UDF函数Jar包文件上传到OBS目录下。 5 创建DLI的UDF函数 DLI控制台 在DLI控制台的SQL作业管理界面创建使用的UDF函数。 6 验证和使用DLI的UDF函数 DLI控制台 在DLI作业中使用创建的UDF函数。

相关操作 怎样设置作业的参数？ 在FLink作业列表中选择待编辑的作业。 单击操作列“编辑”。 在参数区域输入参数信息。 指定类的参数列表，参数之间使用空格分隔。 参数输入格式：--key1 value1 --key2 value2 例如：控制台入输入的参数 --bootstrap.server 192.168.168.xxx:9092 通过ParameterTool解析后的参数如下所示： 图5 解析后的参数 怎样查看作业日志？ 在FLink作业列表中单击作业名称，进入作业详情页面。 单击“运行日志”，即可在控制台查看作业日志。 此处只展示最新的运行日志，更多信息请查看保存日志的OBS桶。

环境准备 登录MRS管理控制台，创建MRS集群，选择“开启kerberos”，勾选“Kafka”, “HBase”, “HDFS”等。请参见《 MapReduce服务 用户指南》的“购买自定义集群”的章节创建MRS。 “安全组规则”开通对应UDP/TCP端口。详细内容请参考《私有云用户指南》中的“添加安全组规则”章节。 进入MRS manager管理界面： 创建机机账号，需确保该用户含有“hdfs_admin”, “hbase_admin”权限，下载该用户认证凭据，其中包含“user.keytab” 和 “krb5.conf” 文件。 由于人机账号的keytab会随用户密码过期而失效，故建议使用机机账号进行配置。 单击“服务管理”，下载客户端，单击“确定”。 在MRS节点上下载配置文件，所需集群配置文件包含“hbase-site.xml”和“hiveclient.properties”。 创建弹性资源池和队列。 弹性资源池与队列为DLI作业提供计算资源，创建弹性资源池，弹性资源池添加队列。 使用该DLI独享队列与MRS集群建立增强型跨源连接，且用户可以根据实际所需设置相应安全组规则。 如何建立增强型跨源连接，请参考《 数据湖 探索用户指南》中增强型跨源连接章节。 如何设置安全组规则，请参见《虚拟私有云用户指南》中“安全组”章节。 获取MRS集群全部节点的ip和域名映射，在DLI跨源连接修改主机信息中配置host映射。 如何添加IP域名映射，请参见《数据湖探索用户指南》中“修改主机信息”章节。 Kafka服务端的端口如果监听在hostname上，则需要将Kafka Broker节点的hostname和IP的对应关系添加到DLI队列中。Kafka Broker节点的hostname和IP请联系Kafka服务的部署人员。

流生态作业开发指引 流生态系统基于Flink和Spark双引擎，完全兼容Flink/Storm/Spark开源社区版本接口，并且在此基础上做了特性增强和性能提升，为用户提供易用、低时延、高吞吐的数据湖探索。 数据湖探索的流生态开发包括云服务生态、开源生态和自拓展生态： 云服务生态 DLI服务在Stream SQL中支持与其他服务的连通。用户可以直接使用SQL从这些服务中读写数据，如DIS、OBS、CloudTable、MRS、RDS、 SMN 、DCS等。 开源生态 通过对等连接建立与其他VPC的网络连接后，用户可以在DLI的租户独享集群中访问所有Flink和Spark支持的数据源与输出源，如Kafka、Hbase、ElasticSearch等。 自拓展生态 用户可通过编写代码实现从想要的云生态或者开源生态获取数据，作为Flink作业的输入数据。 DLI Flink Connector支持列表请参考Connector概述。 父主题： Flink作业开发指南

概述 DLI支持原生Spark的DataSource能力，并在其基础上进行了扩展，能够通过SQL语句或者Spark作业访问其他数据存储服务并导入、查询、分析处理其中的数据，目前支持的DLI跨源访问服务有： 表格存储服务 CloudTable， 云搜索 服务CSS，分布式缓存服务DCS，文档数据库服务DDS，数据仓库服务GaussDB（DWS），MapReduce服务MRS，云数据库RDS等。使用DLI的跨源能力，需要先创建跨源连接。 管理控制台界面具体操作请参考《数据湖探索用户指南》。 使用Spark作业跨源访问数据源支持使用scala，pyspark和java三种语言进行开发。 表格存储 服务CloudTable相关介绍请参考《表格存储服务产品介绍》。 云搜索服务CSS相关介绍请参考《云搜索服务产品介绍》。 分布式缓存服务DCS相关介绍请参考《分布式缓存服务产品介绍》。 文档数据库服务DDS相关介绍请参考《文档数据库服务产品介绍》。 数据仓库服务GaussDB（DWS）相关介绍请参考《数据仓库服务产品介绍》。 MapReduce服务MRS相关介绍请参考《MapReduce服务产品介绍》。 云数据库RDS相关介绍请参考《云数据库服务产品介绍》。 父主题： 使用Spark作业跨源访问数据源

语法格式 create table tableName( attr_name attr_type (',' attr_name attr_type)* (',' WATERMARK FOR rowtime_column_name AS watermark-strategy_expression))with ( ... 'dew.endpoint'='', 'dew.csms.secretName'='', 'dew.csms.decrypt.fields'='', 'dew.projectId'='', 'dew.csms.version'='' );

参数说明 表1 参数说明 参数 是否必选 默认值 数据类型 参数说明 dew.endpoint 是 无 String 指定要使用的DEW服务所在的endpoint信息。 获取地区和终端节点。 配置示例：'dew.endpoint'='kms.cn-xxxx.myhuaweicloud.com' dew.projectId 否 有 String DEW所在的项目ID， 默认是Flink作业所在的项目ID。 获取项目ID dew.csms.secretName 是 无 String 在DEW服务的凭据管理中新建的通用凭据的名称。 配置示例：'dew.csms.secretName'='secretInfo' dew.csms.decrypt.fields 是 无 String 指定connector with属性中，哪些字段属性需要使用DEW云凭据管理服务进行解密。字段属性之间用逗号分隔，例如：'dew.csms.decrypt.fields'='field1,field2,field3' dew.csms.version 否 最新的version String 在DEW服务的凭据管理中新建的通用凭据的版本号(凭据的版本标识符)。 若不指定，则默认获取该通用凭证的最新版本号。 配置示例： 'dew.csms.version'='v1'

前提条件 已在DEW服务创建通用凭证，并存入凭据值。具体操作请参考：创建通用凭据。 已创建DLI访问DEW的委托并完成委托授权。该委托需具备以下权限： DEW中的查询凭据的版本与凭据值ShowSecretVersion接口权限，csms:secretVersion:get。 DEW中的查询凭据的版本列表ListSecretVersions接口权限，csms:secretVersion:list。 DEW解密凭据的权限，kms:dek:decrypt。 委托权限示例请参考自定义DLI委托权限和常见场景的委托权限策略。 仅支持Flink1.15版本使用DEW管理访问凭据，在创建作业时，请配置作业使用Flink1.15版本、且已在作业中配置允许DLI访问DEW的委托信息。 在DLI管理控制台新建“增强型跨源连接”配置DLI与数据源的网络连通。 具体操作请参考增强型跨源连接。

示例 本例以通过DataGen表产生随机数据并输出到Mysql结果表中为例，介绍Flink Opensource SQL使用DEW管理访问凭据的配置方法。 创建DLI与Mysql的增强型跨源连接。详细步骤请参考创建增强型跨源连接。 创建DLI访问DEW的委托并完成委托授权。详细步骤请参考自定义DLI委托权限。 在DEW创建通用凭证。详细操作请参考创建通用凭据。 登录DEW管理控制台 选择“凭据管理”，进入“凭据管理”页面。 单击“创建凭据”。配置凭据基本信息 本例配置Mysql的凭据值： "MySQLUsername":"demo" "MySQLPassword":"*******",其中"*******"为Mysql的访问密码 Flink作业编辑框中输入具体的作业SQL，本示例作业参考如下。 create table dataGenSource( user_id string, amount int) with ( 'connector' = 'datagen', 'rows-per-second' = '1', --每秒生成一条数据 'fields.user_id.kind' = 'random', --为字段user_id指定random生成器 'fields.user_id.length' = '3' --限制user_id长度为3);CREATE TABLE jdbcSink ( user_id string, amount int ) WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://MySQLAddress:MySQLPort/flink',--其中url中的flink表示MySQL中orders表所在的数据库名 'table-name' = 'orders', 'username' = 'MySQLUsername', -- DEW服务中，名称为secretInfo，且版本号v1的的通用凭证，定义凭证值的键MySQLUsername，它的值为用户的敏感信息。 'password' = 'MySQLPassword', -- DEW服务中，名称为secretInfo，且版本号v1的的通用凭证，定义凭证值的键MySQLPassword，它的值为用户的敏感信息。 'sink.buffer-flush.max-rows' = '1', 'dew.endpoint'='kms.cn-xxxx.myhuaweicloud.com', --使用的DEW服务所在的endpoint信息 'dew.csms.secretName'='secretInfo', --DEW服务通用凭据的凭据名称 'dew.csms.decrypt.fields'='username,password', --其中username,password字段值，需要利用DEW凭证管理,进行解密替换。 'dew.csms.version'='v1');insert into jdbcSink select * from dataGenSOurce;

操作场景 DLI将Flink作业的输出数据写入到Mysql或DWS时，需要在connector中设置账号、密码等属性。但是账号密码等信息属于高度敏感数据，需要做加密处理，以保障用户的数据隐私安全。 数据加密 服务（Data Encryption Workshop，DEW）、云凭据管理服务（Cloud Secret Management Service，C SMS ），提供一种安全、可靠、简单易用隐私数据加解密方案。 用户或应用程序通过凭据管理服务，创建、检索、更新、删除凭据，轻松实现对敏感凭据的全生命周期的统一管理，有效避免程序硬编码或明文配置等问题导致的敏感信息泄露以及权限失控带来的业务风险。 本节操作介绍Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导。

创建MRS HBase表 创建DLI表关联MRS HBase表之前确保HBase的表是存在的。以样例代码为例，具体的流程是： 远程登录ECS，通过hbase shell命令查看表信息。其中，“hbtest”是要查询的表名。 describe 'hbtest' （可选）如果不存在对应的HBase表，可以创建该表，具体的命令是： create ‘hbtest’, ‘info’, ‘detail’ 其中，“hbtest”是表名，其余为列族名。 配置好连接信息。“TableName”对应HBase表的表名，“Rowkey”和“Cols”请参考《创建DLI表关联HBase》进行配置。

常见问题 Q：作业运行失败，运行日志中有如下报错信息，应该怎么解决？ java.lang.NoSuchMethodError: org.apache.flink.api.java.ClosureCleaner.clean(Ljava/lang/Object;Z)V A：该问题是因为所选择的huaweicloud-dis-flink-connector_2.11版本过低导致，请选择2.0.1及以上版本。 Q：运行作业读取DIS数据时，无法读出数据且Taskmanager的运行日志中有如下报错信息，应该怎么解决？ ERROR com.huaweicloud.dis.adapter.common.consumer.Coordinator [] - Failed to getCheckpointAsync, error : [400 : {"errorCode":"DIS.4332","message":"app not found. "}], request : [{"stream_name":"xx","partition_id":"shardId-0000000000","checkpoint_type":"LAST_READ","app_name":"xx"}] A: 该问题是因为读取DIS数据所使用的group.id在DIS的Apps中并没有提前创建。

环境准备 已在DLI控制台购买了通用队列。 已购买了DIS通道。开通DIS通道。 用户在使用Flink 1.12版本，则依赖的Dis connector版本需要不低于2.0.1，详细代码参考DISFlinkConnector相关依赖，如何配置connector，详细参考自定义Flink Streaming作业。 若读取DIS，且配置groupId，则需要提前在DIS的“App管理”中创建所需的App名称。 请勿将disToDis.properties放在生成的jar包中，在代码里有关于disToDis.properties的路径，如果放在jar包中，代码会找不到disToDis.properties路径。

CSS安全集群参数配置 具体参数请参考表1，这里主要说明配置CSS安全集群连接参数时需要注意的内容。 .option("es.net.http.auth.user", "admin") .option("es.net.http.auth.pass", "***") 此处的参数为身份验证的账号和密码，也是登录Kibana的账号和密码。 .option("es.net.ssl", "true") 如果CSS安全集群开启了HTTPS访问，此处需要设置为“true”，并且需要继续设置后面的安全证书、文件地址等参数。 如果CSS安全集群未开启HTTPS访问，此处需要设置为“false”，则不需要设置后面安全证书、文件地址等参数。 .option("es.net.ssl.keystore.location", "obs://桶名/path/transport-keystore.jks").option("es.net.ssl.keystore.pass", "***") 此处设置keystore.jks文件的位置以及进入这个文件的密钥。在准备工作中生成的keystore.jks文件需要先放到OBS桶中，然后填入ak和sk以及jks文件的具体位置。最后在“es.net.ssl.keystore.pass”填入进入文件的密钥。 .option("es.net.ssl.truststore.location", "obs://桶名/path/truststore.jks").option("es.net.ssl.truststore.pass", "***") 此处是truststore.jks文件的设置参数，与keystore.jks文件的设置参数基本一致，按照keystore.jks文件设置步骤进行操作即可。

准备工作 当前CSS服务提供的Elasticsearch 6.5.4或以上集群版本为用户增加了安全模式功能，开启安全模式后，将会为用户提供身份验证、授权以及加密等功能。DLI服务对接CSS安全集群时，需要先进行以下准备工作。 选择CSS Elasticsearch 6.5.4或以上集群版本，创建CSS安全集群，并下载安全集群证书（CloudSearchService.cer）。 登录云搜索服务控制台，单击“集群管理”，选择需要建立跨源连接的集群，如图1所示： 图1 CSS集群管理 单击“安全模式”中的“下载证书”下载安全证书。 使用keytool工具生成keystore和truststore文件。 使用keytool工具生成keystore和truststore文件，其中需要使用到安全集群的安全证书（CloudSearchService.cer），keytool工具还有其他参数，可根据需求设置。 打开cmd，输入下列命令生成含有一个私钥的keystore文件。 keytool -genkeypair -alias certificatekey -keyalg RSA -keystore transport-keystore.jks 使用keytool工具生成keystore和truststore文件后，可以在文件夹中看到transport-keystore.jks文件，使用如下命令验证keystore文件和证书信息。 keytool -list -v -keystore transport-keystore.jks 正确输入keystore password后即可看见相应的信息。 使用如下命令创建truststore.jks文件并进行验证 。 keytool -import -alias certificatekey -file CloudSearchService.cer -keystore truststore.jkskeytool -list -v -keystore truststore.jks 将生成的keystore和truststore文件上传到OBS桶中。

样例代码 本章节JAVA样例代码演示将DataGen数据处理后写入到OBS，具体参数配置请根据实际环境修改。 创建DLI访问DEW的委托并完成委托授权。 详细步骤请参考自定义DLI委托权限。 在DEW创建通用凭证。详细操作请参考创建通用凭据。 登录DEW管理控制台 选择“凭据管理”，进入“凭据管理”页面。 单击“创建凭据”。配置凭据基本信息 DLI Spark jar作业编辑界面设置作业参数。 Spark参数： spark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.access.key= USER_AK_CSMS_KEYspark.hadoop.fs.obs.bucket.USER_BUCKET_NAME.dew.secret.key= USER_SK_CSMS_KEYspark.hadoop.fs.obs.security.provider=com.dli.provider.UserObsBasicCredentialProviderspark.hadoop.fs.dew.csms.secretName=obsAkSkspark.hadoop.fs.dew.endpoint=kmsendpointspark.hadoop.fs.dew.csms.version=v3spark.dli.job.agency.name=agency 示例代码 示例代码请参考使用Spark Jar作业读取和查询OBS数据。