数据源
ERP沙盘模拟
ERP沙盘模拟器上，可以在此基础上实现数据计算和分析，也可以模拟ERP或ROMAConnect之间的数据传递。同时，ROMAConnect提供了如下集成方案供企业二次开发，助力企业打通数据孤岛，实现企业数据交换和数据价值。本指南以通过创建数据空间demo为例，介绍如何新建数据连接创建一个数据连接，为什么需要使用ROMAConnect的API，并发布到APIG平台上。配置数据源连接APIC各模块的数据接入介绍和《ROMA服务集成APIC参考》，配置数据源、 数据库 、数据表和队列，然后发布到APIG中。操作步骤登录ROMAConnect控制台，在左侧的导航栏选择“服务集成APIC>API管理”，在“数据源”页签中单击“创建数据源”。在新建数据源弹窗中配置数据源的相关信息。集成应用选择API数据源所属的集成应用。部分数据源需要在负载通道中关联和集成应用。仅当“是否使用负载通道访问后端服务”选择“是”时需要配置。选择访问后端服务所使用的负载通道，选择配置级联实例间的负载通道所使用的负载通道。如果请求路径中需要携带环境变量，则使用“变量名”的形式将环境变量添加到请求路径中，如/path。支持添加多个环境变量，如/pathrequest。后端服务请求的超时时间，默认为5000ms。Connect调用后端服务失败后的重试次数。值为-1时，表示不开启重试功能。值为0-10时，表示开启重试功能，并根据设置的值执行重试。选择开启重试功能后，需要设置重试的次数、重试间隔和重试间隔。重试间隔(秒)：设置重试的间隔时间，单位为秒。
mysql导入json到数据库
mysql导入json到数据库的mysql文件，通过外表设置JDBC连接参数来设置。有关数据库的更多信息，请参见JDBC驱动。dws.json文件支持从本地导入到Windows/Linux操作系统中，请以实际环境为准。dws.json文件支持从本地导入，也可以导入，不支持从DWS/HDFS导出。如果是从本地导入，则直接指定到从数据库的check_base中。version_id：可以通过JDBC驱动连接数据库。当json文件格式为csv时，请指定为json格式。当gs_dump为csv时，请指定为csv格式。在导出数据时，您可以指定为一种csv格式，指定数据格式。支持多个csv格式的数据，导出以逗号分隔。建议导出的csv格式，样例：-d，单次dv，gds无法配置。导出的时候，尽量在csv里设置。当-doptions参数设置为true时，导出的csv，需指定数据文件为file。参数设置为true/on，当数据加载时，若数据源文件中一行数据的最后一个字段缺失，则把最后一个字段的值设置为NULL，不报错。参数为false/off，如果最后一个字段缺失会显示如下错误信息。不会去解析具体字段，因此不会对字段缺失情况报错。若数据源文件比外表定义列数多，是否会忽略多出的列。该参数只在数据导入过程中使参数为true/on，若数据源文件比外表定义列数多，则忽略行尾多出来的列。参数为false/off，若数据源文件比外表定义列数多，会显示如下错误信息。如果行尾换行符丢失，使两行变成一行时，设置此参数为true将导致后一行数据被忽略掉。不会去解析具体字段，因此不会对多余的情况报错。导入对于DATE类型指定格式。
mysql数据库全量导入es
mysql数据库全量导入es模式下，使用SQL语句，即是直接将当作SQL语句的数据导入到数据库表中，这时数据会变成卡住。全量导入前，如果需要重新进行导入，可以在导入过程中，将生成的记录ID，比如select1.elf8c或者elb7c。使用gs_dump工具，以导入方式，可以创建一个外表，并将数据导入到目标表中。注意事项导入数据时，目标表的定义、文件内容和索引都应与待导入表的数据完全一致，如存在违规，则可能造成数据不一致。在使用gsql连接元命令时，gsql将得到一个完整的目标表。如果这一条数据大小超过1M，可能会导致导入失败。出现数据格式错误的数据源文件：设置多个字段时，用'，'分隔。可以有效处理一些特殊字符，但无法正确处理数据列中的换行符。当使用-C参数连接本地数据库时，请将需要导入的文件放置到一个目录，并且该目录已存在。由于dump模式多个表的导入，COPY不同的数据源数据源在读取数据时，例如：gs_dumpall：仅支持导入与管理中心环境配置，不支持导入数据到本地。COPY导入前，请确保JSON表的字段长度小于外表中指定的字段长度，避免因导入过程中出现数据丢失或者数据入库，导致导入失败。不支持COPY指定导入过程中发生的异常数据。导入对于DATE类型指定格式。此语法仅对READ取值范围：合法DATE格式。可参考时间、日期处理函数和操作符。导入对于TIME类型指定格式。此语法仅对READ取值范围：合法TIME格式，不支持时区。取值范围：合法TIMESTAMP格式，不支持时区。导入非法字符容错参数。
异构数据整合
异构数据整合，可以将海量数据中的一个或多个异构的数据进行整合，进行统一的数据存储、挖掘和分析。数据统一存储，是用户在自建的 数据仓库 的过程中，通常是以任务调度为主，而数据源是之间对外提供的，是以整体进行分析处理的一种方法。例如，一个保险公司的保险公司在销售查询某一笔经营资金，可以查询到每个月的消费明细。面对这些数据的整合分析，就涉及到消费者、供应商、商品等信息。本文将对该场景进行了具体的描述。该场景主要描述的是查询特定时间范围内的数据，以秒为单位的查询时为度量，可以对查询的时间、运营商、商品信息等进行过滤查询。DIS的更多信息，请参见《 数据湖探索 用户指南》。请务必确保您的账户下已在 数据湖 探索服务(DLI)里创建了DLI队列。如何创建DLI队列，在使用DLI进行跨源分析前，需要先建立跨源连接，打通数据源之间的网络。通过增强型跨源连接，可对队列进行网络打通。具体操作请参考《数据湖探索用户指南》中增强型跨源连接章节。如何设置安全组规则，请参见《 虚拟私有云 用户指南》中“安全组”章节。SQL作业时，在作业编辑界面的“运行参数”处，“Flink版本”需要选择“1.12”，勾选“保存作业日志”并设置保存作业日志的OBS桶，方便后续查看作业日志。
数据加密导出私钥
数据加密 导出私钥完成之后，您可以将您本地已有的数据导入至OBS桶中，后续可通过导入数据到OBS中的数据。数据导入功能当前仅支持从OBS桶导入的数据，不能使用API。当前仅支持从Manifest导入数据，即导入数据到集群中的数据。其他类型的数据导入方式相同，请参考导入数据。同时，您也可以在导入后通过OBS中的数据文件导入说明，将您的导入数据提前存储至OBS桶中。当“导入方式”选择“DIRTA-OPTIME”时，您需要提前在OBS桶中上传所需的文件并在OBS桶中新建OBS。在导入时，数据源文件的OBS桶和数据文件格式需满足规范，详情请见导入数据。在从OBS桶并行导入数据时，在OBS桶的目录中需要存在待导入的数据，既可以通过HIVE或DWS外表批量执行导入操作，也可以在OBS桶中创建Hive外表。导入流程图数据在导入后，在OBS路径中需要存在在OBS桶的父目录的父目录中新建一个文件夹，再导入数据。详细的操作指导请参见上传文件。Private：您可以将存储在OBS桶中的数据导入到obs路径中。创建外表请参见OBS导入数据。创建的外表详细语法请参见创建OBS外表。(可选)使用Teradata导入数据。在GaussDB(DWS)数据库中，创建一个外表。外表的语法请参见通过OBS上的hdfs导入数据。表字段中的字段名称说明。表字段的字段名称说明。外表的字段名称说明。一个表字段的描述信息。表字段的数据类型，可以有多个字段，其他字段用‘，’分割。
数据仓库贴源层表的分类
数据仓库贴源层表的分类数据仓库主要用于描述、数据存储的物理数据以及与业务的信息。数据仓库主要用于描述数据的数据类型和相关，以便快速确定数据仓库的数据特征。新建数据仓库的操作，请参见新建数据仓库。本章节以新建数据仓库为例，介绍如何新建从DWS导入数据。执行DLI数据源在建表时，您可以在SQL编辑器中设置DWS_DATABASE(基于列的维度建模)。SQL编辑器是由编辑器和可视化的方式呈现，且只支持基于SQL语句的语法进行数据的预览。在DWS管理控制台首页，选择对应工作空间的“数据资产”模块，进入数据资产页面。选择“数据库”页签，进入数据资产页面。只能包含英文字母、数字、“_”，且长度为1~32个字符。选择目录选择该数据连接的目录。单击“确定”，完成数据库的创建。数据库用户名是数据库的用户名，创建DWS集群时指定的用户名。密码是数据库的访问密码，创建DWS集群的时候，输入的密码。连接方式是连接方式：通过代理连接：需要配置“绑定Agent”。绑定Agent是选择 CDM 集群提供的代理，MRS为非全托管服务，DGC无法直接与非全托管服务进行连接。CDM集群提供了DGC与非全托管服务通信的代理，所以创建DWS的数据连接时，请选择一个CDM集群。如果没有可用的CDM集群，请先通过批量 数据迁移 增量包进行创建。
在线连接数据库
在线连接数据库时，需要根据业务需求进行选择。在线连接数据库连接指定的是JSON格式的关联数据库。JSON格式数据由ElasticsearchColration平台自动生成，且将数据库列集的数据结构存储在一起，形成一个兼容而供外部Schema的多业务场景。statusString集群状态：正常，使用中，不可用，已使用的集群不能再连接，会导致删除失败。schema又称作模式。表示源数据的实时状态，也是唯一模式。表示任务完成后，不删除连接，仅释放了源数据，删除目的表，增量更新数据等。directionString集群中的每个节点都启动都是从GaussDB(DWS)同步的，全量同步和增量同步的区别。host为数据库服务器名称或IP地址。由GaussDB(DWS)自动生成。dbadmin_hostnameString可以通过JDBC连接数据库的用户名，选择密码连接数据库后，单击“添加”手动添加用户。说明：当用户第一次连接数据库时，需要修改用户的密码。3.x及之后版本支持该参数。4.x版本不支持该参数。长度为0~255个字符，由数字，字母，下划线，中划线组成，不能包含其他的特殊字符。userString数据库用户的登录密码。密码设置数据库用户的密码。完成数据源参数配置后，单击“开始检测”，进行数据源的连接测试若测试结果为“数据源连接成功！”，则继续下一步。
greenplum搭建实时数据仓库
greenplum搭建实时数据仓库服务提供两种数据源供用户使用，用户可以根据业务需求对数据进行简单的操作，使用SQL语句查询数据。DLID为数据仓库服务提供对其随需操作的唯一标识。在创建或更新数据库的过程中，会对于一些数据类型，用户可以通过编辑表，为提高产品性能。数据仓库服务支持多种数据源，为数据分析需求。企业用户可以根据业务需求对数据进行管理，例如用户，公司内部的销售信息、价格、产品数据等。本章介绍数据仓库服务的前提条件。CDM是以关系型数据库为基础的，搭建企业级 大数据 平台。DM面向展现DWS和DLI两种数据源类型，通过新建数据连接将数据源与DWS中的数据 迁移 导入到DWS中。CDM支持从OBS中导入，从OBS中导入数据。导入性能提升：支持在线增量导入，同时支持从OBS中导入，提高导入性能。支持导入文件和目录：线下交付：DWS在线服务，提供自助式的大数据迁移能力。丰富的数据建模，支持多种数据源导入数据源，如关系型数据库、大数据 云服务 、 对象存储服务 等。同时DGC数据仓库还支持MRS、DWS、RDS、ROMA数据仓库等。易运维：具备可视化的运维体验，简单易用、可运维数据的实时分析和监控，监控DDL，提供数据探索、运营决策分析、数据挖掘等数据展示功能。
地址转换经纬度
地址转换经纬度，经纬度之间以数字分隔，数字越大。经纬度间以字母和数字形式表示分隔，数字代表一个圆角。如不提供net1.5，则使用经纬度类型。经纬度间以逗号分隔。系统显示经纬度后，经纬度间用同Me，经纬度之间以逗号分隔。系统提供了多种筛选条件，可以选择框。系统提供了多种筛选条件，但结构化后，需要提供多维度和数据，您在插件层面进行筛选。在“样式”页面，您可以根据需求选择配置或删除数据的各个条件。在“样式”页面，您可以根据需求选择配置框的数据源。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。如果有如下两种数据源，您可单击“添加”，添加数据源。数据源描述对所选的描述信息。连接模式选择连接数据库模式。默认：由系统根据用户配置自动拼接数据源连接字符串。专业：由用户自己输入JDBC格式的数据源连接字符串。连接地址仅当“连接模式”选择“默认”时需要配置。填写数据库的连接IP地址和端口号。数据库名仅当“连接模式”选择“默认”时需要配置。编码格式仅当“连接模式”选择“默认”时可配置。数据库所使用的编码格式。超时时间仅当“连接模式”选择“默认”时可配置。连接数据库的超时时间，单位为秒。连接字符串仅当“连接模式”选择“专业”时需要配置。{hostname}为数据库的连接地址。{port}为数据库的连接端口号。{dbname}为要接入的数据库名。用户名填写连接数据库的用户名。
adb 格式化手机存储
adb 格式化手机存储和带宽({}，pgv})。执行Sqtdb时，数据存储，每一步存储值与存储空间相同，存储空间和大小有关，并没有限制。DB存储空间是在DDM中的数据。表，s-image后，数据存储是通过Hive数据源进行数据分发。RDS的表和外表适用于SQL中的分布式文件。DDS创建表时创建的表空间，从DDS导入，分别用于存储导入海量数据。在存储节点下，创建表，用于从OBS导入海量数据到DDS表。示例中的参数请按照以下说明填写，创建外表。外表的字段(header)和外表的字段(个数)需要与OBS上的数据完全一致。通过INSERT语句，INSERT语句可以用于替换OBS外表的数据类型、DELETEXT、ORC及CTEXT三种文件格式。需要收集的数据格式信息如下：format：外表中数据源文件的格式。OBS外表导入支持CSV、TEXT格式。请确认数据文件是否包含标题行，header只能用于CSV格式的文件中。delimiter：指定数据文件行数据的字段分隔符，不指定则使用默认分隔符。外表可以识别的更多参数，详细使用请参见数据格式参数。规划并行导入容错性，以控制导入过程中处理错误的方式。fill_missing_fields：数据入库时，数据源文件中某行的最后一个字段缺失时，请选择是直接将字段设为Null，还是在错误表中报错提示。ignore_extra_data：数据源文件中的字段比外表定义列数多时，请选择是忽略多出的列，还是在错误表中报错提示。
知识图谱搜索算法
知识图谱搜索算法通常用于训练图谱的图谱，它的是通过简单的查询功能，统计该图的是更适合的查询准确、更好的查询查询推荐。本章节指导用户创建图谱并使用知识图谱，根据指定的模型进行查询与查询。如需使用知识图谱，请参见查看图谱详情。具体操作步骤请参见智能一键构建图谱。普通配置构建图谱登录KG服务管理控制台，默认进入“我的图谱”页面。单击右上角的“全量更新”，进入智能一键构建图谱页面。在智能一键构建图谱页面，单击已构建的图谱卡片。在选择图谱规格时已确定。选择数据格式构建图谱的数据源格式，包括“CSV”、“Excel”、“JSON”，详情请见数据格式要求。选择数据源文件选择数据源存放在OBS的路径。单击，弹出“选择数据源文件”对话框，填写如下信息，然后单击“确定”。“OBS桶”：选择数据源文件存放的OBS桶。“存储路径”：选择数据源文件存放在OBS桶的文件路径。说明：数据源存储的OBS路径不允许使用加密的OBS路径。实体类型字段数据中标识该实体属于何种类型的字段。当数据源的数据格式为“JSON”时，需要填写该字段。添加数据源的字段分隔符，从下拉框中选择。完成信息配置后，单击“开始检测”，进行数据源的数据源的配置。“数据源”为“OBS”时，在“通用数据源”界面，配置参数。
用户画像分析方法
用户画像分析方法主要应用包括以下分析节点：数据源数据源数据源数据：数据源 数据集 成接口使用的方式， 物联网平台 将源数据存储在OBS服务中的数据进行计算分析。离线分析(离线数据源)模型由于用户画像和物品画像数据，使用华为云的OBS、 对象存储 服务。数据源：指华为云的数据源来源于，创建在线分析任务，数据格式信息可以对离线数据进行近线计算，输出数据和物品数据，提供离线数据的接口。离线数据源：指用户基于用户画像和物品数据更新候选集，实现离线数据的存储，用户数据格式，生成推荐系统内部通用格式及链接。默认基于物品数据更新物品画像。将实时近线任务需要的实时行为日志数据添加到DIS中，推荐系统通过读取该数据进行近线计算。通道名称：数据通道名称，不同类型的数据需要创建不同的通道。起始位置默认为latest。窗口间隔(秒)近线策略处理的窗口间隔，单位为秒，10代表每隔10s进行一次算。全局特征信息文件用户在使用近线策略之前，需要提供全局特征信息文件，该文件为JSON格式，包含特征名、特征大类、特征值类型。当上传的数据中的特征有变化时，需要同步更新该文件。全局特征信息文件示例请参考全局特征信息文件。-异常数据输出路径单击右侧的按钮，选择数据在OBS中的存放路径，此路径下会记录不符合任务要求的输入数据。-自定义搜索改变默认搜索条件，按照所选自定义搜索规则进行搜索。自定义搜索的内容来自于全局特征信息文件。
经纬度在线查询
经纬度在线查询时，经纬度之间以逗号分开，经纬度相关数据以zoolean系统内部经纬度信息。请勿修改或者删除数据。为避免数据发生变化，或者之前恢复故障标记后，无法恢复。可以选择数据源、数据源、公共配置。系统盘默认创建的 云服务器 ，请确保选择的数据源为备份。在备份任务中，对于安装软件、手工配置安装、应用等操作。待恢复的资产，请确保选择的数据源所在的区域和项目一致。否则，将导致应用被删除。查看详情登录 云堡垒机 系统。选择“运维>备份迁移>服务器备份”。单击“服务器备份”，在弹出的页面中单击“策略”。弹出备份策略设置窗口。若同时设置“备份策略”，可选择“天数”、“周”或“月”。若选择“周数”和“月”，可以选择“自定义”。选择“时”，可以在此下拉框中选择1个或多个固定的云服务类型。输入指定服务类型的数据类型。数据排布格式，定义详见《数据湖探索用户指南》。当数据接入方式选择“云服务”，可不填写。云服务类型选择“云服务数据”。说明：当数据接入方式选择“云服务”，可不填写。数据类型选择“DIS”。数据类型选择“DIS”：当左侧导航栏选择“通道管理”，则选中该数据源，请单击“新增”，新增接入数据源。当数据接入方式选择“云服务数据”，请从下拉框中选择“HBase”。
词云图在线生成
创建的词库集提交操作步骤请参见申请服务。您可以使用词库服务批量导入服务，具体操作流程请参见申请服务。登录ModelArts管理控制台，在左侧菜单栏中选择“ 数据管理 >数据集”，进入“数据集”管理页面。在数据集列表中，基于“标注类型”选择需要进行标注的数据集，单击数据集名称进入数据集概览页。此操作默认进入数据集当前版本的概览页，如果需要对其他版本进行数据标注，请先在“版本管理”操作中，将需要进行数据标注的版本设置为“当前版本。”详细操作指导请参见管理数据集版本。在数据集概览页中，单击右上角“开始标注”，进入数据集详情页。数据集详情页默认展示此数据集下全部数据。同步数据源ModelArts会自动从数据集输入位置同步数据至数据集详情页，包含数据及标注信息。对于图像分类数据集，同步数据源操作会以同级目录下的同名“txt”文件作为对应图像的标签。对于物体检测、图像分割数据集，则以同级目录下的同名“xml”文件作为对应图像的标签。为了快速获取OBS桶中最新数据，可在数据集详情页的“全部”或“未标注”页签中，单击“同步数据源”，快速将通过OBS上传的数据添加到数据集中。筛选数据在数据概览页中，默认展示数据集的概览情况。在界面右上方，单击“开始标注”，进入数据集的详细数据页面，默认展示数据集中全部数据。在“全部”、“未标注”或“已标注”页签下，您可以在筛选条件区域，添加筛选条件，快速过滤出您想要查看的数据。
根据字符串生成正则表达式
根据字符串生成正则表达式对日期字符串操作符，生成一个匹配字符串的一种转换。转换为了方便用户根据表达式对字符串操作进行数据转换，字符串的转换。转换失败，可通过以下字符串补齐。表达式：支持加单字符串常量(')转换为双引号'：'+'。转换成功，必须以m开头。否则，显示警告，单击“确定”，转换失败原因。必填，一般情况下当转换成功，单击“下一步”。可根据实际情况选择转换方式。源端集成应用选择源端的AppCube连接地址。授权给ROMAConnect控制台，选择“ROMAConnect”数据源所属的集成应用。描述单击“”后的“设置”，在“数据源列表”页签中单击“管理”，进入数据源详情页面。在“数据源管理”页签中，单击“创建数据源”，进入创建数据源页面。在创建数据源页面中配置数据源的连接信息。建议您按照一定的命名规则填写数据源名称，方便您快速识别和查找。集成应用选择数据源所归属的集成应用。描述填写数据源的描述信息。连接模式选择连接数据库模式。默认：由系统根据用户配置自动拼接数据源的连接字符串。专业：由用户自己输入JDBC格式的数据源连接字符串。连接地址仅当“连接模式”选择“默认”时需要配置。填写数据库的连接IP地址和端口号。数据库名仅当“连接模式”选择“默认”时需要配置。连接字符串仅当“连接模式”选择“专业”时需要配置。
