华为云用户手册

image-migrator config使用方法 image-migrator工具的config子命令可用于获取集群应用中使用的镜像，在工具所在目录下生成images.json。执行./image-migrator-linux-amd64 config -h命令可以查看config子命令的使用方法。 -k, --kubeconfig：指定kubectl的kubeConfig位置，默认是$HOME/.kube/config。kubeConfig文件：用于配置对Kubernetes集群的访问，KubeConfig文件中包含访问注册kubernetes集群所需要的认证凭据以及Endpoint（访问地址），详细介绍可参见Kubernetes文档。 -n, --namespaces：指定获取镜像的命名空间，多个命名空间用逗号分隔（如：ns1,ns2,ns3)，默认是""，表示获取所有命名空间的镜像。 -t, --repo：指定目标仓库的地址（registry/namespace）。 $ ./image-migrator-linux-amd64 config -hgenerate images.jsonUsage: image-migrator config [flags]Flags: -h, --help help for config -k, --kubeconfig string The kubeconfig of k8s cluster's. Default is the $HOME/.kube/config. (default "/root/.kube/config") -n, --namespaces string Specify a namespace for information collection. If multiple namespaces are specified, separate them with commas (,), such as ns1,ns2. default("") is all namespaces -t, --repo string target repo,such as swr.cn-north-4.myhuaweicloud.com/test 示例如下： 指定一个命名空间 ./image-migrator-linux-amd64 config -n default -t swr.cn-north-4.myhuaweicloud.com/test 指定多个命名空间 ./image-migrator-linux-amd64 config -n default,kube-system -t swr.cn-north-4.myhuaweicloud.com/test 不指定命名空间（表示获取所有命名空间的镜像） ./image-migrator-linux-amd64 config -t swr.cn-north-4.myhuaweicloud.com/test

准备工作 在开始迁移之前，请确保您已准备了一台安装了kubectl的服务器，用于连接源集群和目标集群。该服务器需要至少拥有5GB左右的本地磁盘空间和≥8G的内存，以确保迁移工具可以正常运行，并存储相关数据，如源集群的采集数据和目标集群的推荐数据等。 迁移工具支持在Linux（x86、arm）、Windows环境中运行，因此您可以在这些操作系统中任选一种作为服务器的操作系统。 对于Linux操作系统来说，使用image-migrator前，需要运行chmod u+x 工具名 命令（例如chmod u+x image-migrator-linux-amd64），授予可执行权限。 表1 image-migrator工具包获取 image-migrator image-migrator是一个镜像迁移工具，能够自动将基于Docker Registry v2搭建的Docker镜像仓库或第三方云镜像仓库中的镜像迁移到SWR中。 Linux x86：https://ucs-migration.obs.cn-north-4.myhuaweicloud.com/toolkits/image-migrator-linux-amd64 Linux arm：https://ucs-migration.obs.cn-north-4.myhuaweicloud.com/toolkits/image-migrator-linux-arm64 Windows：https://ucs-migration.obs.cn-north-4.myhuaweicloud.com/toolkits/image-migrator-windows-amd64.exe

image-migrator工作原理 图1 image-migrator工作原理 使用image-migrator工具将镜像迁移到SWR时，需要准备两个文件，一个为镜像仓库访问权限文件“auth.json”，该文件中的两个对象分别为源镜像仓库和目标镜像仓库（即Registry）的账号和密码；另一个为镜像列表文件“images.json”，文件内容由多条镜像同步规则组成，每一条规则包括一个源镜像仓库（键）和一个目标镜像仓库（值）。将这两个文件准备好以后，放在image-migrator工具所在目录下，执行一条简单的命令，就可以完成镜像的迁移。关于两个文件的详细介绍如下： “auth.json”文件 “auth.json”为镜像仓库访问权限文件，其中每个对象为一个registry的用户名和密码。通常源镜像仓库需要具有pull以及访问tags权限，目标镜像仓库需要拥有push以及创建仓库权限。如果是匿名访问镜像仓库，则不需要填写用户名、密码等信息。“auth.json”文件的结构如下： { "源镜像仓库地址": { }, "目标镜像仓库地址": { "username": "xxxxxx", "password": "xxxxxx", "insecure": true }} 其中， “源镜像仓库地址”和“目标镜像仓库地址”支持“registry”和“registry/namespace”两种形式，需要跟下述“images.json”中的registry或registry/namespace对应。images中被匹配到的url会使用对应用户名密码进行镜像同步，优先匹配“registry/namespace”的形式。 目标镜像仓库地址如果为“registry”形式，可以从SWR控制台页面获取，具体方法如下：在“总览”页面单击右上角“登录指令”，登录指令末尾的 域名 即为SWR镜像仓库地址，例如swr.cn-north-4.myhuaweicloud.com。注意每个Region的地址不同，请切换到对应Region获取。如果为“registry/namespace”形式，还要将namespace替换为SWR的组织名称。 username：（可选）用户名，values可以填写具体取值，也可以使用“${env}”或者“$env”类型的字符串引用环境变量。 password：（可选）密码，values可以填写具体取值，也可以使用“${env}”或者“$env”类型的字符串引用环境变量。 insecure：（可选）registry是否为http服务，如果是，insecure为true；默认是false。 目标镜像仓库SWR的用户名形式为：区域项目名称@AK；密码为AK和SK经过加密处理后的登录密钥，详细指导请参考获取长期有效登录指令。 示例： { "quay.io/coreos": { }, "swr.cn-north-4.myhuaweicloud.com": { "username": "cn-north-4@RVHVMX******", "password": "cab4ceab4a1545***************", "insecure": true }} “images.json”文件 该文件本质上是一个待迁移的镜像清单，由多条镜像同步规则组成，每一条规则包括一个源镜像仓库（键）和一个目标镜像仓库（值）。具体的要求如下： 同步的最大单位是仓库（repository），不支持通过一条规则同步整个namespace以及registry。 源仓库和目标仓库的格式与docker pull/push命令使用的镜像url类似（registry/namespace/repository:tag）。 源仓库和目标仓库（如果目标仓库不为空字符串）都至少包含registry/namespace/repository。 源仓库字段不能为空，如果需要将一个源仓库同步到多个目标仓库需要配置多条规则。 目标仓库名可以和源仓库名不同，此时同步功能类似于：docker pull + docker tag + docker push。 当源仓库字段中不包含tag时，表示将该仓库所有tag同步到目标仓库，此时目标仓库不能包含tag。 当源仓库字段中包含tag时，表示只同步源仓库中的一个tag到目标仓库，如果目标仓库中不包含tag，则默认使用源tag。 当目标仓库为空字符串时，会将源镜像同步到默认registry的默认namespace下，并且repository以及tag与源仓库相同，默认registry和默认namespace可以通过命令行参数以及环境变量配置。 示例如下： { "quay.io/coreos/etcd:1.0.0": "swr.cn-north-4.myhuaweicloud.com/test/etcd:1.0.0", "quay.io/coreos/etcd": "swr.cn-north-4.myhuaweicloud.com/test/etcd", "quay.io/coreos/etcd:2.7.3": "swr.cn-north-4.myhuaweicloud.com/test/etcd"} 我们提供了一个自动获取集群中工作负载正在使用的镜像的方法，即image-migrator工具的config子命令，具体用法请参见image-migrator config使用方法。得到images.json文件后，您还可以根据需要进行修改、添加或删除。

操作步骤 从源仓库下载镜像。 使用docker pull命令下载镜像。 示例：docker pull nginx:latest 使用docker images命令查看是否下载成功。 # docker imagesREPOSITORY TAG IMAGE ID CREATED SIZEnginx latest 22f2bf2e2b4f 5 hours ago 22.8MB 将步骤1中下载的镜像上传到SWR。 登录到目标端容器所在虚拟机，并登录SWR。详细步骤请参考客户端上传镜像。 给镜像打标签。 docker tag [镜像名称:版本名称] [镜像仓库地址]/[组织名称]/[镜像名称:版本名称] 示例： docker tag nginx:v1 swr.cn-east-3.myhuaweicloud.com/cloud-develop/nginx:v1 上传镜像至目标镜像仓库。 docker push [镜像仓库地址]/[组织名称]/[镜像名称:版本名称] 示例： docker push swr.cn-east-3.myhuaweicloud.com/cloud-develop/nginx:v1 终端显示如下信息，表明上传镜像成功。 The push refers to repository [swr.cn-east-3.myhuaweicloud.com/cloud-develop/nginx:v1]fbce26647e70: Pushed fb04ab8effa8: Pushed 8f736d52032f: Pushed 009f1d338b57: Pushed 678bbd796838: Pushed d1279c519351: Pushed f68ef921efae: Pushed v1: digest: sha256:0cdfc7910db531bfa7726de4c19ec556bc9190aad9bd3de93787e8bce3385f8d size: 1780 返回 容器镜像服务 控制台，在“我的镜像”页面，执行刷新操作后可查看到对应的镜像信息。

部署ELK 登录ELK所部署的服务器，切换root用户。 执行以下命令启动ELK。 cd /ELKdocker-compose up -d 执行以下命令，判断ElasticSearch是否启动成功。 curl localhost:9200 其中9200为修改ELK配置中设置的ElasticSearch对外开放端口号。 如果启动成功，会返回鉴权失败信息“missing authentication credentials for REST request”。 如果启动失败，会返回连接拒绝信息“connection refused”。 为ElasticSearch设置密码校验。 ElasticSearch成功启动后，执行以下命令进入ElasticSearch容器内部。 docker exec -it elasticsearch bash 进入容器内部后处于/usr/share/elasticsearch路径下。 执行以下命令为ElasticSearch生成节点证书。 bin/elasticsearch-certutil ca -out config/elastic-certificates.p12 pass "" 若要求输入密码，则输入与修改ELK配置时设置的密码一致。 执行以下命令新增用户。 bin/elasticsearch-users useradd username 其中，username设置为与修改ELK配置时设置的用户名一致。 在新增用户后，会自动提示设置密码，密码设置为与修改ELK配置时设置的密码一致。 执行以下命令为新增的用户授权，用于Logstash和Kibana访问ElasticSearch。 bin/elasticsearch-users roles -a superuser usernamebin/elasticsearch-users roles -a kibana_system username 其中，username为步骤4.c新增的用户。 执行以下命令查看用户授权。 bin/elasticsearch-users roles -v username 其中，username为步骤4.c新增的用户。 如果授权正确，则返回如下信息。 username: kibana_system,superuser 如果授权错误，则执行以下命令删除授权，并重新为该用户授权。 bin/elasticsearch-users roles -r auth_name username 其中，auth_name为查询到授权错误的权限名称。 执行以下命令退出ElasticSearch容器。 exit 执行以下命令验证ElasticSearch用户是否配置正确。 curl -X GET "http://localhost:9200" -u username 其中，username为步骤4.c新增的用户。执行命令后，按提示输入步骤4.c设置的密码。 如果配置成功，则返回如下信息。 { "name" : "xxx", "cluster_name" : "elasticsearch", "cluster_uuid" : "xxx", "version" : { "number" : "8.7.1", "build_flavor" : "default", "build_type" : "docker", "build_hash" : "xxx", "build_date" : "xxx", "build_snapshot" : xxx, "lucene_version" : "xxx", "minimum_wire_compatibility_version" : "xxx", "minimum_index_compatibility_version" : "xxx" }, "tagline" : "You Know, for Search"} 如果配置失败，则返回如下错误信息。 {"error":{"root_cause":[{"type":"security_exception","reason":"missing authentication credentials for REST request [/]","header":{"WWW-Authenticate":["Basic realm=\"security\" charset=\"UTF-8\"","ApiKey"]}}],"type":"security_exception","reason":"missing authentication credentials for REST request [/]","header":{"WWW-Authenticate":["Basic realm=\"security\" charset=\"UTF-8\"","ApiKey"]}},"status":401} 执行以下命令修改logstash.conf文件中user和password的值，修改为与步骤4.c中设置的用户名密码一致。 vim /ELK/logstash/logstash.conf 执行以下命令修改kibana.yml文件中elasticsearch.username和elasticsearch.password的值，修改为与步骤4.c中设置的用户名密码一致。 vim /ELK/kibana/kibana.yml 执行以下命令重启Logstash和Kibana。 docker restart logstashdocker restart kibana

调试API 在API运行页面左侧选择创建自定义认证的API中创建的API，然后在页面右上角单击“调试”。 在调试界面中选择“Headers”参数页签，然后单击“新增请求参数”。 在新增的请求参数中，“参数名”填写“x-auth”，“参数值”填写“user1:xxxx”。 图4 API调试 单击URL右侧的“调试”，页面下方显示调用API发送的请求信息和接收的响应结果信息。 此时，响应结果中显示调用API成功的响应信息“ROMA TEST!”。 HTTP/1.1 200 OKTransfer-Encoding: chunkedConnection: keep-aliveContent-Type: application/json...ROMA TEST! 删除3中增加的请求参数“x-auth”，然后再次单击“调试”。 此时，响应结果中显示调用API失败的响应信息，报错信息为鉴权信息错误。 HTTP/1.1 401 UnauthorizedTransfer-Encoding: chunkedConnection: keep-aliveContent-Type: application/json...{"error_msg":"Incorrect authentication information: frontend authorizer","error_code":"APIC.0305","request_id":"56b2c6ae4a49f44b88670201eade9e05"}

启动数据集成任务 数据集成任务创建后，“任务状态”为“停止”状态，此时任务不会执行，需先启动任务。 实时任务启动后，ROMA Connect会不断检测源端数据变更。首次执行时，会把所有符合条件的源端数据集成到目标端，后续若检测到新增数据，则将其集成到目标端。 定时任务启动后，ROMA Connect按照任务计划进行数据集成。首次执行时，会把所有符合条件的源端数据集成到目标端，后续根据任务配置，集成符合条件的全量数据或只集成增量数据。 启动数据集成任务。 在数据集成任务左侧勾选上要启动的任务，单击任务列表上方的“启动”，启动任务。任务启动成功后，“任务状态”变为“启动”。 任务启动后，任务状态为“执行中”，待任务状态为“执行成功”，则表示该数据集成任务执行完成。 执行完成后，可在目标端数据库的数据表中查看集成同步过来的数据。

创建Oracle连接器 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。 选择“Oracle”连接器。 在弹窗中配置连接器信息，完成后单击“测试连接”。 参数 说明 连接名称 填写连接器实例名称Oracle_test。 区域 选择区域。 项目 选择项目。 实例 选择实例，用于后续验证连通性。 连接与安全 选择数据库的连接模式。本实践选择默认模式。 默认：由系统根据用户配置自动拼接数据源连接字符串。 专业：由用户自己输入数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 pdb数据库名 填写要连接的pdb数据库名。 编码格式 填写数据库的编码格式。 超时时间 填写连接数据库的超时时间。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息，用于识别不同的连接器。 连接成功后，单击“确定”，保存连接器。 父主题： 定时同步MySQL中的数据到Oracle

前提条件 确保业务系统所在网络与ROMA Connect的网络互通。 若通过公网互通，ROMA Connect实例需绑定弹性IP。 确保业务系统的数据库为ROMA Connect支持的数据源类型。 数据API支持的数据源请参见服务集成支持的数据源。 准备一个可用的独立域名，用于作为API的访问域名。 确保已完成独立域名到“服务集成APIC连接地址”的域名解析配置，具体请参考增加A类型记录集。 若还没有独立域名，您可以通过 域名注册服务 申请域名，并通过备案中心完成域名备案。 如果数据API使用HTTPS请求协议，您还需要为独立域名申请SSL证书，并获取pem格式的SSL证书内容和密钥。

解决方案 ROMA Connect的服务集成APIC提供了API级联的能力，通过API级联能力把企业内所有子公司或部门要开放的API级联到一个ROMA Connect实例上，把该ROMA Connect实例作为企业内的业务开放中台。所有的子公司或部门都调用业务开放中台的API来获取共享的数字资产，实现了调用入口的统一，认证信息的统一，提升了数字资产的共享效率，降低共享难度。 本章节介绍如何通过服务集成的API级联能力，把子公司A和子公司B ROMA Connect实例的API级联到公司总部的ROMA Connect实例上，把公司总部的ROMA Connect实例作为业务开放中台，所有数字资产都通过业务开放中台对外共享。

应用现状 使用ROMA Connect进行业务系统数字化改造的一些大型企业中，不同的子公司或部门基于独立维护的要求，都有自己的ROMA Connect实例。各子公司或部门的业务系统都对接到自己的ROMA Connect实例，通过API的形式实现数字资产的互通共享。 由于各子公司或部门在运作上相互独立，其ROMA Connect实例可能会归属到不同的VPC上，而且每个ROMA Connect实例都有自己的访问地址。某个子公司或部门要通过内网访问其他子公司或部门的开放API，就需要打通到多个不同VPC的网络，访问多个不同的地址，在操作配置上十分复杂。 不同子公司或部门在开放API时，定义的API认证方式、格式等会各不相同。某个子公司或部门要访问其他子公司或部门的开放API时，需要使用不同的认证信息，增加了子公司或部门间数字资产的共享难度。

资源规划 Filebeat部署在APIC的SHUBAO组件所在节点上，ELK部署在独立服务器中。在搭建Filebeat+ELK系统前，需要对Filebeat和ELK所需的服务器资源进行评估，以准备相关服务器资源。 API调用日志文件最大为200MB，达到上限后会自动生成新的日志文件，以每天产生5个或10个新日志文件为例，Filebeat和ELK对服务器的资源需求如表1所示。 表1 服务器资源需求 组件 日志文件数 CPU 内存 磁盘 Filebeat 5个 1核 256MB 当Filebeat已读取日志，但尚未发送至其它组件前，会把日志数据缓存到磁盘中，因此磁盘占用为已读取日志文件总大小，最大值为200MB*日志文件数。 10个 2核 256MB ELK：Logstash 5个 2核 1GB 同Filebeat的磁盘要求。 10个 4核 2GB ELK：ElasticSearch 5个 4核 8GB ElasticSearch的磁盘空间需求取决于数据量、副本数： 一般场景：数据量*(1+副本数)*1.7 峰值场景：数据量*(1+副本数)*2.6 其中，数据量为存储的日志文件总大小，即200MB*日志文件数；本实践中，ElasticSearch的副本数为1。 ElasticSearch存储的数据，默认未设置过期时间，用户可根据磁盘空间情况，为ElasticSearch数据配置索引生命周期策略。 10个 8核 16GB ELK：Kibana 5个 2核 256MB Kibana的磁盘空间需求取决于Kibana面板数量、复杂度、更新频率、在ElasticSearch中创建的索引数量及大小，磁盘空间需求较少，约500MB。 10个 4核 512MB 父主题： 使用Filebeat+ELK实现Site协同版实例的API日志监控

前提条件 确保业务系统所在网络与ROMA Connect的网络互通。 若通过公网互通，ROMA Connect实例需绑定弹性IP。 确保业务系统的数据库为ROMA Connect支持的数据源类型。 函数API支持的数据源请参见服务集成支持的数据源。 准备一个可用的独立域名，用于作为API的访问域名。 确保已完成独立域名到“服务集成APIC连接地址”的域名解析配置，具体请参考增加A类型记录集。 若还没有独立域名，您可以通过域名注册服务申请域名，并通过备案中心完成域名备案。 如果函数API使用HTTPS请求协议，您还需要为独立域名申请SSL证书，并获取pem格式的SSL证书内容和密钥。

应用现状 在数字化转型过程中，一些大型企业的业务系统数据格式多样化，难以在业务系统间形成有效信息传输。如何实现多种数据类型之间灵活、快速的数据集成和转换，成为企业数字化转型所面临的重要问题。 比如企业中不同业务系统数据的存储格式、存储位置各不相同，当一个业务系统需要获取另一个业务系统的某些数据时，就会出现获取的数据内容不符合要求，无法直接与自己数据结合使用等问题，不同业务系统间的数据共用难度大，效率低，影响业务发展。

解决方案 本章节介绍如何通过ROMA Connect对传统停车场的管理系统进行数字化改造，实现停车场车辆进出、计费、停车位状态的智能化管理。 停车场车位感应设备和进出门闸设备通过设备集成连接到ROMA Connect，实时上报车位状态信息和车辆出入信息。 设备上报的数据经规则引擎转发到消息集成的Topic上存储。 通过数据集成任务把Topic中的停车场数据实时写入停车场管理系统的数据库中，用于车位状态监测和停车计费，并可在IOC大屏上显示。 通过数据API把数据库中的车位状态数据开放给第三方应用，供车主、城市管理者了解停车场车位情况。 使用ROMA Connect实现停车场管理系统数字化改造的业务流程如下： 在ROMA Connect注册设备 配置设备数据转发MQS 创建MQS到数据库的集成任务 创建并开放数据API 设备接入ROMA Connect

解决方案 数据集成FDI是ROMA Connect的数据集成组件，支持多种数据类型之间灵活、快速、无侵入式的数据集成和转换，为业务系统之间建立有效的数据连接。 本章节介绍如何通过ROMA Connect的数据集成，把业务系统A中的数据进行格式转换后，集成到业务系统B的数据库中使用。后续根据制定的同步计划，定时把业务系统A中新增的数据同步到业务系统B中，保证了两个系统间的数据同步。 ROMA Connect的数据集成直接读取业务系统A中数据库的数据，并根据集成任务的配置，筛选出指定数据并进行数据转换，然后把转换后的数据写入到业务系统B的数据库中。

应用场景 ROMA Site协同版是ROMA Connect的边缘形态，部署于用户IDC和第三方公有云，与云端ROMA Connect反向互联，不破坏企业的安全边界。 服务集成APIC的API监控分析能力依赖于 云日志 服务（LTS）的日志统计能力，由于ROMA Site协同版实例为边缘部署，需要将API的调用日志回传到华为云上才能实现API的监控分析。由于传输的数据量与API请求量相关，请求数据量过大，回传链路无法承载。因此ROMA Site协同版实例暂不支持查看API的调用日志和调用统计数据。

方案架构 通过在ROMA Site协同版本地部署Filebeat+ELK，直接获取ROMA Site协同版实例中的API调用日志，并通过ELK的Kibana可视化界面查看API的调用日志以及实现API调用日志的汇聚统计。 Filebeat部署在APIC的SHUBAO组件所在节点上，监控API调用日志的产生，并将其发送到ELK的Logstash进行处理。 ELK部署在独立服务器中，ELK的Logstash接收到日志数据后，根据设置的过滤解析规则，对日志数据进行拆分和过滤，然后将解析后的日志数据发送到ELK的ElasticSearch进行存储。 ELK的ElasticSearch接收到日志数据后，生成日志数据的索引并存储数据，为Kibana的可视化显示提供聚合搜索和数据分析的支撑。 用户使用ELK的Kibana创建日志视图，基于Logstash拆分的日志属性进行API调用日志的查询和统计。

方案概述 为了确保数据的实时性和一致性，可以周期性地将MySQL数据库中的数据同步至Oracle数据库中。 这一过程会按照预设的时间间隔精确执行，通过模板“定时同步MySql中的数据到Oracle”创建组合应用，系统会自动抓取MySQL数据库中的最新数据记录，并将其无缝对接到Oracle数据库中，实现两个数据库之间的高效、准确的数据更新与同步。 该方案不仅能够减少人工操作带来的错误和遗漏，Oracle数据库中的数据都能反映出MySQL数据库的最新状态，满足业务系统的数据需求和数据分析的一致性要求。 父主题： 定时同步MySQL中的数据到Oracle

ROMA Connect最佳实践汇总 本文汇总了基于ROMA Connect常见应用场景的操作实践，为每个实践提供详细的方案描述和操作指导，帮助用户轻松构建基于ROMA Connect的应用与数据集成业务。 表1 ROMA Connect最佳实践一览表 最佳实践 说明 传统停车场管理系统数字化改造 介绍如何通过ROMA Connect对传统停车场的管理系统进行数字化改造，实现停车场车辆进出、计费、停车位状态的智能化管理。 企业数据以API形式开放共享 介绍如何通过ROMA Connect的服务集成，快速把数据库开放为RESTful API，不同业务系统间的数据以API方式互相开放访问，同时在开放API时可选择多种安全认证方式，实现跨网络跨地域应用系统数据间的安全访问。 跨系统业务数据集成与转换 介绍如何通过ROMA Connect的数据集成，把业务系统A中的数据进行格式转换后，集成到业务系统B的数据库中使用。后续根据制定的同步计划，定时把业务系统A中新增的数据同步到业务系统B中，保证了两个系统间的数据同步。 搭建企业业务开放中台 介绍如何通过服务集成的API级联能力，把子公司A和子公司B ROMA Connect实例的API级联到公司总部的ROMA Connect实例上，把公司总部的ROMA Connect实例作为业务开放中台，所有数字资产都通过业务开放中台对外共享。 使用Filebeat+ELK实现Site协同版实例的API日志监控 通过在ROMA Site协同版本地部署Filebeat+ELK，直接获取ROMA Site协同版实例中的API调用日志，并通过ELK的Kibana可视化界面查看API的调用日志以及实现API调用日志的汇聚统计。 使用自定义后端开发自定义认证 使用ROMA Connect的服务集成APIC，可以快速将已有后端服务、数据源和自定义函数封装成标准的RESTful API并对外开放，简化了业务系统间的对接过程，降低了对接成本。 MQS消息堆积最佳实践 消息堆积问题可以从消费者端、生产者端和服务端三个方面进行处理。 定时同步MySQL中的数据到Oracle 通过模板“定时同步MySql中的数据到Oracle”创建组合应用，系统会自动抓取MySQL数据库中的最新数据记录，并将其无缝对接到Oracle数据库中，实现两个数据库之间的高效、准确的数据更新与同步。

创建MySQL连接器 登录新版ROMA Connect控制台。 在左侧导航栏选择“连接器”，在连接器页面单击“新建连接”。 选择“MySql”连接器。 在弹窗中配置连接器信息，完成后单击“测试连接”。 参数 说明 连接名称 填写连接器实例名称MySql_test。 区域 选择区域。 项目 选择项目。 实例 选择实例，用于后续验证连通性。 连接与安全 选择数据库的连接模式。当前支持“默认”模式，由系统根据用户配置自动拼接数据源连接字符串。 主机IP地址 填写数据库的连接IP地址。 端口 填写数据库的连接端口号。 数据库名 填写要连接的数据库名。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。 描述 填写连接器的描述信息。 连接成功后，单击“确定”，保存连接器。 父主题： 定时同步MySQL中的数据到Oracle

修改Filebeat配置 Filebeat目录和文件结构如下所示： |_ filebeat |_ log |_ docker-compose.yml |_ filebeat.yml 登录SHUBAO组件所在节点，切换root用户，执行以下命令创建Filebeat相关目录和配置文件。 用户可自定义配置文件所在路径，此处以在根目录下创建filebeat目录为例进行说明。 mkdir -p /filebeat/logtouch /filebeat/filebeat.ymltouch /filebeat/docker-compose.yml 其中，log目录用于存储Filebeat收集到的日志数据以及其它元数据信息，即使容器Filebeat被删除并重新启动，会继续读取该目录中的内容（如registry），并在收集数据时更新该目录，这样可确保Filebeat只收集新的日志数据，避免将已经发送过的数据再次发送。 执行以下命令为log目录配置权限。 chmod 777 /filebeat/log 编辑filebeat.yml文件，在文件中增加如下配置。 filebeat.inputs: - type: filestream # id需要替换为数字，不同SHUBAO组件所在节点之间相互唯一。例如SHUBAO组件所在节点有3个，则id可分别配置为site_log_filebeat_01，site_log_filebeat_02，site_log_filebeat_03 id: site_log_filebeat_id enabled: true paths: - /usr/share/filebeat/access_log/access_public.log fields: # index_name为在ElasticSearch存储和Kibana可视化显示时的指定索引名称，可自定义，若需要区分日志来源，则不同SHUBAO组件所在节点之间配置为不一样。 es_index_name: index_name fields_under_root: true close_inactive: 1m clean_inactive: 72houtput.logstash: # 填写ELK组件所服务器的IP和Logstash对外开放的端口号（在ELK的logstash.conf文件中配置，默认为5044），需自行配置防火墙端口，开放访问权限。 hosts: ["ELK_ LOG STASH_IP:5044"] 编辑docker-compose.yml文件，在文件中增加如下配置。 version: '3'services: filebeat: image: docker.elastic.co/beats/filebeat:8.7.1 network_mode: host restart: always container_name: filebeat volumes: - ./filebeat.yml:/usr/share/filebeat/filebeat.yml # 如果需要把Filebeat收集到的日志数据保存到本地log目录下，则取消本行代码注释 # - ./log:/usr/share/filebeat/data # filebeat读取本地日志，该本地日志地址需要根据实际待监控路径的地址进行配置，相对路径或绝对路径均可。 # 多地址监听：若在一台服务器中需要监听多个地址，则需在filebeat.yml的path和docker-compose.yml的volumes中增加新的配置，配置方式与该例子相同。 - /opt/roma/logs/apic-shubao/run/access_public.log:/usr/share/filebeat/access_log/access_public.log 重复步骤1-4，登录其他SHUBAO组件所在节点修改Filebeat配置。

在中台实例创建API 在中台实例创建并开放API，使用子公司实例中的API作为后端服务。各子公司或合作伙伴通过调用中台实例开放的API，实现对各子公司能力的调用。 创建API的过程请参考创建API，仅后端配置有如下区别。 表7 API后端服务配置 参数 配置说明 后端服务类型 选择后端服务的类型。使用子公司实例的API作为后端服务时，需选择“HTTP/HTTPS”。 负载通道 是否使用负载通道访问后端服务。使用子公司实例的API作为后端服务时，需选择“使用”。 URL 配置后端服务的URL。 请求方法：选择后端服务的请求方法，根据子公司实例中API的请求方法选择。 请求协议：选择后端服务使用的请求协议，根据子公司实例中API的请求协议选择。 负载通道：选择访问后端服务所使用的负载通道，选择配置级联实例间的负载通道所创建的负载通道。 路径：填写后端服务的请求路径，格式如：/getUserInfo/{userId}。请求路径中可包含Path参数，以{参数名}形式表示。 如果请求路径中需要携带环境变量，则使用“#变量名#”的形式将环境变量添加到请求路径中，如/#path#。环境变量名严格区分大小写，支持添加多个环境变量，如/#path##request#。 级联标识 是否使用级联方式访问后端服务，选择开启。 自定义host头域 自定义后端服务请求中的Host头域。若配置级联实例间的负载通道中创建负载通道时，“后端服务器地址”填写了IP地址，则此处需要填写子公司实例API的域名。 后端超时 (ms) 后端服务请求的超时时间，默认为5000ms。 重试次数 ROMA Connect调用后端服务失败后的重试次数。 值为-1时，表示不开启重试功能。 值为0-10时，表示开启重试功能，并根据设置的值执行重试。重试次数不能大于负载通道中已启用的后端服务器个数。 TLS双向认证 仅当“协议”选择“HTTPS”时可配置。 选择是否在ROMA Connect和后端服务间启用双向认证。使用子公司实例的API作为后端服务时，不启用双向认证。 后端认证 选择是否启用后端认证。使用子公司实例的API作为后端服务时，不启用后端认证。

配置实例间的级联关系 配置中台实例到各子公司实例的级联关系，使中台实例可使用各子公司实例的开放API作为后端服务。 在子公司实例配置级联功能。 登录子公司实例A所在的ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在“实例信息”页面选择“配置参数”页签，并找到级联功能开关参数“cascade”。 单击参数右侧的“编辑”，把参数运行值设置为“on”，然后单击“保存”，打开级联功能开关。 单击参数左侧的“”，展开并配置级联相关配置参数。 表1 子公司实例配置 参数 配置说明 cascade_auth_key 级联认证的加密密钥，用于级联API之间的调用认证。子公司实例和中台实例的cascade_auth_key值必须配置一致。 cascade_instance_ids 填写中台实例的实例ID。 重复1.a-1.d，配置在子公司B的ROMA Connect实例上配置级联功能。 在中台实例配置级联功能。 登录中台实例所在的ROMA Connect控制台，在“实例”页面单击实例上的“查看控制台”，进入实例控制台。 在“实例信息”页面选择“配置参数”页签，并找到级联功能开关参数“cascade”。 单击参数右侧的“编辑”，把参数运行值设置为“on”，然后单击“保存”，打开级联功能开关。 单击参数左侧的“”，展开并配置级联相关配置参数。 表2 中台实例配置 参数 配置说明 cascade_auth_key 级联认证的加密密钥，用于级联API之间的调用认证。公司实例和中台实例的cascade_auth_key值必须配置一致。 cascade_instance_ids 中台实例中无需配置该参数。

应用现状 随着信息化技术的不断发展，企业的业务系统越来越多，各业务系统间需要进行数据的互联互通，以提升企业的运作效率。如何实现企业内新老业务系统之间的数据安全互通，甚至是跨企业业务系统的数据安全互通，成为企业越来越重视的问题。 随着企业的跨区域发展，企业的业务系统也随之部署到各区域子公司中，总公司与各区域子公司的业务系统间需要时常进行业务交互。若不同业务系统间直接访问对方的数据库，操作方式过于复杂，且容易发生数据库信息泄露风险。 企业在日常运营的过程中，会持续的生产和累积数据资产，大部分企业的数据资产仅在企业内部使用，资产复用率低。若直接把数据库提供给合作伙伴或第三方访问，又难以保证数据库的对外安全访问问题。

解决方案 服务集成APIC是ROMA Connect的API集成组件，支持将已有后端服务、数据源和自定义函数封装成标准的RESTful API，并对外开放，简化分享数据或提供服务的过程，降低企业之间对接的成本。 本章节介绍如何通过ROMA Connect的服务集成，快速把数据库开放为RESTful API，不同业务系统间的数据以API方式互相开放访问，同时在开放API时可选择多种安全认证方式，实现跨网络跨地域应用系统数据间的安全访问。 对数据提供方而言，使用RESTful API形式对外开放其数据库中的数据，通过简单的操作，即可快速、低成本、低风险的开放数据或服务，提供业务增值能力。 对数据使用方而言，不再需要定制各种连接客户端，只需要使用一个具备简单RESTful请求发送能力的客户端，即可轻松获取各种数据库的数据。 ROMA Connect的服务集成直接读取数据库中的数据，把读取到的数据封装为一个RESTful API，并开放给企业内或企业外的其他业务系统。其他业务系统通过调用该API，即可获取该业务系统数据库中的数据。 ROMA Connect的服务集成把数据库数据封装为RESTful API有两种实现方式： 数据API：通过编写SQL脚本方式，读取数据库中的数据。操作简单方便，但灵活性较低。 函数API：通过编写JavaScript脚本方式，读取数据库中的数据。ROMA Connect提供了用于读取数据库数据的Java类DataSourceClient，在读取数据后可以通过JavaScript脚本对数据进行编排适配。操作较复杂，但灵活性更高。

方案概述 Kafka将Topic划分为多个分区，消息被分布式存储在分区中。同一个消费组内，一个消费者可同时消费多个分区，但一个分区在同一时刻只能被一个消费者消费。 在消息处理过程中，如果客户端的消费速度跟不上服务端的发送速度，未处理的消息会越来越多，这部分消息就被称为堆积消息。消息没有被及时消费就会产生消息堆积，从而会造成消息消费延迟。 消息堆积原因 导致消息堆积的常见原因如下： 生产者短时间内生产大量消息到Topic，消费者无法及时消费。 消费者的消费能力不足（消费者并发低、消息处理时间长），导致消费效率低于生产效率。 消费者异常（如消费者故障、消费者网络异常等）导致无法消费消息。 Topic分区设置不合理，或新增分区无消费者消费。 Topic频繁重平衡导致消费效率降低。

物码管理操作 单击左边功能模块区中的【赋码管理】，进入到赋码界面，如下图： 图2 赋码管理 还可批次赋码操作，单击【批次赋码】-进入如下界面，按页面相应的操作说明进行操作即可完成。 图3 批次赋码 单点【新增】，进入赋码设置，按页面设置即可 图4 新增 新增/修改批次信息 选择模板后，列表将回显出对应的模板数据 单位：选择单位，对应是当前产品的分销单位/单品单位，将会应用到扫码收货 印码数量：为在线赋码方式的实际使用数量 容错率：为印码过程中允许印坏的数量，合理区间为0~20% 码池数量：印码数量*（1+容错率），在线赋码限制3000万，离线赋码限制104万，单击确定时做校验 赋码方式：在线赋码和离线赋码，在线赋码为将码包推送给印码厂商进行喷码，离线赋码则可以下载码包自行与印码厂商对接 查看赋码设置 图5 批次详情 展示进入批次的所有码级别信息 提交在线赋码：勾选在线赋码数据，单击【提交在线赋码】按钮后，将码包推送给印码厂商进行喷码 下载码包：勾选离线赋码数据，单击【下载码包】按钮后，将码包以EXCEL的形式下载到本地 离线赋码：勾选离线赋码数据，单击【离线赋码】按钮后，勾选的数据状态更改为已印刷，系统判断为对应的码已经全部印刷完成 激活：单击激活，则将当前级别的码包全部激活，可被有效扫描，防止盗刷 赋码设置及管理

方案架构 业务架构： 图1 业务架构图 方案主要由 华为云计算 底座+智能AI+玄武智慧CRM解决方案软件产品形成面向客户关系管理全流程的解决方案： SFA：聚焦企业对业务员销售拜访流程的精细化管理和绩效管理，全面提升企业线下终端业务效率和积极性。 DMS：围绕品牌下游渠道管理需求，优化品牌方与经销商间及下游分销商的订单等业务往来效率，实现准确分销，为品牌提升渠道管理效率。 TPM：通过数据化与智能化手段，帮助企业实现市场营销费用从预算到核销、从线上到线下一体化管控，全面提升终端费用投放费效比。 部署架构： 图2 部署架构图 方案通过华为云CCE、RabbitMQ、Kafka以及WAF等实现架构弹性伸缩、高性能及安全可靠； CCE 提供高可靠高性能的企业级容器应用管理服务，支持Kubernetes社区原生应用和工具，简化云上自动化容器运行环境搭建； 通过RabbitMQ、Kafka 提供低延迟、弹性高可靠、高吞吐、动态扩展、便捷多样的消息中间件服务； 通过WAF保护网站等Web应用程序免受常见Web攻击，保障业务持续稳定运行，满足合规和监管要求； 使用 MRS -ClickHouse作为大数据数仓，提供OLAP能力，并且列存储可以将数据压缩，大幅降低存储成本和读取开销，提高查询性能； 通过OCR提供具备高精度、高性能的全文识别和高阶结构化识别能力； FRS能够在图像中快速检测人脸、分析人脸关键点信息、获取人脸属性、实现人脸的精确比对和检索。

应用场景 行业：该解决方案实践推荐快消行业客户使用，实现厂家管理业务人员、经销商及终端门店的一站式管理，提高厂家对产品供销市场的掌控力。 业务：推荐业务快速铺货，智能化铺货、活动、费控等投产一手抓，全面提升业务数智化能力，提升市场竞争力。 客户的痛点： 随着数智信息化的不断发展，以及人们生活水平的不断提升，对快消企业的管理、营销等都提出了更高的要求。 供销链路长，导致管理难度大；业务人员众多，人员工作、考核目标管控难度大，人效低下，人员工作积极性弱，拜访路线效能低，计划与达成偏差统计难度大等问题。 经营商、动销慢，不达业绩，经营商赋能无从下手，串货管控力度弱，导致区域间价格失控。经营商拓店无区域准确数据参考，大量无效拓客，费时费力，效率低，难度大。 快消行业营销费用缺少有效管控，导致投入大，产出少。 通过本方案实现的业务效果： 本章节介绍如何通过快消行业全渠道营销数智化解决方案对传统快消行业进行数智化信息化升级改造，实现快消行业的全渠道人、货、场的智能化管理，提升企业资金效能，从而提升快消企业的市场竞争力。 SFA（销售管理系统）：旨在实现高效的销售团队管理，降低销售过程中的人员管理成本，赋能销售人员，激励销售团队完成销售业绩，提高收入。销售管理系统基础应用紧紧围绕白酒行业的销售人员工作场景展开设计。 DMS（经销商管理系统）：旨在实现渠道订单规范化、高效化管理，渠道进销存的透明化，赋能经销商和分销商团队，打通合同-订单-审核-收款-对账-费用池-业绩计算的管理闭环，为提升经销商服务质量和订单流转效率提供强有力的保障。 TPM（费用管理系统）：旨在实现企业营销费用投放、跟踪、分析的一体化管理，提升费用投放的准确度，把有限的营销费用投放到ROI最高的地方。TPM费用管理系统的使用，拉通预算控制与费用执行，建立营销费用管理闭环流程，让费用全流程在线化管理，实现费用匹配与投放真实。 SMS （终端门店管理）旨在实现从厂家到终端一体化透明化的打通，为厂家掌握终端提供有力武器，实现点对点高效费用投放同时赋能给终端门店老板，推动终端销售。SMS（终端门店管理）赋能品牌业务员+经销商业务员实现高效拓店与终端服务。 DI智能拓店系统：通过大数据模型，帮助品牌商，在目标区域快速找到店铺铺货，以提升市占率以及销量。 AIOT智能冰柜：提供硬件、软件，帮助品牌企业实时收集人流、产品动销等数据，一个可以提升产品销售的的智能冰柜。 解决方案实践的应用行业推荐： 通过华为云中立、安全、可信、持续创新的云服务，在云上快速部署快消行业全渠道营销数据化管理平台，为快消企业如饮料、烟酒、粮油、调味料、日用品等企业提供全渠道管理平台，其中包括SFA销售人员管理软件（PC+APP）、DMS经营商管理软件（PC+小程序）、TPM费用管控软件，DI智能拓店软件，以及智能冰柜（硬件+软件）。特别适合如下类型和行业的渠道管控： 饮料行业：是典型的传统快消行业，需借助经营商进行终端门店的大量铺货，需要对业务人员、厂家业务员、经营商业务员、终端门店，消费者等全渠道的管控。 烟酒行业：经营商、VIP终端门店、特通渠道等都围绕着营销费用有效投放、经营商业务员、厂家业务员、动销等管控，有效全渠道管控提升企业生存空间 调味品行业 啤酒行业 日用品行业 粮油行业