模型转换失败时如何查看日志和定位原因？ 在模型转换的过程，如果出现模型转换失败，可以参考以下步骤查看日志并定位原因： 设置DEBUG日志。 设置MindSpore日志环境变量。 #shell export GLOG_v=0 # 0-DEBUG、1-INFO、2-WARNING、3-ERROR 设置CANN日志环境变量。 #shell export ASCEND_GLOBAL_LOG_LEVEL=1 # 0：表示DEBUG、1：表示INFO、2：表示WARNING、3：表示ERROR 4: 表示NONE export ASCEND_SLOG_PRINT_TO_STDOUT=1 # 表示日志打印 设置DUMP模型转换中间图。 设置DUMP中间图环境变量。 #shell export DUMP_GE_GRAPH=2 # 1：表示dump图全量内容、 2：表示不dump权重数据的基础图、 3：表示只dump节点关系的精简图 export DUMP_GRAPH_LEVEL=2 # 1：表示dump图所有图、 2：表示dump除子图外的所有图、 3：表示只dump最后一张图 问题分析。 配置以上的环境变量之后，再重新转换模型，导出对应的日志和dump图进行分析： 报错日志中搜到“not support onnx data type”，表示MindSpore暂不支持该算子。 报错日志中搜到“Convert graph to om failed”，表示CANN模块进行图编译存在保存，需要结合CANN的报错日志和dump图进行具体分析。 父主题： 常见问题

解决方案 找到.ssh文件夹。一般位于“C:\Users”，例如“C:\Users\xxx”。 “C:\Users”目录下的文件名必须和Windows登录用户名完全一致。 右键单击.ssh文件夹，选择“属性”。然后单击“安全”页签。 单击“高级”，在弹出的高级安全设置界面单击“禁用继承”， 在弹出的“阻止继承”窗口单击“从此对象中删除所有继承的权限”。此时所有用户都将被删除。 添加所有者：在同一窗口中，单击“添加”，在弹出的新窗口中，单击“主体”后面的“选择主体”，弹出“选择用户，计算机，服务账户或组”窗口，单击“高级”，输入用户名， 单击“立即查找”按钮，显示用户搜索结果列表。 选择您的用户账户，然后单击“确定”（大约四个窗口）以关闭所有窗口。 图1 添加所有者 完成所有操作后，再次关闭并打开VS Code并尝试连接到远程SSH主机。备注：此时密钥需放到.ssh文件夹中。

问题现象 报错“Bad owner or permissions on C:\Users\Administrator/.ssh/config”或“Connection permission denied (publickey). Please make sure the key file is correctly selected and the file permission is correct. You can view the instance keypair information on ModelArts console.”

未知或未支持的命令 未知或未支持的命令的处理建议： 检查源Redis有没有放通相关命令，如SYNC和PSYNC，需要联系技术支持放通命令。 在线迁移，必须满足源Redis和目标Redis的网络相通、源Redis已放通SYNC和PSYNC命令这两个前提，否则，会迁移失败。 网络 检查源Redis、目标Redis、迁移任务所需虚拟机是否在同一个VPC，如果是同一个VPC，则检查安全组（Redis 3.0实例）或白名单（Redis 4.0/5.0实例）是否放通端口和IP，确保网络是连通的；如果不在同一个VPC，则需要建立VPC对等连接，打通网络。 源Redis和目标Redis必须允许迁移任务底层虚拟机访问。实例安全组或白名单配置，请参考配置安全组、配置白名单。 源Redis和目标Redis属于不同的云厂商，请参考云专线打通网络。 命令 默认情况下，一般云厂商都是禁用了SYNC和PSYNC命令，如果要放通，需要联系云厂商运维人员放通命令。 华为云内部进行迁移： 自建Redis迁移至DCS，默认没有禁用SYNC和PSYNC命令； 华为云DCS服务之间进行迁移，如果是同一账号相同Region进行在线迁移，在执行迁移时，会自动放通SYNC和PSYNC命令； 如果是不同Region或相同Region不同账号进行在线迁移，不会自动放通SYNC和PSYNC命令，无法使用在线迁移。推荐使用备份文件导入方式迁移。 其他云厂商迁移到华为云： 一般云厂商都是禁用了SYNC和PSYNC命令，如果使用在线迁移功能，需要联系源端的云厂商运维人员放通此命令，离线迁移，推荐使用备份文件导入方式。

同步数据失败 同步数据失败的处理建议： 错误信息包含“key name is busy”，目标Redis对应的key已经存在，删除目标Redis报错的key。 错误信息包含“not in the same slot“，建议进行业务改造，不要在多key命令里面用跨slot的key；也可以把目标Redis用主备实例代替proxy集群实例。 错误信息中包含“read: connection reset by peer”，源Redis为主备，且迁移过程中，频繁发生主备倒换，请分析源Redis是否存在大Key，如果源Redis存在大key，建议将大key打散成多个小key后再迁移；也可强行关闭主备倒换，等数据迁移完毕后再开启主备倒换，命令：config set slave-priority 0。如果目标Redis为proxy集群，请排查pipeline阈值大小，建议调整proxy节点pipeline阈值为5W，命令： proxy.config set client-max-pipeline 50000。

同步数据失败，源节点：{0}，目标节点：{1} 同步数据失败的处理建议： 分析源Redis是否存在大Key，如果源Redis存在大key，建议将大key打散成多个小key后再迁移。 确保目标Redis规格不小于源Redis。查看规格步骤参见查看实例信息； 参见Redis连接失败问题排查和解决。 排查源Redis规格和迁移机内存大小，迁移机的内存小，源redis数据量过大，迁移速度过慢使数据堆积在迁移机上时，也会导致该类问题，此情况建议扩容迁移机规格。

执行命令异常 执行命令异常的处理建议： 错误信息中包含“listening-port”和“REPLCONF”相关，请检查源Redis是否放通SYNC和PSYNC命令，迁移任务底层资源与源Redis、目标Redis网络是否连通。 在线迁移，必须满足源Redis和目标Redis的网络相通、源Redis已放通SYNC和PSYNC命令这两个前提，否则，会迁移失败。 网络 检查源Redis、目标Redis、迁移任务所需虚拟机是否在同一个VPC，如果是同一个VPC，则检查安全组（Redis 3.0实例）或白名单（Redis 4.0/5.0实例）是否放通端口和IP，确保网络是连通的；如果不在同一个VPC，则需要建立VPC对等连接，打通网络。 源Redis和目标Redis必须允许迁移任务底层虚拟机访问。实例安全组或白名单配置，请参考配置安全组、配置白名单。 源Redis和目标Redis属于不同的云厂商，请参考云专线打通网络。 命令 默认情况下，一般云厂商都是禁用了SYNC和PSYNC命令，如果要放通，需要联系云厂商运维人员放通命令。 华为云内部进行迁移： 自建Redis迁移至DCS，默认没有禁用SYNC和PSYNC命令； 华为云DCS服务之间进行迁移，如果是同一账号相同Region进行在线迁移，在执行迁移时，会自动放通SYNC和PSYNC命令； 如果是不同Region或相同Region不同账号进行在线迁移，不会自动放通SYNC和PSYNC命令，无法使用在线迁移。推荐使用备份文件导入方式迁移。 其他云厂商迁移到华为云： 一般云厂商都是禁用了SYNC和PSYNC命令，如果使用在线迁移功能，需要联系源端的云厂商运维人员放通此命令，离线迁移，推荐使用备份文件导入方式。 错误信息包含“read error”，且为全量迁移过程中失败，数据量过大的情况下，建议开始迁移时不要选择“自动重连”模式，等到进入“增量迁移”后，再选择“自动重连”模式，且调大repl-timeout的时间值；同时建议调整源端output buffer参数，buffer参数的大小需要根据源端内存大小来定，比如源端24G的内存大小，可以调整为2G的buffer，命令： client-output-buffer-limit slave 2gb 2gb 600 。 错误信息中包含“write: connection reset by peer”，可能原因目标Redis内存规格太小导致内存写满，无法同步数据，建议扩大目标Redis实例规格，至少与源端实例规格持平。 错误信息中包含“read: connection reset by peer”，源Redis为主备，且迁移过程中，频繁发生主备倒换，请分析源Redis是否存在大Key，如果源Redis存在大key，建议将大key打散成多个小key后再迁移。也可强行关闭主备倒换，等数据迁移完毕后再开启主备倒换，命令：config set slave-priority 0。如果目标Redis为proxy集群，请排查pipeline阈值大小，建议调整proxy节点pipeline阈值为5W，命令： proxy.config set client-max-pipeline 50000。 提供错误信息，联系技术支持。

重新启动数据同步失败 重新启动数据同步失败的处理建议： 分析源Redis是否存在大Key，如果源Redis存在大key，建议将大key打散成多个小key后再迁移。 检查目标Redis的规格是否小于迁移数据大小、是否有其他任务在执行。 如果目标Redis的实例规格小于迁移数据大小，迁移过程中，内存被占满，会导致迁移失败。 如果目标Redis存在正在执行的主备倒换，建议联系技术支持关闭主备倒换后，重新执行数据迁移。待迁移完成后，重新开启主备倒换。 提供错误信息，联系技术支持。

回答 当源表或子查询具有大数据量的Partition时，创建Hive表失败。执行查询需要很多的task，此时输出的文件数就会很多，从而导致driver OOM。 可以在创建Hive表的语句中增加distribute by子句来解决这个问题，其中distribute by的字段要选取合适的cardinality（即distinct值的个数）。 distribute by子句限制了Hive表的Partition数量。增加distribute by 子句后，最终的输出文件数取决于指定列的cardinality和“spark.sql.shuffle.partitions”参数值。但如果distribute by的字段的cardinality值很小，例如，“spark.sql.shuffle.partitions”参数值为200，但distribute by字段的cardinality只有100，则输出的200个文件中，只有其中100个文件有数据，剩下的100个文件为空文件。也就是说，如果选取的字段的cardinality过低，如1，则会造成严重的数据倾斜，从而严重影响查询性能。 因此，建议选取的distribute by字段的cardinality个数要大于“spark.sql.shuffle.partitions”参数，可大于2~3倍。 示例： create table hivetable1 as select * from sourcetable1 distribute by col_age;

回答 使用当前可得的最近的tablestatus文件进行恢复，分为如下两个场景来进行恢复： 场景一：当前批次的CarbonData数据文件和.segment文件损坏无法恢复。 进入客户端节点，执行如下命令，查看HDFS对应表的tablestatus文件，找到最近的tablestatus版本号。 cd 客户端安装路径 source bigdata_env source Spark/component_env kinit 组件业务用户 （普通集群无需执行kinit命令） hdfs dfs -ls /user/hive/warehouse/hrdb.db/car01/Metadata 上图中，当前批次文件tablestatus_1669028899548损坏，需要使用tablestatus_1669028852132文件。 进入spark sql，执行如下命令来修改表属性latestversion为当前最近的版本号。 alter table car01 set SERDEPROPERTIES ('latestversion'='1669082252132'); 需要退出当前session，重新连接后执行查询。该方式已尽可能恢复客户数据，一般现网情况下，如断电场景segment数据文件也会存在不可恢复情况。 场景二：当前批次的Carbondata数据文件和.segment文件完整，可恢复。 使用TableStatusRecovery恢复工具，当前工具仅针对非分区表进行恢复。进入Spark客户端节点，执行如下命令： cd 客户端安装路径 source bigdata_env source Spark/component_env kinit 组件业务用户 （普通集群无需执行kinit命令） spark-submit --master yarn --class org.apache.carbondata.recovery.tablestatus.TableStatusRecovery Spark/spark/carbonlib/carbondata-spark_*.jar hrdb car01 参数说明：hrdb car01表名称。 TableStatusRecovery恢复工具限制： 合并后，如果tablestatus文件丢失或损坏，使用该工具无法恢复合并状态的segment，因为丢失或损坏的tablestatus文件才存在该segment合并信息。 Delete segment by Id/Date后，如果tablestatus文件丢失或损坏，则无法恢复已删除的segment信息，因为只有丢失或损坏的tablestatus文件才存在该segment的删除信息。 不支持在mv表上使用该工具。 由于最新的tablestatus文件存在问题，使用该工具恢复后无法正常查询时，可以移除最新的tablestatus文件，使用上一个tablestatus文件进行恢复。

国际站面向哪些区域客户开放？ 当前国际站已开放的区域包括阿尔及利亚、阿根廷、埃及、埃塞俄比亚、阿拉伯联合酋长国、阿曼、安哥拉、阿塞拜疆、巴布亚新几内亚、巴基斯坦、巴拉圭、巴林、巴拿马、巴西、贝宁、博茨瓦纳、玻利维亚、布基纳法索、赤道几内亚、多哥、多米尼加共和国、厄瓜多尔、菲律宾、佛得角、刚果（布）、刚果（金）、格鲁吉亚、哥伦比亚、哥斯达黎加、韩国、哈萨克斯坦、洪都拉斯、加纳、柬埔寨、加蓬、津巴布韦、几内亚、喀麦隆、卡塔尔、肯尼亚、科特迪瓦、科威特、老挝、黎巴嫩、利比亚、马尔代夫、马来西亚、马拉维、马里、毛里求斯、蒙古、孟加拉、缅甸、秘鲁、摩洛哥、莫桑比克、墨西哥、纳米比亚、南非、尼泊尔、尼日利亚、日本、萨尔瓦多、塞内加尔、沙特阿拉伯、斯里兰卡、索马里、泰国、塔吉克斯坦、汤加、坦桑尼亚、特立尼达和多巴哥、土耳其、突尼斯、危地马拉、文莱、乌干达、乌拉圭、乌兹别克斯坦、新加坡、牙买加、亚美尼亚、伊拉克、印度尼西亚、约旦、越南、赞比亚、乍得、智利、中国澳门、中国香港，按照规划陆续面向其他区域客户开放。 父主题： 服务范围

解决措施 请参考如下步骤手动卸载插件。 登录云服务器。 在/tmp目录下新建plugin.yaml文件，并将如下脚本内容拷贝至plugin.yaml文件中。 apiVersion: v1 kind: Namespace metadata: labels: admission.gatekeeper.sh/ignore: no-self-managing control-plane: controller-manager gatekeeper.sh/system: "yes" pod-security.kubernetes.io/audit: restricted pod-security.kubernetes.io/audit-version: latest pod-security.kubernetes.io/enforce: restricted pod-security.kubernetes.io/enforce-version: v1.24 pod-security.kubernetes.io/warn: restricted pod-security.kubernetes.io/warn-version: latest name: gatekeeper-system --- apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: annotations: controller-gen.kubebuilder.io/version: v0.10.0 labels: gatekeeper.sh/system: "yes" name: assign.mutations.gatekeeper.sh --- apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: annotations: controller-gen.kubebuilder.io/version: v0.10.0 labels: gatekeeper.sh/system: "yes" name: assignimage.mutations.gatekeeper.sh --- apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: annotations: controller-gen.kubebuilder.io/version: v0.10.0 labels: gatekeeper.sh/system: "yes" name: assignmetadata.mutations.gatekeeper.sh --- apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: annotations: controller-gen.kubebuilder.io/version: v0.10.0 labels: gatekeeper.sh/system: "yes" name: configs.config.gatekeeper.sh --- apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: annotations: controller-gen.kubebuilder.io/version: v0.10.0 labels: gatekeeper.sh/system: "yes" name: constraintpodstatuses.status.gatekeeper.sh --- apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: annotations: controller-gen.kubebuilder.io/version: v0.10.0 labels: gatekeeper.sh/system: "yes" name: constrainttemplatepodstatuses.status.gatekeeper.sh --- apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: annotations: controller-gen.kubebuilder.io/version: v0.11.3 labels: gatekeeper.sh/system: "yes" name: constrainttemplates.templates.gatekeeper.sh --- apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: annotations: controller-gen.kubebuilder.io/version: v0.10.0 labels: gatekeeper.sh/system: "yes" name: expansiontemplate.expansion.gatekeeper.sh --- apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: annotations: controller-gen.kubebuilder.io/version: v0.10.0 labels: gatekeeper.sh/system: "yes" name: expansiontemplatepodstatuses.status.gatekeeper.sh --- apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: annotations: controller-gen.kubebuilder.io/version: v0.10.0 labels: gatekeeper.sh/system: "yes" name: modifyset.mutations.gatekeeper.sh --- apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: annotations: controller-gen.kubebuilder.io/version: v0.10.0 labels: gatekeeper.sh/system: "yes" name: mutatorpodstatuses.status.gatekeeper.sh --- apiVersion: apiextensions.k8s.io/v1 kind: CustomResourceDefinition metadata: annotations: controller-gen.kubebuilder.io/version: v0.11.3 labels: gatekeeper.sh/system: "yes" name: providers.externaldata.gatekeeper.sh --- apiVersion: rbac.authorization.k8s.io/v1 kind: Role metadata: creationTimestamp: null labels: gatekeeper.sh/system: "yes" name: gatekeeper-manager-role namespace: gatekeeper-system --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: creationTimestamp: null labels: gatekeeper.sh/system: "yes" name: gatekeeper-manager-role --- apiVersion: rbac.authorization.k8s.io/v1 kind: RoleBinding metadata: labels: gatekeeper.sh/system: "yes" name: gatekeeper-manager-rolebinding namespace: gatekeeper-system roleRef: apiGroup: rbac.authorization.k8s.io kind: Role name: gatekeeper-manager-role subjects: - kind: ServiceAccount name: gatekeeper-admin namespace: gatekeeper-system --- apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: labels: gatekeeper.sh/system: "yes" name: gatekeeper-manager-rolebinding roleRef: apiGroup: rbac.authorization.k8s.io kind: ClusterRole name: gatekeeper-manager-role subjects: - kind: ServiceAccount name: gatekeeper-admin namespace: gatekeeper-system --- apiVersion: admissionregistration.k8s.io/v1 kind: MutatingWebhookConfiguration metadata: labels: gatekeeper.sh/system: "yes" name: gatekeeper-mutating-webhook-configuration --- apiVersion: admissionregistration.k8s.io/v1 kind: ValidatingWebhookConfiguration metadata: labels: gatekeeper.sh/system: "yes" name: gatekeeper-validating-webhook-configuration 在/tmp目录下新建uninstall.sh文件，并将如下脚本内容拷贝至uninstall.sh文件中。 #!/bin/bash kubectl delete -f /tmp/plugin.yaml kubectl delete ns cgs-provider 执行如下命令卸载容器集群防护插件。 bash /tmp/uninstall.sh 回显如下图类似信息，表示插件卸载完成。

解决方法 跨域问题，是因为集成方的网站做了安全限制，不允许请求非本域提供的资源造成的。可通过使用负载均衡应用（如Nginx）的反向代理来解决。 图1 地址在负载均衡应用上的映射原理 即第三方页面使用JS调用时，调用本地域名下的一个服务，该服务放通到云客服的域名地址手上。 由于云客服只有识别到service-cloud，才会识别该请求，因此第三方页面的请求地址必须包含service-cloud。 以Nginx为例，整体配置要点如下： 在nginx.conf文件中添加首层服务地址，如下所示。 location /demo/ { proxy_set_header Host $host; set $Real $proxy_add_x_forwarded_for; if ($Real ~ (\d+)\.(\d+)\.(\d+)\.(\d+)\,(.*)){ set $Real $1.$2.$3.$4; } proxy_set_header X-Real-IP $Real; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass https://servicestage.besclouds.com/; } demo为样例，集成方可根据需要自行定义。 servicestage.besclouds.com请以云客服提供的地址为准。 location /service-cloud/ { proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_request_buffering off; proxy_pass https://servicestage.besclouds.com/service-cloud; } 在开发集成页面中采用如下地址进行JS请求，其中location.protocol请使用集成方的域名+上一步配置的服务名（例如demo）。 const $ContextPath = location.protocol + "/service-cloud" let serviceUrl = $ContextPath+ "/webclient/chat_client/js/thirdPartyClient.js?"+"&t=" + timestamp; let thirdUserData = {}; ......

解决方法 跨域问题，是因为集成方的网站做了安全限制，不允许请求非本域提供的资源造成的。可通过使用负载均衡应用（如Nginx）的反向代理来解决。 图1 地址在负载均衡应用上的映射原理 即第三方页面使用JS调用时，调用本地域名下的一个服务，该服务放通到云客服的域名地址手上。 由于云客服只有识别到service-cloud，才会识别该请求，因此第三方页面的请求地址必须包含service-cloud。 以Nginx为例，整体配置要点如下： 在nginx.conf文件中添加首层服务地址，如下所示。 location /demo/ { proxy_set_header Host $host; set $Real $proxy_add_x_forwarded_for; if ($Real ~ (\d+)\.(\d+)\.(\d+)\.(\d+)\,(.*)){ set $Real $1.$2.$3.$4; } proxy_set_header X-Real-IP $Real; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass https://servicestage.besclouds.com/; } demo为样例，集成方可根据需要自行定义。 servicestage.besclouds.com请以云客服提供的地址为准。 location /service-cloud/ { proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_request_buffering off; proxy_pass https://servicestage.besclouds.com/service-cloud; } 在开发集成页面中采用如下地址进行JS请求，其中location.protocol请使用集成方的域名+上一步配置的服务名（例如demo）。 const $ContextPath = location.protocol + "/service-cloud" let serviceUrl = $ContextPath+ "/webclient/chat_client/js/thirdPartyClient.js?"+"&t=" + timestamp; let thirdUserData = {}; ......

问题分析 在开启并行回放或串行回放的情况下（查询GUC参数recovery_parse_workers和recovery_max_workers均是1为串行回放；recovery_parse_workers是1，recovery_max_workers大于1为并行回放），备机的查询线程在做索引扫描时，会先对索引页面加读锁，每当扫到一个元组时会去判可见性，如果该元组对应的事务处于committing状态，需要等待该事务提交后再判断。而备机上的事务提交是依赖日志回放线程推进的，这个过程中会对索引页面进行修改，因此需要加锁。查询线程在等待过程中会释放索引页面的锁，否则会出现查询线程等待回放线程进行事务提交，而回放线程在等待查询线程释放锁。 该报错仅出现在查询与回放都需要访问同一个索引页面的场景下，查询线程在释放锁并等待事务结束过程中，访问的页面出现被修改的情况。 备机查询在扫到committing状态的元组时，需要等待事务提交是因为事务提交的顺序与产生日志的顺序可能是乱序的，例如主机上tx_1的事务比tx_2先提交，而备机上tx_1的commit日志在tx_2的commit日志之后回放，按照事务提交顺序来看tx_1对tx_2应当是可见的，所以需要等待事务提交。 备机查询在扫描索引页面时，发现页面元组数量（包含死元组）发生变化后不可重试，是因为在扫描时可能为正向或反向扫描，而举例来说页面发生分裂后一部分元组移动到右页面，在反向扫描的情况下即使重试只能向左扫描读取，无法再保证结果的正确性，并且由于无法分辨发生分裂或者插入，所以不可重试。 图1 问题分析