DataArts Insight应用场景 智能数据洞察（DataArts Insight）致力于用更生动、友好的形式，即时呈现隐藏在瞬息万变且庞杂数据背后的业务洞察。无论在零售、物流、电力、水利、环保、还是交通领域，通过交互式实时 数据可视化 大屏来帮助业务人员发现、诊断业务问题。 DataArts Insight提供丰富的可视化组件，除了针对业务展示优化过的常规图表外，还有拓扑关系等异形图表供您自由搭配。 DataArts Insight无缝集成华为云 数据仓库 服务、支持本地 CS V、在线API及企业内部私有云数据；满足您各类大数据实时计算、监控的需求，充分发挥大数据计算的能力。 拖拽即可完成组件自由配置与布局、所见即所得，无需编程就能轻松搭建可视化大屏。 DataArts Insight特别针对拼接大屏端的展示做了分辨率优化，能够适配非常规的拼接分辨率。创建的大屏能够发布分享，作为您对外数据业务展示的窗口。 父主题： 常见问题

回答 当用户在distcp命令中使用webhdfs://时，会发生上述异常，是由于集群所使用的HTTP策略为HTTPS，即配置在“hdfs-site.xml”（文件路径为“客户端安装目录/HDFS/hadoop/etc/hadoop”）的“dfs.http.policy”值为“HTTPS_ONLY”。所以要避免出现此异常，应使用swebhdfs://替代webhdfs://。 例如： ./hadoop distcpswebhdfs://IP:PORT/testfile hdfs://IP:PORT/testfile1

问题 使用运行的Spark Streaming任务回写kafka时，kafka上接收不到回写的数据，且kafka日志报错信息如下： 2016-03-02 17:46:19,017 | INFO | [kafka-network-thread-21005-1] | Closing socket connection to /10.91.8.208 due to invalid request: Request of length 122371301 is not valid, it is larger than the maximum size of 104857600 bytes. | kafka.network.Processor (Logging.scala:68) 2016-03-02 17:46:19,155 | INFO | [kafka-network-thread-21005-2] | Closing socket connection to /10.91.8.208. | kafka.network.Processor (Logging.scala:68) 2016-03-02 17:46:19,270 | INFO | [kafka-network-thread-21005-0] | Closing socket connection to /10.91.8.208 due to invalid request: Request of length 122371301 is not valid, it is larger than the maximum size of 104857600 bytes. | kafka.network.Processor (Logging.scala:68) 2016-03-02 17:46:19,513 | INFO | [kafka-network-thread-21005-1] | Closing socket connection to /10.91.8.208 due to invalid request: Request of length 122371301 is not valid, it is larger than the maximum size of 104857600 bytes. | kafka.network.Processor (Logging.scala:68) 2016-03-02 17:46:19,763 | INFO | [kafka-network-thread-21005-2] | Closing socket connection to /10.91.8.208 due to invalid request: Request of length 122371301 is not valid, it is larger than the maximum size of 104857600 bytes. | kafka.network.Processor (Logging.scala:68) 53393 [main] INFO org.apache.hadoop.mapreduce.Job - Counters: 50

回答 如下图所示，Spark Streaming应用中定义的逻辑为，从kafka中读取数据，执行对应处理之后，然后将结果数据回写至kafka中。 例如：Spark Streaming中定义了批次时间，如果数据传入Kafka的速率为10MB/s，而Spark Streaming中定义了每60s一个批次，回写数据总共为600MB。而Kafka中定义了接收数据的阈值大小为500MB。那么此时回写数据已超出阈值。此时，会出现上述错误。 图1 应用场景 解决措施： 方式一：推荐优化Spark Streaming应用程序中定义的批次时间，降低批次时间，可避免超过kafka定义的阈值。一般建议以5-10秒/次为宜。 方式二：将kafka的阈值调大，建议在 MRS Manager中的Kafka服务进行参数设置，将socket.request.max.bytes参数值根据应用场景，适当调整。

配置进程参数 Flink on YARN模式下，有JobManager和TaskManager两种进程。在任务调度和运行的过程中，JobManager和TaskManager承担了很大的责任。 因而JobManager和TaskManager的参数配置对Flink应用的执行有着很大的影响意义。用户可通过如下操作对Flink集群性能做优化。 配置JobManager内存。 JobManager负责任务的调度，以及TaskManager、RM之间的消息通信。当任务数变多，任务平行度增大时，JobManager内存都需要相应增大。 您可以根据实际任务数量的多少，为JobManager设置一个合适的内存。 在使用yarn-session命令时，添加“-jm MEM”参数设置内存。 在使用yarn-cluster命令时，添加“-yjm MEM”参数设置内存。 配置TaskManager个数。 每个TaskManager每个核同时能跑一个task，所以增加了TaskManager的个数相当于增大了任务的并发度。在资源充足的情况下，可以相应增加TaskManager的个数，以提高运行效率。 在使用yarn-session命令时，添加“-n NUM”参数设置TaskManager个数。 在使用yarn-cluster命令时，添加“-yn NUM”参数设置TaskManager个数。 配置TaskManager Slot数。 每个TaskManager多个核同时能跑多个task，相当于增大了任务的并发度。但是由于所有核共用TaskManager的内存，所以要在内存和核数之间做好平衡。 在使用yarn-session命令时，添加“-s NUM”参数设置SLOT数。 在使用yarn-cluster命令时，添加“-ys NUM”参数设置SLOT数。 配置TaskManager内存。 TaskManager的内存主要用于任务执行、通信等。当一个任务很大的时候，可能需要较多资源，因而内存也可以做相应的增加。 将在使用yarn-session命令时，添加“-tm MEM”参数设置内存。 将在使用yarn-cluster命令时，添加“-ytm MEM”参数设置内存。

配置netty网络通信 Flink通信主要依赖netty网络，所以在Flink应用执行过程中，netty的设置尤为重要，网络通信的好坏直接决定着数据交换的速度以及任务执行的效率。 以下配置均可在客户端的“conf/flink-conf.yaml”配置文件中进行修改适配，默认已经是相对较优解，请谨慎修改，防止性能下降。 “taskmanager.network.netty.num-arenas”： 默认是“taskmanager.numberOfTaskSlots”，表示netty的域的数量。 “taskmanager.network.netty.server.numThreads”和“taskmanager.network.netty.client.numThreads”：默认是“taskmanager.numberOfTaskSlots”，表示netty的客户端和服务端的线程数目设置。 “taskmanager.network.netty.client.connectTimeoutSec”：默认是120s，表示taskmanager的客户端连接超时的时间。 “taskmanager.network.netty.sendReceiveBufferSize”：默认是系统缓冲区大小(cat /proc/sys/net/ipv4/tcp_[rw]mem) ，一般为4MB，表示netty的发送和接收的缓冲区大小。 “taskmanager.network.netty.transport”：默认为“nio”方式，表示netty的传输方式，有“nio”和“epoll”两种方式。

经验总结 数据倾斜 当数据发生倾斜（某一部分数据量特别大），虽然没有GC（Garbage Collection，垃圾回收），但是task执行时间严重不一致。 需要重新设计key，以更小粒度的key使得task大小合理化。 修改并行度。 调用rebalance操作，使数据分区均匀。 缓冲区超时设置 由于task在执行过程中存在数据通过网络进行交换，数据在不同服务器之间传递的缓冲区超时时间可以通过setBufferTimeout进行设置。 当设置“setBufferTimeout(-1)”，会等待缓冲区满之后才会刷新，使其达到最大吞吐量；当设置“setBufferTimeout(0)”时，可以最小化延迟，数据一旦接收到就会刷新；当设置“setBufferTimeout”大于0时，缓冲区会在该时间之后超时，然后进行缓冲区的刷新。 示例可以参考如下： env.setBufferTimeout(timeoutMillis); env.generateSequence(1,10).map(new MyMapper()).setBufferTimeout(timeoutMillis);

我领取了免费试用产品，还能不能继续参加其他免费试用活动？ 单类产品（如云服务器、云数据库），同一用户限体验1次，如云服务器有多个体验规格，仅能选择其中一个规格体验；您可以体验多个不同类型的产品。 备注：同一用户规则：同一用户是指根据不同华为云账号在注册、登录、使用中的关联信息，华为云判断其实际为同一用户。包括但不限于下述情形：具备同一证件号（比如身份证号/护照ID/企业唯一识别号等）、 域名 持有者为同一主体（如同一个人、企业等主体）、同一手机号、同一设备、同一IP地址等。 父主题： 活动常见问题

回答 这是一种误操作的异常情况，需要手动删除对应表的元数据后重试。 例如： 执行以下命令登录Hive元数据库： source ${BIGDATA_HOME}/ FusionInsight _BASE_xxx/install/FusionInsight-dbservice-2.7.0/.dbservice_profile gsql -p 20051 -U hive -d hivemeta -W HiveUser@ 手动删除对应表的元数据： delete from tbls where tbl_id='xxx';

回答 当用户在distcp命令中使用webhdfs://时，会发生上述异常，是由于集群所使用的HTTP策略为HTTPS，即配置在“hdfs-site.xml”（文件路径为“客户端安装目录/HDFS/hadoop/etc/hadoop”）的“dfs.http.policy”值为“HTTPS_ONLY”。所以要避免出现此异常，应使用swebhdfs://替代webhdfs://。 例如： ./hadoop distcpswebhdfs://IP:PORT/testfile hdfs://IP:PORT/testfile1

处理方法 通过删除本端的“known_hosts”文件，解决此问题。 在本云服务器上，以“root”用户，进入到命令行界面。 删除“known_hosts”文件。 rm /root/.ssh/known_hosts 删除文件后，重新以SSH跳转到目标云服务器时，会显示fingerprint信息，并提示“Are you sure you want to continue connecting (yes/no)?”，此时，需要输入“yes”并继续执行跳转。

问题描述 在一台Linux操作系统的云服务器上，通过SSH跳转到其他Linux操作系统的云服务器时，提示跳转失败。 界面提示信息示例如下： @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @ @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY! Someone could be eavesdropping on you right now (man-in-the-middle attack)! It is also possible that a host key has just been changed. The fingerprint for the RSA key sent by the remote host is 2c:d0:17:8a:82:4c:23:d6:14:be:d0:1d:88:8b:8b:03 [MD5]. Please contact your system administrator. Add correct host key in /root/.ssh/known_hosts to get rid of this message. Offending ECDSA key in /root/.ssh/known_hosts:1 You can use following command to remove all keys for this IP: ssh-keygen -R fanhana-0002 -f /root/.ssh/known_hosts RSA host key for fanhana-0002 has changed and you have requested strict checking. Host key verification failed.

操作步骤 以root用户登录SAP应用云服务器。 将配置文件中“manage_etc_hosts: localhost”内容注释。 执行以下命令，打开Cloud-Init配置文件“/etc/cloud/cloud.cfg”。 vi /etc/cloud/cloud.cfg 将配置文件中“manage_etc_hosts: localhost”内容注释后保存。 例如：#manage_etc_hosts: localhost 删除“/etc/hosts”文件中127.0.0.1到主机名称的映射信息。 执行以下命令，打开“/etc/hosts”文件。 vi /etc/hosts 删除“/etc/hosts”文件中127.0.0.1到主机名称的映射信息后保存。 对于已经安装了SAP应用的云服务器，需重新启动SAP应用；对于还未安装SAP应用的云服务器，在做完以上配置之后，执行安装SAP软件操作。

SAP监控大屏配置应用监控成功但没有数据 如果出现大屏配置应用监控成功但没有数据，您可以根据表1中列举的原因进行排除。 表1 故障排除 可能原因 排除方案 大屏配置错误，或配置的应用已删除。 进入编辑模式，检查应用、应用SID、数据库应用、数据库应用SID配置是否符合规划，如有错误，修正并更新配置即可。 应用内的云服务器未安装Agent。 安装Agent，等待几分钟。 Agent数据还在上报周期内。 SAP 监控Agent上报周期最短为每一分钟一次，请等待一分钟后刷新。 云服务器meta信息被误修改。 进入编辑模式，无需修改配置，直接点击更新监控配置，等待几分钟。 metrics.ini 配置文件参数配置错误。 检查对比配置文件与实际应用参数是否一致。 Agent及守护进程异常。 查看agent进程是否正常。 Agent从应用中未拿到数据。 检查/var/log/huawei/sapmon/sap_metrics.log 查看获取指标是否报错。 父主题： 常见问题

沙箱的软件配置 沙盒控制： Sandboxie 主要通过Sandboxie Control程序运行。该程序将黄色 Sandboxie 图标添加到任务栏的系统通知（“托盘”）区域如图1所示。 图1 运行图标 如果Sandboxie Control尚未激活，您可以从 Windows 开始菜单的 Sandboxie 程序组中找到并启动它，如图2所示。 图2 启动程序 激活后，您可以使用 Sandboxie 托盘图标来隐藏和显示Sandboxie Control 的主窗口，双击该图标或者您可以右键单击该图标并选择第一个命令，该命令在隐藏窗口和显示窗口之间交替。