云服务器内容精选

  • 资源和成本规划 表1 资源和成本规划 资源 资源说明 成本说明 OBS 需要创建一个OBS桶将数据上传到对象存储服务OBS,为后面使用DLI完成数据分析做准备。 OBS的使用涉及以下几项费用: 存储费用:静态网站文件存储在OBS中产生的存储费用。 请求费用:用户访问OBS中存储的静态网站文件时产生的请求费用。 流量费用:用户使用自定义域名通过公网访问OBS时产生的流量费用。 实际产生的费用与存储的文件大小、用户访问所产生的请求次数和流量大小有关,请根据自己的业务进行预估。 DLI 在创建SQL作业前需购买队列,使用DLI的队列资源时,按照队列CU时进行计费。 如购买按需计费的队列,在使用队列资源时,按照队列CU时进行计费。 以小时为单位进行结算。不足一小时按一小时计费,小时数按整点计算。队列CU时按需计费的计算费用=单价*CU数*小时数。 VPC VPC丰富的功能帮助您灵活管理云上网络,包括创建子网、设置安全组和网络ACL、管理路由表、申请弹性公网IP和带宽等。 VPC本身不收取费用。 但如有互联网访问需求,您需要购买弹性公网IP。弹性公网IP提供“包年/包月”和“按需计费”两种计费模式。 了解VPC计费说明。 DMS Kafka Kafka提供的消息队列服务,向用户提供计算、存储和带宽资源独占式的Kafka专享实例。 Kafka版支持按需和包周期两种付费模式。Kafka计费项包括Kafka实例和Kafka的磁盘存储空间。 了解Kafka计费说明。 RDS MySQL 数据库 RDS for MySQL提供在线云数据库服务。 RDS对您选择的数据库实例、数据库存储和备份存储(可选)收费。 了解RDS计费说明。 DLV DLV适配云上云下多种数据源,提供丰富多样的可视化组件,快速定制数据大屏。 使用DLV服务的费用主要是DLV包年包月套餐的费用,您可以根据实际使用情况,选择合适的版本规格。 了解DLI产品价格详情。
  • 步骤1:创建资源 如表2所示,完成VPC、DMS、RDS、DLI、DLV资源的创建。 表2 创建资源 资源类型 说明 操作指导 VPC VPC为资源提供云上的网络管理服务。 资源网络规划说明: Kafka与MySQL实例指定的VPC需为同一VPC。 Kafka与MySQL实例所属VPC网段不得与创建的DLI队列网段冲突。 创建VPC和子网 DMS Kafka 本例中以DMS Kafka实例作为数据源。 DMS Kafka入门指引 RDS MySQL 本例中以使用RDS提供在线云数据库服务。 RDS MySQL快速入门 DLI DLI提供实时业务数据分析。 创建DLI队列时请创建“包年包月”或者“按需-专属资源”模式的通用队列,否则无法创建增强型网络连接。 DLI 创建队列 DLV DLV实时展现DLI队列处理后的结果数据。 DLV 创建大屏
  • 数据说明 数据源表:电商业务订单详情宽表 字段名 字段类型 说明 order_id string 订单ID order_channel string 订单生成的渠道(即web方式、app方式等) order_time string 订单时间 pay_amount double 订单金额 real_pay double 实际支付金额 pay_time string 支付时间 user_id string 用户ID user_name string 用户姓名 area_id string 订单地区ID 结果表:各渠道的销售总额实时统计表。 字段名 字段类型 说明 begin_time varchar(32) 开始统计指标的时间 channel_code varchar(32) 渠道编号 channel_name varchar(32) 渠道名 cur_gmv double 当天GMV cur_order_user_count bigint 当天付款人数 cur_order_count bigint 当天付款订单数 last_pay_time varchar(32) 最近结算时间 flink_current_time varchar(32) Flink数据处理时间
  • 步骤2:获取DMS连接地址并创建Topic 在控制台单击“服务列表”,选择“分布式消息服务DMS”,单击进入DMS服务控制台页面。在“Kafka专享版”页面找到您所创建的Kafka实例。 图2 Kafka实例 进入实例详情页面。单击“基本信息”,获取“连接地址”。 图3 获取连接地址 单击“Topic管理”,创建一个Topic:trade_order_detail_info。 图4 创建Topic Topic配置如下: 分区数:1 副本数:1 老化时间:72h 同步落盘:否
  • 应用场景 当前线上购物无疑是最火热的购物方式,而电商平台则又可以以多种方式接入,例如通过web方式访问、通过app的方式访问、通过微信小程序的方式访问等等。而电商平台则需要每天统计各平台的实时访问数据量、订单数、访问人数等等指标,从而能在显示大屏上实时展示相关数据,方便及时了解数据变化,有针对性地调整营销策略。而如何高效快捷地统计这些指标呢? 假设平台已经将每个商品的订单信息实时写入Kafka中,这些信息包括订单ID、订单生成的渠道(即web方式、app方式等)、订单时间、订单金额、折扣后实际支付金额、支付时间、用户ID、用户姓名、订单地区ID等信息。而我们需要做的,就是根据当前可以获取到的业务数据,实时统计每种渠道的相关指标,输出存储到数据库中,并进行大屏展示。
  • 流程指导 使用DLI Flink进行电商实时业务数据分析的操作过程主要包括以下步骤: 步骤1:创建资源。在您的账户下创建作业需要的相关资源,涉及VPC、DMS、DLI、RDS。 步骤2:获取DMS连接地址并创建Topic。获取DMS Kafka实例连接地址并创建DMS Topic。 步骤3:创建RDS数据库表。获取RDS实例内网地址,登录RDS实例创建RDS数据库及MySQL表。 步骤4:创建DLI增强型跨源。创建DLI增强型跨源,并测试队列与RDS、DMS实例连通性。 步骤5:创建并提交Flink作业。创建DLI Flink OpenSource SQL作业并运行。 步骤6:查询结果。查询Flink作业结果,使用DLV进行大屏展示。
  • (可选)步骤四:添加并解析域名 本节介绍如何为服务器添加并解析域名,以便用户可以使用域名访问网站。如果您仅为个人开发或测试使用,可以不添加域名。 在左侧列表中选择“云主机 VM”,单击云主机名称,进入云主机详情页面。 选择“域名”页签,单击“添加域名”配置域名信息。 参数 说明 域名 输入添加到L实例的域名。例如wpwebsite.com。 说明: 待添加的域名未被注册也可以成功添加,但是添加后必须完成注册和备案,才能正常访问网站。为了保证添加的域名可以正常使用,建议您先注册域名并完成备案,再添加域名。 企业项目 从下拉列表中选择所在的企业项目。 公网域名关联的企业项目,用于将公网域名资源按照企业项目进行管理。 说明: 仅当用户使用的“账号类型”为“企业账号”时,显示该参数。 单击“确定”。 单击wpwebsite.com域名操作列表中的“解析域名”。 参数 说明 域名前缀 前缀和域名组成子域名。支持将域名或者子域名解析至当前公网IP。 例如,添加至服务器的域名为wpwebsite.com: 域名前缀为空,表示将域名wpwebsite.com解析至当前服务器公网IP。 域名前缀不为空,例如域名前缀为www,表示将www.wpwebsite.com子域名解析至当前服务器公网IP。 公网IP 系统自动读取当前云服务器的公网IP,无需配置。 在“域名”页签查看解析的域名。 备案域名。 要想通过域名成功访问服务器,必须备案域名。请在华为云备案中心备案此域名(免费),具体操作详见快速完成网站备案。
  • 操作步骤 操作步骤 说明 步骤一:购买云耀云服务器L实例 购买云耀云服务器L实例,选择Matomo应用镜像。 步骤二:配置安全组 配置安全组的入方向访问规则,确保可以正常访问应用镜像。 步骤三:设置Nginx安全级别 设置服务器密码、登录云服务器,设置Nginx安全级别。Nginx安全级别过高,可能导致部分应用功能不可用,可通过运行nginx_huaweicloud.sh脚本设置Nginx安全级别解决。 (可选)步骤四:添加并解析域名 为服务器添加并解析域名,以便用户可以使用域名访问网站。如果您仅为个人开发或测试使用,可以不添加域名。
  • 步骤一:购买云耀云服务器L实例 登录云耀云服务器L实例控制台。 单击“购买L实例”,在下拉列表中选择“购买 云耀云服务器L实例”。 对云耀云服务器L实例进行资源配置。 参数 示例 说明 区域 北京-北京四 请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。L实例创建后无法更换区域,请谨慎选择。 场景镜像 Matomo 选择Matomo应用镜像。 实例规格 2核2G、系统盘40GiB 选择实例规格。 实例名称 Matomo-Example 请自定义方便您识别的实例名称,例如Matomo-Example。 附加服务(可选) 数据盘:10GiB 主机安全 云备份:50GiB 请根据您的业务需要自主选择数据盘、主机安全、云备份附加服务并设置规格。 购买时长 1个月 单次购买最短为1个月,最长为3年。 支持自动续费功能。勾选后,在云耀云服务器L实例到期前自动续费。如果您购买时未开通自动续费,后续仍可以在控制台开通。 按月购买的资源:每次续费1个月 ,次数不限。 按年购买的资源:每次续费1年,次数不限。 关于自动续费的更多说明,请参考自动续费规则说明。 购买数量 1台 设置您购买的云耀云服务器L实例数量。 单击“立即购买”,进入订单详情页面。 根据界面提示,请确认配置信息,阅读并勾选协议。 单击“去支付”,根据页面提示完成支付。 单击“返回华为云云耀云服务控制台”,查看已创建的云耀云服务器L实例。
  • 步骤二:配置安全组 配置安全组的入方向访问规则,确保可以正常访问应用镜像。 在L实例控制台,单击资源卡片,进入资源页面。 在左侧列表中选择“云主机 VM”,单击云主机名称,进入云主机详情页面。 选择“安全组”页签,单击“添加规则”,添加如下规则。 本例只添加基本规则,您可根据需要添加更多规则。 表1 安全组规则 优先级 策略 类型 协议端口 源地址 描述 100 允许 IPv4 TCP:80 0.0.0.0/0 允许使用HTTP协议访问应用管理页面。 100 允许 IPv4 TCP:443 0.0.0.0/0 允许使用HTTPS协议访问应用管理页面。
  • 步骤三:设置Nginx安全级别 查看应用镜像是否正常启动,正常启动后再执行步骤2。 待云耀云服务器L实例处于“运行中”状态后,单击资源卡片。 在“镜像信息”区域单击“管理”进入应用镜像管理页面,检查应用镜像是否正常启动。 在应用镜像启动期间,请勿对云耀云服务器L实例进行重置密码、重启或开关机操作,否则可能导致应用镜像启动异常。 如果管理页面显示正常的引导或登录界面表示应用镜像已经正常启动。否则请耐心等待1~2分钟,稍后重试。 在页面右上角选择更多,单击“重置密码”。 根据界面提示,设置云服务器的新密码,并确认新密码。运行中的云服务器需重启后新密码才能生效,默认勾选“自动重启”。 单击“确认”。 此时云服务器状态为“重启中”,待服务器状态为“运行中”时,继续如下步骤。 在资源管理界面右上角,单击“远程登录”。 根据界面提示,输入用户名密码登录云服务器。 用户名为root,密码为步骤2设置的密码。 执行如下命令,运行nginx_huaweicloud.sh脚本。 wget -N https://websoft9.github.io/stackhub/scripts/nginx_huaweicloud.sh && bash nginx_huaweicloud.sh Nginx安全级别过高,可能导致部分应用功能不可用,请运行nginx_huaweicloud.sh脚本设置Nginx安全级别。
  • 支持分析指标及其说明 表1 分析指标列表 名称 说明 分析说明 分辨率 Resolution 图像分辨率。此处使用面积值作为统计值。 通过指标分析结果查看是否有偏移点。如果存在偏移点,可以对偏移点做resize操作或直接删除。 图片高宽比 Aspect Ratio 图像高宽比,即图片的高度/图片的宽度。 一般呈正态分布,一般用于比较训练集和真实场景数据集的差异。 图片亮度 Brightness 图片亮度,值越大代表观感上亮度越高。 一般呈正态分布,可根据分布中心判断数据集整体偏亮还是偏暗。可根据使用场景调整,比如使用场景是夜晚,图片整体应该偏暗。 图片饱和度 Saturation 图片的色彩饱和度,值越大表示图片整体色彩越容易分辨。 一般呈正态分布,一般用于比较训练集和真实场景数据集的差异。 清晰度 Clarity 图片清晰程度,使用拉普拉斯算子计算所得,值越大代表边缘越清晰,图片整体越清晰。 可根据使用场景判断清晰度是否满足需要。比如使用场景的数据采集来自高清摄像头,那么清晰度对应的需要高一些。可通过对数据集做锐化或模糊操作,添加噪声对清晰度做调整。 图像色彩的丰富程度 Colorfulness 横坐标:图像的色彩丰富程度,值越大代表色彩越丰富。 纵坐标:图片数量。 是观感上的色彩丰富程度,一般用于比较训练集和真实场景数据集的差异。 按单张图片中框的个数统计图片分布 Bounding Box Quantity 横坐标:单张图片中框的个数。 纵坐标:图片数量。 对模型而言一张图片的框个数越多越难检测,需要越多的这种数据用作训练。 按单张图片中框的面积标准差统计图片分布 Standard Deviation of Bounding Boxes Per Image 横坐标:单张图片中框的标准差。单张图片只有一个框时,标准差为0。标准差的值越大,表示图片中框大小不一程度越高。 纵坐标:图片数量。 对模型而言一张图中框如果比较多且大小不一,是比较难检测的,可以根据场景添加数据用作训练,或者实际使用没有这种场景可直接删除。 按高宽比统计框数量的分布 Aspect Ratio of Bounding Boxes 横坐标:目标框的高宽比。 纵坐标:框数量(统计所有图片中的框)。 一般呈泊松分布,但与使用场景强相关。多用于比较训练集和验证集的差异,如训练集都是长方形框的情况下,验证集如果是接近正方形的框会有比较大影响。 按面积占比统计框数量的分布 Area Ratio of Bounding Boxes 横坐标:目标框的面积占比,即目标框的面积占整个图片面积的比例,越大表示物体在图片中的占比越大。 纵坐标:框数量(统计所有图片中的框)。 主要判断模型中使用的anchor的分布,如果目标框普遍较大,anchor就可以选择较大。 按边缘化程度统计框数量的分布 Marginalization Value of Bounding Boxes 横坐标:边缘化程度,即目标框中心点距离图片中心点的距离占图片总距离的比值,值越大表示物体越靠近边缘。(图片总距离表示以图片中心点为起点画一条经过标注框中心点的射线,该射线与图片边界交点到图片中心点的距离)。 纵坐标:框数量(统计所有图片中的框)。 一般呈正态分布。用于判断物体是否处于图片边缘,有一些只露出一部分的边缘物体,可根据需要添加数据集或不标注。 按堆叠度统计框数量的分布 Overlap Score of Bounding Boxes 横坐标:堆叠度,单个框被其他的框重叠的部分,取值范围为0~1,值越大表示被其他框覆盖的越多。 纵坐标:框数量(统计所有图片中的框)。 主要用于判断待检测物体的堆叠程度,堆叠物体一般对于检测难度较高,可根据实际使用需要添加数据集或不标注部分物体。 按亮度统计框数量的分布 Brightness of Bounding Boxes 横坐标:目标框的图片亮度,值越大表示越亮。 纵坐标:框数量(统计所有图片中的框)。 一般呈正态分布。主要用于判断待检测物体的亮度。在一些特殊场景中只有物体的部分亮度较暗,可以看是否满足要求。 按清晰度统计框数量的分布 Clarity of Bounding Boxes 横坐标:目标框的清晰度,值越大表示越清晰。 纵坐标:框数量(统计所有图片中的框)。 主要用于判断待检测物体是否存在模糊的情况。比如运动中的物体在采集中可能变得模糊,需要重新采集。
  • 背景信息 只有“图片”的数据集,且版本标注类型为“物体检测”和“图像分类”的数据集版本支持数据特征分析。 只有发布后的数据集支持数据特征分析。发布后的Default格式数据集版本支持数据特征分析。 数据特征分析的数据范围,不同类型的数据集,选取范围不同: 对于标注任务类型为“物体检测”的数据集版本,当已标注样本数为0时,发布版本后,数据特征页签版本置灰不可选,无法显示数据特征。否则,显示已标注的图片的数据特征。 对于标注任务类型为“图像分类”的数据集版本,当已标注样本数为0时,发布版本后,数据特征页签版本置灰不可选,无法显示数据特征。否则,显示全部的图片的数据特征。 数据集中的图片数量要达到一定量级才会具有意义,一般来说,需要有大约1000+的图片。 “图像分类”支持分析指标有:“分辨率”、“图片高宽比”、“图片亮度”、“图片饱和度”、“清晰度”和“图像色彩的丰富程度”。“物体检测”支持所有的分析指标。目前ModelArts支持的所有分析指标请参见支持分析指标及其说明。
  • 约束限制 Trino引擎队列仅支持HTTPS协议的连接方式。 使用Trino引擎时,所创建的SQL队列不支持扩缩容。 如果需要调整队列CU的大小,需要先在弹性资源池下先删除队列后在弹性资源池下创建CU大小合适的Trino引擎的队列。 DLI Trino引擎处于公测阶段,如果有需要请联系客服申请开通。 支持DLI Trino引擎的区域:华北-北京四、华东-上海一、中国-香港、亚太-曼谷、亚太-新加坡、非洲-约翰内斯堡 BI对接暂只支持使用Hive语法创建的外表。
  • 步骤3:PowerBI安装及驱动安装 安装PowerBI desktop版本 在PowerBI官网选择对应的desktop版本进行下载。 安装openlookeng odbc驱动 安装本驱动前请确认当前具有管理员权限。 双击msi安装包,出现安装的欢迎界面,单击“Next”。 第二页为用户协议,勾选接受后单击“Next”。 第三页选择安装方式,建议选择“Complete”完整安装。 第四页选择安装路径,配置后单击“Next”。 完成上述安装设置后在最后一页单击“Install”开始安装。 安装过程中会弹出cmd命令行窗口,为安装Driver组件的过程,待其完成后会自动关闭。至此完成了openLooKeng ODBC驱动的全部安装过程。 完成后出现弹出窗口,如果以前配置过旧版本驱动的用户DSN可以勾选使DSN用于新安装的版本,单击“Finish”完成安装。 图13 openlookeng odbc驱动