云服务器内容精选
-
FileBeat采集端汇聚 采集端汇聚是在采集端清洗的基础上实现的，针对资源受限而日志总量大，单节点流量可控，需要优先保证统计分析数据正常上报的场景，前置汇聚可以很明显的缓解统计分析告警延迟的问题，同样可以更进一步节省整体资源占用。 采集端汇聚需要额外占用内存和磁盘存储空间，用来存储汇聚后的维度和度量数据，磁盘存储占用默认限制在100MB，内存占用最大为100000个不同的维度值大小。 在做日志接入创建日志空间时可以开启汇聚完成日志数据汇聚，如图1所示。 图1 数据汇聚 开启汇聚：选择是否开启日志汇集，如果日志量较大且不需要关注原始日志时可以进行日志汇聚。 开启后需要配置汇集相关参数。 汇聚粒度：开启汇聚后，需要设置汇集粒度。支持分钟级和秒级数据汇聚。选择分钟级，每一分钟会生成一个统计点，选择秒级，每一秒会生成一个统计点。 汇聚时间戳：仅支持时间戳格式字段timestamp，获取当前计算的日志的时间。 时间戳格式：选择时间戳格式。支持秒、毫秒、纳秒级时间戳，获取当前计算的日志的时间格式。 汇聚维度：结合业务场景需要，选择日志是以哪些日志字段进行日志汇聚，支持多选。 汇聚度量：设置对日志字段以COUNT、SUM、MAX、MIN进行度量。 原始字段是日志中的字段，用来获取原始值；度量字段是用户自定义字段名，计算后，度量的值会赋值给该字段。
-
参数说明 参数 是否必选 参数说明 默认值 weight_col 是 权重列。 "weight" sample_size 否 采样数量。 100 sample_ratio 否 采样比例，范围(0,1)，如果sample_size和sample_ratio同时设置，以sample_size为准。 0.2 with_replacement 是 是否有放回采样。 True partitions 否 分区数，有放回采样需设置该参数，数据量较大时可将该参数调大。 10 random_seed 否 随机种子。 1234
-
KooMap服务提供哪些公共管理功能 KooMap服务提供数据管理、工作共享空间管理、任务管理、用量统计4项公共管理功能，具体如下： 数据管理：管理各类影像和矢量数据，包括数据导入、查看、下载、迁移、查询以及删除等操作。 工作共享空间管理：把具有共同特性的数据处理任务放置在同一个工作空间，供用户协同操作，提高工作效率。 任务管理：以任务形式对导入的影像进行处理，输出处理成功的成果数据。用户可根据实际需求在工作共享空间中创建、查询、启动、停止、归档、解归档、删除任务等操作。 用量统计：统计卫星影像生产服务/实景三维生产服务的时空专属存储、卫星影像生产服务用量、实景三维生产服务用量。 时空专属存储（卫星影像生产服务包括导入的原始卫星影像、矢量数据、生产资料和成果影像存储总量。实景三维生产服务包括用户上传的数据、数据生产过程中产生的中间数据以及实景三维模型成果数据的存储总量）。 卫星影像生产服务用量：统计L2、L3、L4、L5处理等级的成果影像存储用量、成功处理的次数。 实景三维生产服务用量：统计成功建模的倾斜摄影影像的像素点数量、成功处理的次数。 父主题： 数据处理
-
数据处理作业队列相关操作 在“作业队列”页签，还可以进行以下操作。 表1 作业队列相关操作 任务 操作步骤 置顶作业 单击操作栏中的“置顶”，即可将作业调整至队列中最高优先级。 置底作业 单击操作栏中的“置底”，即可将作业调整至队列中最低优先级。 上移作业 单击操作栏中的“上移”，即可将作业调整至队列中上一级。 下移作业 单击操作栏中的“下移”，即可将作业调整至队列中下一级。 更新作业优先级 勾选单个或多个作业。 单击“更新优先级”，输入[-50,50]的整数，数字越大，优先级越高。 单击“确定”，优先级更改成功。相同优先级的任务，作业队列更新时间越早，优先级越高。 搜索作业 在搜索输入框中输入“作业ID”，按回车键即可查询。
-
输入要求 算子输入分为两种，“数据集”或“OBS目录”。 选择“数据集”，请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。 选择“OBS目录”，存放结构又分两种情况，“仅包含图片”或“包含图片和标注信息”。 “仅包含图片”：当目录下全是图片时，支持jpg、jpeg、png、bmp格式，嵌套子目录的图片也将全部读入。 “包含图片和标注信息”：根据不同场景类型，结构不同。 图像分类场景，其目录结构如下所示。如下目录结构，仅支持单标签场景。 input_path/ --label1/ ----1.jpg --label2/ ----2.jpg --../ 物体检测场景，其目录结构如下所示。支持jpg、jpeg、png、bmp格式的图片，xml为标准的PACAL VOC格式标注文件。 input_path/ --1.jpg --1.xml --2.jpg --2.xml ...
-
输出说明 图像分类 输出数据的目录结构如下所示。 output_path/ --Data/ ----class1/ # 如果输入数据有标注信息会一并输出，class1为标注类别 ------1.jpg ------2_checked.jpg ----class2/ ------3.jpg ------4_checked.jpg ----5_checked.jpg --output.manifest 其中manifest文件内容示例如下所示。会给每一条数据加上一个校验属性"property":{"@modelarts:data_checked":true}。 { "id": "xss", "source": "obs://hard_example_path/Data/fc8e2688015d4a1784dcbda44d840307_14_checked.jpg", "property": { "@modelarts:data_checked": true }, "usage": "train", "annotation": [ { "name": "Cat", "type": "modelarts/image_classification" } ] } 物体检测 在输出目录下，文件结构如下所示。 output_path/ --Data/ ----1_checked.jpg ----1_checked.xml # 如果输入数据在校验过程中经过了转换，文件名会加上'_checked' ----2.jpg # 如果输入数据未经过转换，则以原来的名字保存 ----2.xml --output.manifest 其中manifest文件内容示例如下所示。会给每一条数据加上一个校验属性"property":{"@modelarts:data_checked":true}。 { "source": "obs://hard_example_path/Data/be462ea9c5abc09f_checked.jpg", "property": { "@modelarts:data_checked": true }, "annotation": [ { "annotation-loc": "obs://hard_example_path/Data/be462ea9c5abc09f_checked.xml", "type": "modelarts/object_detection", "annotation-format": "PASCAL VOC", "annotated-by": "modelarts/hard_example_algo" } ] }
-
MetaValidation算子概述 ModelArts的数据校验通过MetaValidation算子实现。当前ModelArts支持jpg、jpeg、bmp、png四种图片格式。物体检测场景支持xml标注格式，不支持“非矩形框”标注。针对您提供的数据集，MetaValidation算子支持对图片和xml文件进行数据校验： 表1 图片类数据校验 异常情况 处理方案 图片本身损坏无法解码 过滤掉不能解码的图片 图片通道可能是1通道、2通道，不是常用的3通道 转换图片成RGB三通道 图片格式不在ModelArts支持的格式范围内 转换图片格式至jpg格式 图片后缀与实际格式不符，但格式在ModelArts支持的格式内 后缀转换成与实际格式一致 图片后缀与实际格式不符，且格式不在ModelArts支持的格式内 转换图片格式至jpg格式 图片分辨率过大 宽、高按指定大小同比例进行裁剪 表2 标注类文件数据校验 异常情况 处理方案 xml结构残缺，无法解析 过滤xml文件 xml中没有标注“object” 过滤xml文件 xml中没有矩形框“bndbox” 过滤xml文件 某些标注“object”中没有矩形框“bndbox” 过滤标注“object” 图片经过裁剪后，xml文件中宽高不符 修改错误宽高参数为图片真实宽高 xml中没有“width”、“height”字段 根据图片真实宽高补全xml中的“width”、“height”字段和值 图片经过裁剪后，xml中矩形框“bndbox”大小不符 按图片裁剪比例缩放xml文件中“bnxbox”值 xml中矩形框“bndbox”宽或高值过小，显示为一条线 矩形框宽或高差值小于2，移除当前“object” xml中矩形框“bndbox”最小值大于最大值 移除当前“object” 矩形框“bndbox”超出图片边界，且超出部分占框面积50%以上 移除当前“object” 矩形框“bndbox”超出图片边界，但超出部分小于框面积50% 矩形框“bndbox”拉回到图片边界 数据校验过程不会改动原始数据，通过校验的图片或xml文件保存在指定的输出路径下。
-
约束与限制 权限限制： 需要使用IAM增加Tenant Administrator权限后才能设置、获取、删除在线解压策略。 区域限制： 在线解压功能支持的区域请参见功能总览。 包及文件大小限制： 单个ZIP包大小上限为1GB。 单个ZIP包内最多可包含65536个文件。 ZIP包内，单个文件解压后最大为40GB。 时间限制： ZIP包解压任务最大时长为10分钟。 功能限制： ZIP包的后缀必须为zip。 ZIP包名称中不可带有中文标点符号、特殊符号和特殊编码。 针对ZIP包嵌套的场景，在线解压策略的事件类型需设置为ObjectCreated:*或ObjectCreated:CompleteMultipartUpload。 目前不支持解压任务完成后给用户发送消息通知。 目前仅支持解压压缩算法为deflated的ZIP包，此处的压缩算法与WINRAR等软件提供的Store、Normal等压缩方法不等同。 解压路径加上压缩包解压出文件的文件名，总字符长度不可超过1024，否则会导致解压失败。 目前不支持解压加密ZIP包。
-
注意事项 建议设置精准的前缀，同一个桶下的不同触发条件不能包含或重叠，触发条件指策略配置项中的事件、前缀以及后缀。 例如，同一个桶下的两个解压策略event-0001和event-0002，假设event-0001的前缀配置为aa，则event-0002的前缀不可配置为aaaa，因为两者具有包含关系。 当前缀置空时，解压策略将默认匹配该桶下的全部ZIP包，可能会触发循环执行。 例如，ZIP包“AA.zip”中包含ZIP包“BB.zip”。若前缀置空，当"AA.zip"解压完成后，系统会继续对解压出的"BB.zip"进行解压。设置前缀可以规避该问题。 目标目录：ZIP包解压生成文件的存放目录，如果不设置，函数计算会将生成的文件存放到当前桶的主目录下。 若ZIP包中包含非UTF-8或GB 2312编码的文件名或文件夹（文件目录）名，可能导致解压生成文件的文件名或文件目录名出现乱码、解压过程中断等情况，请使用UTF-8或GB 2312编码命名您的文件或文件目录。 上传归档存储的ZIP包，不会触发ZIP包解压，若桶已开启归档数据直读功能，则可以触发ZIP包解压。上传深度归档存储的ZIP包，不会触发ZIP包解压。 ZIP包解压处理单个压缩包的最长处理时间是10分钟，超过10分钟未完成会解压失败。
-
卫星影像生产服务有哪些功能 卫星影像生产服务可以实现色彩增强与几何粗纠正L2处理、色彩增强与精纠正L3处理、正射纠正L4处理以及影像镶嵌L5处理，具体如下： L2处理：对原始遥感光学卫星影像进行色彩增强与几何粗纠正处理，输出L2级的成果数据。 L3处理：对原始遥感光学卫星影像进行色彩增强与几何精纠正处理，输出L3级的成果数据。 L4处理：对原始遥感光学卫星影像进行色彩增强与正射纠正处理，输出L4级的成果数据。 L5处理：在L4级数据的基础上执行影像匀色、镶嵌处理，输出L5级成果数据，并支持矢量边界裁切、瓦片金字塔等多种形式的成果输出。 父主题： 数据处理
-
实景三维生产服务支持哪些建模类型和任务类型 实景三维生产服务是对倾斜摄影数据进行专业处理，生成各行业可使用的实景三维数据。 建模类型： 纹理模型实景三维：对多视角影像进行分布式并行处理，生成带纹理的三维Mesh模型数据。支持影像畸变较正，纹理贴图、纹理图匀光匀色，降低影像畸变对精度的影响以及数据采集光照差异造成的色彩不均匀的问题。 显式辐射场实景三维：支持照片级重建，空间测量，真实还原多视角光影效果，显著提升模型真实感。支持业界主流渲染引擎的实时渲染，无额外适配成本。 任务类型： 无控建模：根据设置的建模参数，对原始影像进行实景三维建模。建模过程中无需进行人工刺点。无控建模速度快，适用于不要求超高精度或绝对地理坐标的场景。 有控建模：根据设置空三建模参数，对原始影像先进行空三建模，然后利用生产资料对应的像控点坐标信息在原始图片上进行人工刺点，适用于需要生成高精度或绝对地理坐标的场景。 一般情况下，有控建模后的成果模型数据比无控建模精度更高。 刺点：是指将像控点位置标识到图片上的过程。 父主题： 数据处理
-
输出说明 图像分类 输出数据的目录结构如下所示。 output_path/ --Data/ ----class1/ # 若输入数据有标注信息会一并输出，class1为标注类别 ------1.jpg ----class2/ ------2.jpg ----3.jpg --output.manifest 其中manifest文件内容示例如下所示。 { "id": "xss", "source": "obs://home/fc8e2688015d4a1784dcbda44d840307_14.jpg", "usage": "train", "annotation": [ { "name": "Cat", "type": "modelarts/image_classification" } ] } 物体检测 输出数据的目录结构如下所示。 output_path/ --Data/ ----1.jpg ----1.xml # 若输入数据有标注信息会一并输出，xml为标注文件 ----2.jpg ----3.jpg --output.manifest 其中manifest文件内容示例如下所示。 { "source":"obs://fake/be462ea9c5abc09f.jpg", "annotation":[ { "annotation-loc":"obs://fake/be462ea9c5abc09f.xml", "type":"modelarts/object_detection", "annotation-format":"PASCAL VOC", "annotated-by":"modelarts/hard_example_algo" } ] }
-
输入要求 算子输入分为两种，“数据集”或“OBS目录”。 选择“数据集”，请从下拉框中选择ModelArts中管理的数据集及其版本。要求数据集类型与您在本任务中选择的场景类别一致。 选择“OBS目录”，存放结构又分两种情况，“仅包含图片”或“包含图片和标注信息”。 “仅包含图片”：当目录下全是图片时，支持jpg、jpeg、png、bmp格式，嵌套子目录的图片也将全部读入。 “包含图片和标注信息”：根据不同场景类型，结构不同。 图像分类场景，其目录结构如下所示。如下目录结构，仅支持单标签场景。 input_path/ --label1/ ----1.jpg --label2/ ----2.jpg --../ 物体检测场景，其目录结构如下所示。支持jpg、jpeg、png、bmp格式的图片，xml为标准的PACAL VOC格式标注文件。 input_path/ --1.jpg --1.xml --2.jpg --2.xml ...
-
参数说明 表1 数据清洗-PCC算子参数说明 参数名 是否必选 默认值 参数说明 prototype_sample_path 是 None 数据清洗正样例目录。目录应存放正样例图片文件，算法将这些图片为正样例，对输入中的数据进行过滤，即保留与“prototype_sample_path”目录下图片相似度高的数据。 请输入一个真实存在的OBS目录，且目录下已包含提供的正样例图片，且以obs://开头。如：obs://obs_bucket_name/folder_name criticism_sample_path 否 None 数据清洗负样例目录。目录应存放负样例图片文件，算法将这些图片为负样例，对算法输入中的数据进行过滤， 即保留与“criticism_sample_path”目录下图片相似度差距较大的数据。 建议该参数和“prototype_sample_path”配合使用，可以提高数据清洗的准确性。 请输入一个真实存在的OBS目录，且以obs://开头。如：obs://obs_bucket_name/folder_name n_clusters 否 auto 数据样本的种类数，默认值auto。您可以输入小于样本总数的整数或auto。auto表示使用正样本目录的图片个数作为数据样本的种类数。 simlarity_threshold 否 0.9 相似度阈值。两张图片相似程度超过阈值时，判定为相似图片，反之按非相似图片处理。输入取值范围为0~1。 embedding_distance 否 0.2 样本特征间距。两张图片样本特征间距小于设定值，判定为相似图片，反之按非相似图片处理。输入取值范围为0~1。 do_validation 否 True 是否做数据校验，可填True或者False。表示数据清洗前需要做数据校验，否则只做数据清洗。
-
安装包部署-SDK应用日志 通过”安装包”部署的SDK应用可以下述方式查看日志。 进入/var/IoTEdge/downloaded-job/run目录. cd /var/IoTEdge/downloaded-job/run 找到相应的安装包目录，找到myapp_running.log查看日志。 可以看到SDK应用启动的日志如下 通过用MQTT设备模拟器发送数据，可以看到SDK处理相应的消息日志。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格
