华为云用户手册

  • 操作步骤 使用注册的用户名、密码登录MgC Agent控制台,在左侧导航树选择“任务管理”,进入应任务管理页面。 单击“创建任务”按钮,右侧弹出新建任务窗口,根据待采集资源选择采集器类型,单击“下一步”,进入任务参数配置页面。 在基本参数区域,自定义任务名称;在采集器参数区域,根据采集器参数配置说明,配置采集器参数信息,其中带参数为必填参数。 配置完成后,单击“确认”按钮,采集任务创建完成。在任务列表中可以查看任务的数据源采集状态。 数据源采集成功后,可以通过如下方式获取采集结果: 单击任务操作列的“下载json”,将采集结果保存为json文件,用于将采集结果导入MgC进行应用关联分析,详情请参考导入工具采集结果。 单击任务操作列的“下载csv”,将采集结果保存为csv文件,用于本地查看采集结果。 单击任务操作列的“显示结果路径”,可以查看采集结果存放路径。
  • Windows系统 以下步骤以Windows 11 ,采集器rda-collector-server为例。 启动脚本位置。 MgC Agent安装目录(默认为C:\Edge) .\tools\plugins\collectors\rda-collector-server\bin\start.bat,其中rda-collector-server可替换其他采集器的目录,目前包含采集器: 数据库采集器 :rda-collector-database。 容器采集器 :rda-collector-kubernetes。 平台采集器 :rda-collector-platform。 主机采集器 :rda-collector-server。 存储采集器 :rda-storage-collector。 配置JVM参数。 MgC Agent安装目录下(默认为C:\Edge),编辑.\tools\plugins\collectors\rda-collector-server\bin\start.bat。 在第二条语句的 -jar 之后添加JVM参数: -Xms512M -Xmx1024M 其中“-Xms512M -Xmx1024M”即为可进行配置的JVM参数。-Xms512M 表示JVM初始分配的堆内存为512M。-Xmx1024M 表示JVM最大允许分配的堆内存为1024M。可按需添加其他JVM参数。 单击保存,退出start.bat。配置主机采集器插件JVM参数完成。 重启采集器插件。 采集器插件JVM参数需要重启采集器插件后生效。 以管理员身份运行停止采集器插件脚本:MgC Agent安装目录下(默认为C:\Edge) .\tools\plugins\collectors\rda-collector-server\bin\stop.bat。 再次运行同目录下启动采集器插件脚本:start.bat。 查询正在运行的采集器插件的JVM参数。 打开任务管理器(可以按下ctrl + alt + delete,并在弹出的页面中选择 任务管理器 打开)。在任务管理器的页签中选择详细信息。 图1 详细信息 找到名为 “rda-collector-server.exe”的程序,查看其对应pid。 获取到pid后,以打开命令提示符(cmd),输入如下指令并回车: jinfo PID PID 为 之前获取到的Agent程序pid,在命令提示符返回的内容中,可查看生效的JVM参数。 图2 命令提示符
  • 解决方法 将占用27080端口的应用进程停用。 在将应用进程停用前,请自行评估风险并承担相应后果。 Linux主机: 输入如下命令,查询占用端口的应用ID。 netstat -tlnp | grep 27080 例如,查询到的应用ID为11083。 输入如下命令,根据获得的应用ID查询应用进程。此处的应用ID仅为举例,请根据实际查询结果进行替换。 ps -ef | grep 11083 确认占用端口的应用可以停用后,执行如下命令,将该应用进程停止。然后重新安装MgC Agent。 kill -9 11083 Windows主机: 打开Windows命令行窗口,输入如下命令,查询占用端口的应用ID。 netstat -ano | findstr 27080 例如,查询到的应用ID为5816。以下应用ID仅为举例,请以实际查询结果为准。 打开任务管理器,在“详细信息”页签,根据获得的应用ID查找应用进程。 确认占用端口的应用可以停用后,选择应用进程,单击鼠标右键,选择“结束任务”,将该应用进程停止。然后重新安装MgC Agent。
  • 云日志服务LTS提供的500M免费额度怎么算? 云日志服务的计费功能包括:日志读写流量、日志索引流量、标准存储量、冷存储量、转储费用,详细请参考计费项。关于500M免费额度的具体说明如下: 日志读写流量:按流量计费,每月免费赠送您500M额度,超过后按需收费。 日志索引流量:按流量计费,每月免费赠送您500M额度,超过后按需收费。 标准存储量:按存储空间计费,标准存储每月免费赠送您500M额度,超过后按需收费。 冷存储量:按存储空间计费,冷存储没有免费额度,按需收费。 转储费用:包括日志基础转储流量和日志高级转储流量,没有免费额度,按需收费。 收费详情请参见:LTS产品价格详情。 如果每月免费赠送的额度已经可以满足您的使用需求,超过后希望暂停日志采集,请参见:在LTS页面如何停止计费。 父主题: 计费FAQ
  • 云端结构化日志读写流量、索引流量、存储流量的收费变化说明 使用云端结构化解析日志后读写流量、索引流量、存储流量变化说明如下: LTS结构化能力说明: 云端结构化是由LTS服务端通过不同的日志提取方式将日志流中的日志content字段进行结构化的能力。结构化之后会保留content字段,在资源统计和计费时content字段和结构化字段都会统计在内。云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。 ICAgent结构化是在采集侧做结构化,利用的是用户节点上的资源,将结构化完成的数据上报到LTS。ICAgent结构化解析支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,并且可以选择是否上传原始日志,不上传原始日志在资源统计和计费时则不会统计content字段,推荐使用ICAgent结构化解析,更多内容请参考ICAgent结构化解析规则说明。 示例说明:(以下示例仅供参考,请以实际日志为准) 例如一条原始日志: content为"172.16.0.1 200 190 /check" 经过云端结构化解析后为: {"ip":"172.16.0.1","status":200,"cost_time":190,"url":"/check","content":"172.16.0.1 200 190 /check"} 读写流量、索引流量、存储流量变化说明: ICAgent结构化解析功能商用以后恢复对云端结构化解析所有字段的存储、索引及读写流量的收费。 ICAgent结构化解析商用前:LTS服务端支持原始日志content及其结构化字段的存储及搜索等能力,但是免去了结构化字段,即上述ip、status、cost_time、url字段及其value值的存储、索引及读写流量费用,仅收取content字段及其value值的存储、读写及索引流量费用。 ICAgent结构化解析商用后: LTS对于ICAgent结构化解析商用后新建的日志流恢复结构化字段的存储、索引及读写流量费用。故会收取上述示例中ip、status、cost_time、url和content字段及其value值的存储、读写及索引流量费用。 父主题: 计费FAQ
  • LTS日志计费相关问题? 使用LTS日志计费相关问题如下,具体单价请参考官网LTS价格详情说明。 原始日志流量及索引流量、读写流量的关系: 日志读写流量:读写流量根据传输的流量计算,传输流量为压缩后的日志大小,日志一般有5倍压缩率,原始日志流量为读写流量的5倍。 示例:原始日志为10GB,实际压缩大小为 2GB,则以2GB计费。 在字段索引配置功能上线之前,LTS所有字段均支持索引,索引流量等于原始日志流量,字段索引功能上线之后,索引流量和用户的索引配置相关。在用户开启全文索引或者没有进行索引配置的场景下,索引流量等于原始日志流量,如果用户只配置了字段索引,则索引流量只统计开启了字段索引的字段,不再和原始日志流量保持一致。 日志索引流量:原始日志数据默认都会建立全文索引,创建索引(对日志分词处理)后,才能搜索日志,在写入时一次性收取流量费用。 示例:原始日志为10GB,需要索引的流量为10GB,产生索引流量费用3.2元。 日志存储空间:日志存储空间为压缩后的日志数据、索引数据、副本数据之和,这些空间约等于原始日志数据大小。 示例:原始日志为10GB,那么一天存储最大收费为 0.000479*24*10=0.12元(金额如果遇小数点,则保留小数点后两位,第三位四舍五入。如遇四舍五入后不足¥0.01 元,则按¥0.01 元展示)。 新建日志流的ICAgent结构化解析和云端结构化解析资源统计及计费的区别: ICAgent结构化解析支持插件组合解析,单个日志流的多个采集配置支持不同结构化解析规则,并且可以选择是否上传原始日志,不上传原始日志在资源统计和计费时则不会统计content字段,推荐使用ICAgent结构化解析。 云端结构化解析将原始日志结构化之后会保留content字段,在资源统计和计费时content字段和结构化字段都会统计在内。云端结构化解析会消耗LTS服务端算力,未来会按照日志大小收取日志加工流量费用。 父主题: 计费FAQ
  • 云日志 服务LTS资源包相关问题 用户在云日志服务控制台购买了1个数量100GB的存储资源包,为什么在费用中心的资源包页面资源包详情总量显示72000GB? 答:单位不同导致展示的值不同。 在LTS控制台的按需套餐包购买页面,存储量的单位是GB/月,在费用中心控制台,存储量的单位是GB/小时。实际上100GB/月=100GB*1个数量*24小时*30天=72000GB/小时,两者是同一个意思;若购买的是2个数量100GB的资源包,总量2个数量*100GB/月=100GB*2个数量*24小时*30天=144000GB,根据购买数量依次类推。 LTS控制台使用GB/月是为了让用户更好理解;费用中心使用GB/小时的原因是LTS日志存储量的计费是按小时上报话单扣费,使用小时计算费用更加准确。 当月资源包没有使用完,会存到下个月吗? 答:不会,资源包剩余量=总量-已使用量,资源包到期后,剩余资源不会结余,自动清零。 日志存储量超过购买资源包的使用量,如何计费? 答:例如购买了1个100GB的存储资源包(总量为72000GB),第一天日志存储量为73000GB,到第二天存储资源包剩余量为0,超过的1000GB则以按需计费方式计算费用。 父主题: 计费FAQ
  • 操作步骤 登录 应用运维管理 平台。 选择指标预览,指标源选择Prometheus_ AOM _Default。 图1 配置指标源 全量指标中输入指标名称进行查询。 表1 监控指标 指标名称 描述 fabric_dpu_cpu_usage 该指标用于统计Ray集群head和worker的cpu资源使用率。 单位:百分比。 fabric_dpu_mem_usage 该指标用于统计Ray集群head和worker的内存资源使用率。 单位:百分比。
  • 约束与限制 使用公共推理服务时的通用约束限制如下: Token配额约束:每种公共推理服务都有免费配额限制,超过配额不可用,也无法再购买。每种公共推理服务的配额为当前用户在当前局点下所有工作空间共享; 时间约束:有效期为服务开通90天内,超过时间则失效。同一个推理服务在不同工作空间下面开通,以首次开通为准。 不同的模型有不同的上下文长度约束,请见表公共推理服务。 不保证SLA,如果想要更高的性能,建议创建自己的推理服务进行推理;
  • 查看公共推理服务 推理端点试用期内,可以直接使用公共推理服务进行推理。目前的公共推理服务是基于开源大模型部署的,列表如下(实际的推理服务以服务为准): 表1 公共推理服务 名称 描述 免费额度 最大上下文长度 prompt模板长度 最大输出token QWEN_2_72B Qwen2在包括语言理解、生成、多语言能力、编码、数学和推理在内的多个基准测试中,超越了大多数以前的开放权重模型,与专有模型表现出竞争力。该模型参数规模为720亿。 公测期间提供100万token免费配额,超过配额不可用,也没办法再购买;有效期为服务开通90天内,超过时间则失效。 16k 23 16360 父主题: 用公共推理服务进行推理
  • 大模型推理场景介绍 常见的大模型包括大语言模型、多模态大模型、文生图大模型等,其中大语言模型支持文本生成,可以根据用户输入的提示词(prompt)进行推理,可广泛应用于以下领域: 问答系统:大语言模型可以处理自然语言,理解用户的意图,回答用户提出的问题。 内容生产:大语言模型可以基于给定的文本或主题生成连贯的文章、故事、对话等。 文本摘要:大语言模型可以对长文本进行摘要,提取关键信息,方便用户快速了解文本内容。 机器翻译 :大语言模型可以处理多种语言之间的翻译任务,实现跨语言交流。 当前Fabric提供以下两种方式进行推理: 用公共推理服务进行推理:Fabric提供基于开源大语言模型(Qwen2、GLM4等)的公共推理服务,用户可以在推理端点查看公共端点,选择自己想用的端点进行开通,然后就可以在试验场使用公共推理服务。该方式无需部署,开通后即可使用常见的开源大模型进行推理。 创建我的推理服务进行推理:Fabric支持用户创建自己专属的推理服务进行部署,用户可以上传自己的大语言模型,也可以使用公共的大语言模型进行部署。在Fabric模型页面创建的模型是仅自己可见,其他用户不可见。用户可以查看和删除模型,也可以对模型版本进行管理,包括新增、查看和删除模型版本。 父主题: 大模型推理场景
  • 同步上传示例 本章节案例中的所有命令均以Linux操作系统为例,提供同步上传操作指导。 假设本地文件夹的格式如下: └── src1 ├── src2 ├── test1.txt └── test2.txt ├── src3 └── test3.txt 假设bucket-test桶内包含如下对象: obs://bucket-test/src1/obs://bucket-test/src1/src2/obs://bucket-test/src1/src2/test1.txtobs://bucket-test/src1/src3/ 基于以上本地文件夹和桶内对象的格式,不同场景下同步上传的示例如下: 同步本地src1文件夹下的test3.txt文件至bucket-test桶的根目录,同步命令如下: ./obsutil sync /src1/test3.txt obs://bucket-test 由于bucket-test桶中之前不存在test3.txt文件,因此test3.txt将直接上传至桶中,最终桶内对象为: obs://bucket-test/test3.txtobs://bucket-test/src1/obs://bucket-test/src1/src2/obs://bucket-test/src1/src2/test1.txtobs://bucket-test/src1/src3/ 同步本地src1文件夹下的所有文件和文件夹至bucket-test桶的src1文件夹中,同步命令如下: ./obsutil sync /src1 obs://bucket-test/src1 最终桶内对象为: obs://bucket-test/src1/obs://bucket-test/src1/test3.txtobs://bucket-test/src1/src2/obs://bucket-test/src1/src2/test1.txtobs://bucket-test/src1/src2/test2.txtobs://bucket-test/src1/src3/ 父主题: 常见示例
  • 常见问题 如何确定定时任务是否正在执行? 执行命令:tail /var/log/cron,查看最近的定时任务执行记录。 执行命令:ps -ef | grep obsutil,查看obsutil进程是否正在执行。 如何强制终止正执行的定时任务? 执行命令:ps -ef | grep obsutil,查看obsutil的进程信息。 执行命令:kill -9 PID,强制终止该进程(PID为查询到的进程号)。
  • 查看结果清单 结果清单文件包含三种类型,成功结果清单、失败结果清单和警告结果清单,命名规则为:操作_{succeed | failed | warning}_report_时间_TaskId.txt。例如,上传文件夹后成功的结果清单文件名为:cp_succeed_report_20190417021908_fbbc83e3-98ac-4d19-b23a-64023b1e0c34.txt,任务号(TaskId)就是 fbbc83e3-98ac-4d19-b23a-64023b1e0c34。 如果成功/失败/警告的个数为零,则不会产生对应的结果清单文件。 结果清单的任务号是每次运行生成的唯一标识号。 单个结果清单文件最大为30MB且最大可保留的文件个数为1024。 当涉及多文件/文件夹任务时,如需确认失败任务的具体错误信息,可参考结果清单文件夹下的失败结果清单文件及日志路径下的日志文件; 为了避免结果清单文件过多影响批量操作的效率,建议定期对.obsutil_output文件夹下的结果清单文件归档备份至其他文件夹下;
  • 列举分段上传任务示例 本章节案例中的所有命令均以Linux操作系统为例,提供列举上传任务操作指导。 假设bucket-test桶内包含如下分段上传任务: obs://bucket-test/task1.txt uploadid1obs://bucket-test/task1.txt uploadid2obs://bucket-test/task2.txt uploadid3obs://bucket-test/task3.txt uploadid4obs://bucket-test/src1/obs://bucket-test/src1/task4.txt uploadid5obs://bucket-test/src2/obs://bucket-test/src2/task5.txt uploadid6 只列举3个bucket-test桶内的分段上传任务示例,列举命令如下: ./obsutil ls obs://bucket-test -m -limit=3 返回结果按照对象名字典序排列后,结果如下: obs://bucket-test/task1.txt uploadid1obs://bucket-test/task1.txt uploadid2obs://bucket-test/task2.txt uploadid3 列举uploadid1之后的所有分段上传任务,列举命令如下: ./obsutil ls obs://bucket-test -m -limit=3 -marker=task1.txt -uploadIdMarker=uploadid1 返回结果按照对象名和UploadId字典序排列后,结果如下: obs://bucket-test/task1.txt uploadid2obs://bucket-test/task2.txt uploadid3obs://bucket-test/task3.txt uploadid4 父主题: 常见示例
  • 命令结构 Windows操作系统 生成单个对象的下载链接 obsutil sign obs://bucket/key [-e=300] [-config=xxx] [-endpoint=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 按对象名前缀批量生成对象的下载链接 obsutil sign obs://bucket[/key] -r [-e=300] [-timeRange=time1-time2] [-include=*.xxx] [-exclude=*.xxx] [-o=xxx] [-config=xxx] [-endpoint=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 生成单个对象的下载链接 ./obsutil sign obs://bucket/key [-e=300] [-config=xxx] [-endpoint=xxx] [-i=xxx] [-k=xxx] [-t=xxx] 按对象名前缀批量生成对象的下载链接 ./obsutil sign obs://bucket[/key] -r [-e=300] [-timeRange=time1-time2] [-include=*.xxx] [-exclude=*.xxx] [-o=xxx] [-config=xxx] [-endpoint=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
  • 参数说明 参数 约束 描述 bucket 必选 桶名。 key 可选 生成单个对象下载链接的对象名,或批量生成对象下载链接的对象名前缀。 e 附加参数,可选 生成的对象下载链接的过期时间(单位:秒),最小值为60秒,默认为300秒。 r 附加参数,批量生成时必选 按指定的对象名前缀批量生成对象的下载链接。 exclude 附加参数,批量生成时可选 不包含对象的匹配模式,如:*.txt。 说明: 支持“*”匹配多个任意字符和“?”匹配单个任意字符,例如abc*.txt代表匹配以abc开头以.txt结尾的任意文件。 您可以使用“\*”代表匹配“*”字符本身,使用“\?”代表匹配“?”字符本身。 如果待下载的对象名匹配该参数,则跳过该对象的复制。 须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于对象全路径(含从根路径开始的对象前缀和对象名,例如,桶内对象路径为obs://bucket/src1/src2/test.txt,则对象的全路径为src1/src2/test.txt)。 该匹配模式仅适用于对象名非“/”结尾的对象。 支持指定多个exclude参数,如-exclude=*.xxx -exclude=*.xxx include 附加参数,批量生成时可选 包含对象的匹配模式,如:*.jpg。 说明: 支持“*”匹配多个任意字符和“?”匹配单个任意字符。 您可以使用“\*”代表匹配“*”字符本身,使用“\?”代表匹配“?”字符本身。 首先执行exclude的匹配规则,如果待下载的对象名不匹配exclude,则判断待下载的对象名是否匹配该参数,如果匹配则下载该对象,否则跳过该文件的下载。 须知: 建议使用引号传递该匹配模式(macOS/Linux操作系统使用单引号,Windows操作系统使用双引号)防止特殊符号被操作系统转义,导致不可预期的结果。 该匹配模式作用于对象全路径(含从根路径开始的对象前缀和对象名,例如,桶内对象路径为obs://bucket/src1/src2/test.txt,则对象的全路径为src1/src2/test.txt)。 该匹配模式仅适用于对象名非“/”结尾的对象。 支持指定多个include参数,如-include=*.xxx -include=*.xxx timeRange 附加参数,可选 生成对象下载链接时的时间段匹配模式,仅生成最后修改时间在该时间段内对象的链接。 该匹配模式优先级低于对象名匹配模式:exclude和include,优先执行对象名匹配模式后才会执行该匹配模式。 说明: 该匹配模式表示的时间是UTC时间。 该匹配模式仅适用于对象名非“/”结尾的对象。 使用“time1-time2”,代表匹配的时间段,其中time1必须小于等于time2,格式为yyyyMMddHHmmss。 时间格式支持自动补全,例如yyyyMMdd等价于yyyyMMdd000000,yyyyMM等价于yyyyMM01000000。 使用“*-time2”,代表匹配最后修改时间在time2之前的所有文件,使用“time1-*”,代表匹配最后修改时间time1之后的所有文件。 o 附加参数,批量生成时可选 生成结果清单文件的文件夹,命令执行完成后,会在该文件夹下生成结果清单文件(可能包含成功结果和失败结果两个文件),默认为运行obsutil命令的用户目录的子文件夹.obsutil_output。 说明: 结果清单文件命名规则:sign_{succeed | failed}_report_时间_TaskId.txt。 单个结果清单文件默认情况下最大为30MB且最大可保留的文件个数为1024,可在配置文件中通过recordMaxLogSize和recordBackups分别配置。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 endpoint 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。
  • 运行示例 以Windows操作系统为例,运行obsutil sign obs://bucket-test/test.txt,生成单个对象下载链接。 obsutil sign obs://bucket-test/test.txtDownload url of [obs://bucket-test/test.txt] is: http://your-endpoint/bucket-test/test.txt?AccessKeyId=xxxx&Expires=1552548758&Signature=xxxx 以Windows操作系统为例,运行obsutil sign obs://bucket-test/test/ -r,批量生成对象下载链接。 obsutil sign obs://bucket-test/test/ -rGenerate download urls for objects . Generate the download url(s) for the objects in the bucket [bucket-test] finished Task id: af4dc692-6a88-4541-8156-ff1a889d2288 由于可能存在对象数量庞大的场景,OBS Util会将对象的下载链接归档到结果清单文件目录下具体的文件,该文件名与Task Id相关联,比如上例的Task Id为af4dc692-6a88-4541-8156-ff1a889d2288,那么存在sign_succeed_report_{时间戳}_af4dc692-6a88-4541-8156-ff1a889d2288.txt文件。 结果清单文件目录默认为用户目录的子文件夹.obsutil_output,也可以通过-o参数指定生成目录。
  • 配置日志文件 obsutil的日志文件分为工具日志和SDK日志,可通过在.obsutilconfig配置文件中加入如下参数开启这两种日志: 工具日志(记录工具在运行期间产生的日志信息):配置utilLogPath、utilLogBackups、utilLogLevel、utilMaxLogSize。 SDK日志(记录工具调用OBS服务端接口期间产生的日志信息):配置sdkLogPath、sdkLogBackups、sdkLogLevel、sdkMaxLogSize; 详细的配置参数说明请参考配置参数说明。 utilLogPath和sdkLogPath是指日志文件的全路径,而非保存日志的文件夹。 如果未指定utilLogPath和sdkLogPath,则表示不开启工具日志和SDK日志,工具运行期间不会产生日志文件。 日志滚动后的文件名规则为:filename.log.number
  • 是否支持同步删除文件 不支持。 当前obsutil工具支持同步上传本地目录到OBS桶中,同步成功后,如果用户删除了本地目录下的部分文件,再次进行增量同步上传时,工具将只会检查本地存在的文件是否需要增量进行上传,无法感知已删除文件是否需要在目标桶内进行删除。 需要注意的是,如果在上传过程中,本地目录中的文件有新增则无法保证工具最终上传的对象数目和本地目录内文件数目的一致性;如果希望同步这部分新增文件可以在上传完成后重新执行增量上传命令。 父主题: 常见问题
  • 返回码 通过进程等方式调用obsutil时,无法实时查看回显信息。obsutil支持在进程运行结束后,根据不同的运行结果生成不同的返回码,具体的返回码及其含义如表1所示。您可以通过以下方式获取最近一次运行结果的返回码,然后根据返回码分析并处理问题。 macOS/Linux操作系统,执行以下命令获取最近一次运行结果的返回码: echo $? Windows操作系统,执行以下命令获取最近一次运行结果的返回码: echo %errorlevel% 表1 返回码 返回码 含义 常见场景举例 0 执行成功 上传对象成功。 1 文件不存在 执行cp上传文件,输入的文件路径不存在。 2 任务不存在 执行cp恢复失败的上传任务,指定的Task Id不存在。 3 参数错误 执行cp上传文件,输入不支持的附加选项; 执行cp下载文件,输入的cloud_url不合法。 说明: cloud_url为桶路径或对象路径,当下载桶中的所有对象时,cloud_url的格式必须为obs://bucketname;当下载指定对象时,cloud_url的格式必须为obs://bucketname/key。 4 检查桶状态错误 执行cp上传文件夹,待上传的桶不存在。 5 命令初始化错误 加载配置文件出错; 执行cp上传文件夹,并指定了-o参数,但无法成功创建保存结果清单文件的文件夹。 6 执行错误 执行ls查询桶列表,因为网络超时而失败。 7 操作不支持 执行chattri修改对象属性,但桶不是3.0版本的桶。 8 批量任务执行不完全成功 执行cp批量下载对象,部分对象下载失败。 9 中断错误 执行命令过程中用户手动Ctrl+C中断任务执行。 -1 其他未知错误 - 父主题: 问题定位
  • 使用obsutil实现目录分享 目录分享允许桶的拥有者将桶的目录或者整个桶以授权码+提取码的形式分享给其他用户。获取到授权码和提取码的用户,可以在授权码的有效期内通过OBS提供的工具(OBS Browser、obsutil),或者直接在浏览器上输入授权码进行对象的列举和下载。 obsutil提供了三个命令用于实现目录分享的功能,具体步骤如下: 使用obsutil create-share命令创建目录分享的授权码。例如分享桶名为bucket的test目录并设置提取码为123456,有效期为10天的命令为: obsutil create-share obs://bucket/test/ -ac=123456 -vp=10d 建议创建授权码时,待分享的目录总是以“/”结尾,如果没有传入待分享的目录(例如上述命令中传入obs://bucket),则表示分享整个桶。 如果未使用ac选项设置提取码,obsutil工具会以交互模式提示输入提取码,且提取码必须为6位。 更多该命令的使用细节,请参考创建目录分享的授权码。 使用obsutil share-ls命令根据授权码和提取码列举桶内对象。例如使用授权码列举桶内test目录下的前100个对象的命令为: obsutil share-ls file://d:/authorizationCode.txt -ac=123456 -prefix=test/ -limit=100 如果prefix选项未设置,则默认列举授权码中授权路径下的所有对象;否则,prefix选项必须是授权码中授权路径的子集。 更多该命令的使用细节,请参考授权码列举对象。 使用obsutil share-cp命令根据授权码和提取码下载桶内对象。例如使用授权码将桶内test目录的sub子目录下所有对象下载到当前本地目录的命令为: obsutil share-cp file://d:/authorizationCode.txt ./ -ac=123456 -key=test/sub/ -r -f 更多该命令的使用细节,请参考授权码下载对象。 您还可以使用OBS Console或OBS Browser创建授权码后,再使用obsutil列举和下载对象。 您也可以使用obsutil创建授权码后,直接在浏览器地址栏上输入,或通过OBS Browser的授权码登录功能进行对象的列举和下载。 父主题: 最佳实践
  • 批量任务执行失败如何确认错误信息 用户执行批量上传/下载/复制等批量操作时,最终输出结果中会显示批量任务执行成功的个数及失败的任务个数。为确认失败任务的具体错误原因,可以通过查看对应任务的失败结果清单文件及obsutil的日志文件进行确认。 批量任务执行完成后会输出taskID信息,根据taskID信息即可在.obsutil_output目录下查询到对应失败任务清单文件,失败结果清单文件命名规则如:cp_{failed}_report_时间_TaskId.txt,该文件中有各失败任务的详细错误信息。 同时还可以参考util工具的日志信息查看工具执行过程中记录的错误信息,为定位问题建议指定日志级别为DEBUG级别,具体设置方式及日志路径设置方式可参考日志文件。 父主题: 常见问题
  • 问题定位简介 obsutil提供多种方式帮助用户自助进行日常问题分析和定位,具体方式及其说明如表1所示。您通常需要结合多种方式以准确定位问题。 表1 问题定位方式 方式 说明 日志文件 obsutil的日志文件分为工具日志和SDK日志,工具日志可以记录obsutil在运行过程中的正常/异常信息,SDK日志可以记录在请求OBS服务过程中的正常/异常信息。 结果清单 批量任务执行完成后,会生成结果清单文件,结果清单包含了成功、失败和警告三种类型的文件。 状态码 obsutil支持在进程运行结束后,根据不同的运行结果返回不同返回码,您可以根据返回码分析并处理问题。 父主题: 问题定位
  • 运行示例 以Windows操作系统为例,运行obsutil bucketpolicy obs://bucket -method=put -localfile=d:\temp\policy.json,指定基于policy.json文件为桶bucket设置桶策略。 obsutil bucketpolicy obs://bucket -method=put -localfile=d:\temp\policy.jsonStart at 2024-09-30 07:59:28.8675681 +0000 UTCPut bucketPolicy succeed, requestId is [04050000016836C5DA6FB21F14A2A0C0]
  • 参数说明 参数 约束 描述 bucket 必选 桶名。 method 必选 指定方法,设置桶策略时该值为put。 localfile 必选 待导入的本地策略文件路径。 config 附加参数,可选 运行当前命令时的自定义配置文件,可支持的配置参数请参考配置参数说明。 e 附加参数,可选 指定终端节点。 i 附加参数,可选 指定用户的AK。 k 附加参数,可选 指定用户的SK。 t 附加参数,可选 指定用户的securitytoken。
  • 利用obsutil上传软链接 obsutil支持上传文件/文件夹时上传软链接指向的真实路径。您可通过在运行上传/增量同步上传时指定命令级参数:link,来实现上传软链接的功能。 obsutil支持识别文件夹软链接,如果软链接指向的真实路径是一个文件夹则会递归扫描该文件夹中的内容。 文件夹软链接不能形成环,否则上传会以panic的形式退出;如果不希望产生panic,请在配置文件中配置panicForSymbolicLinkCircle为false。 软链接和Windows操作系统上的快捷方式是两种独立的类型,obsutil不支持识别Windows操作系统的快捷方式。 父主题: 最佳实践
  • 命令结构 Windows操作系统 obsutil bucketpolicy obs://bucket -method=put -localfile=xxx [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx] macOS/Linux操作系统 ./obsutil bucketpolicy obs://bucket -method=put -localfile=xxx [-config=xxx] [-e=xxx] [-i=xxx] [-k=xxx] [-t=xxx]
  • 运行示例 以Windows操作系统为例,运行obsutil sync obs://bucket-test/temp d:\ temp,同步下载对象。 obsutil sync obs://bucket-test/temp d:\tempStart at 2024-09-30 08:53:22.327072 +0000 UTCParallel: 5 Jobs: 5Threshold: 50.00MB PartSize: autoVerifyLength: false VerifyMd5: falseCheckpointDir: xxxxTask id: 3066a4b0-4d21-4929-bb84-4829c32cbd0fOutputDir: xxxxTempFileDir: xxxx[======================================================] 100.00% tps:17.86 155.59 KB/s 7.20MB/7.20MB 0sSucceed count: 6 Failed count: 0Succeed bytes: xxxxMetrics [max cost:153 ms, min cost:129 ms, average cost:92.00 ms, average tps:17.86, transferred size: 7.20MB]Task id: 3066a4b0-4d21-4929-bb84-4829c32cbd0f 更多运行示例,请参见同步下载示例。
  • 功能说明 将OBS源桶指定路径下的所有对象同步到本地目标路径,使两边内容保持一致。这里的增量同步有两层含义:1)增量,依次比较源对象和目标文件,只下载存在变化的源对象;2)同步,命令执行完成后,保证OBS指定源桶指定路径是本地目标路径的子集,即OBS源桶指定路径下的所有对象均能在本地目标路径下找到对应文件。 同步下载时,请确保OBS桶中的源对象不发生变化,否则可能产生同步失败或者数据不一致的问题。 如果待下载对象的存储类型为cold,必须首先恢复待下载对象,否则无法下载成功。 同步下载每个对象时会对比本地对应路径的文件,仅在文件不存在,或者文件大小与对象大小不一致,或者文件的最后修改时间早于对象的最后修改时间时进行下载。 同步下载不支持单文件同步下载,仅支持同步下载文件夹。
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全