华为云用户手册

SFS Turbo容量及性能扩容 当SFS Turbo存储空间不足时，您可以对SFS Turbo存储空间进行容量扩容。 SFS Turbo HPC型是按每TB单位容量来提供一定的带宽吞吐，因此当SFS Turbo HPC性能不足时，需要通过容量扩容来提高性能吞吐。 登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中，单击要扩容的文件系统所在行的“容量调整”或“扩容”，弹出对话框。 图1 SFS Turbo HPC型容量调整 根据业务需要，在“新容量”文本框中重新设置文件文系统的容量。 在弹出对话框中确认容量调整信息后，单击“是”。 在文件系统列表中查看文件系统调整后的容量信息。

配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中，单击创建的HPC型文件系统名称，进入文件系统详情页面。 在“基本信息”页签，设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。 父主题： 基本配置

配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态，请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响，默认是16Gbit/s，如果大模型训练生成的Checkpoint文件过大、导出速度过慢，可提交工单申请调大OBS服务的写入带宽。 父主题： 基本配置

配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在 对象存储OBS 存储桶中的对象，您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中，单击创建资源中创建的HPC型文件系统，进入文件系统详情页面。 进入页签“绑定后端存储”，单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS目标”中，填写如下表所示参数。 表1 绑定OBS目标配置参数 参数 含义 限制 配置后可编辑 路径名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录，该目录将绑定对应的OBS桶 子目录名称不能重复 子目录名称必须是文件系统根目录下不存在的目录名 子目录名称不能是“.”或“..” 不支持 桶名 OBS存储桶桶名 无法绑定不存在的存储桶 目前仅支持OBS存储桶，不支持并行文件系统 不支持 OBS Endpoint OBS区域 域名 OBS存储桶必须和HPC型文件系统在同一个Region 不支持 勾选“将OBS桶读写权限授权给SFS Turbo服务进行OBS目标绑定”。 单击“确定”，完成绑定。 父主题： 基本配置

配置ModelArts网络关联SFS Turbo ModelArts网络关联SFS Turbo后，可直接在ModelArts的Notebook开发及训练环境中挂载SFS Turbo共享文件系统，并访问其中的数据。 登录ModelArts管理控制台，创建网络并打通创建资源中创建的创建虚拟私有云和子网，详细步骤参见ModelArts网络。 单击1中创建生成的资源池“网络”所在行的“更多”，选择“关联sfsturbo”。 在“关联sfsturbo”弹窗中，选择创建资源中创建的SFS Turbo HPC型文件系统。 图2 关联SFS Turbo 选择完成后，单击“确定”创建关联。 使用过程中请不要解除关联，解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。 一个SFS Turbo文件系统最多可关联1个网络。

操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。 2 创建资源 创建VPC：创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统：创建1个SFS Turbo文件系统，文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶：创建1个OBS桶，存储类别为“标准存储”，桶策略为“私有”。 创建ModelArts资源池：创建1个专属资源池。 3 基本配置 配置ModelArts和SFS Turbo间网络直通。 创建委托授权ModelArts云服务使用SFS Turbo。 配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo的存储加速方案的过程中，您可以进行采取以下运维措施，保证系统正常高效运行： SFS Turbo容量监控及告警。 SFS Turbo性能监控。 调整SFS Turbo数据淘汰策略。 SFS Turbo容量及性能扩容。 OBS性能监控。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践

资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts： AI开发平台 ，采用多机多卡分布式训练。 VPC：虚拟私有云和子网。 算法及数据：准备AI训练需要的算法及数据集，如Swin-Transformer算法，及ImageNet21K数据集。 说明： 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 成本规划 OBS费用：详见OBS计费说明。 SFS Turbo费用：详见SFS计费说明。 ModelArts费用：详见ModelArts计费说明。 须知： 本文提供的成本预估费用仅供参考，资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践

方案架构 针对AI训练场景中面临的问题，华为云提供了基于 对象存储服务 OBS+高性能文件服务SFS Turbo的AI 云存储 解决方案，如图所示，华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动，您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问，并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案

应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储和网络带宽等基础设施，即“大算力、大存力、大运力”的AI基础大设施底座，让算力发展不要偏斜。 从过去的经典AI，到今天人人谈论的大模型，自动驾驶，我们看到AI模型的参数及AI算力规模呈现出指数级的爆发增长，对存储基础设施也带来全新的挑战。 高吞吐的数据访问挑战：随着企业使用 GPU/NPU 越来越多，底层存储的 IO 已经跟不上计算能力，企业希望存储系统能提供高吞吐的数据访问能力，充分发挥 GPU/NPU 的计算性能，包括训练数据的读取，以及为了容错做的检查点（以下简称Checkpoint）保存和加载。训练数据的读取要尽量读得快，减少计算对 I/O 的等待，而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间。这种共享访问的数据有诸多好处，它可以保证不同服务器上访问数据的一致性，减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行的开源深度学习框架PyTorch为例，PyTorch默认会通过文件接口访问数据，AI算法开发人员也习惯使用文件接口，因此文件接口是最友好的共享存储访问方式。

方案优势 华为云AI云存储解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势 详细描述 1 存算分离，资源利用率高 GPU/NPU算力和SFS Turbo存储解耦，各自按需扩容，资源利用率提升。 2 SFS Turbo高性能，加速训练过程 训练数据集高速读取，避免GPU/NPU因存储I/O等待产生空闲，提升GPU/NPU利用率。 大模型TB级Checkpoint文件秒级保存和加载，减少训练任务中断时间。 3 数据导入导出异步化，不占用训练任务时长，无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo，训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS，均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出，无需部署外部数据拷贝机器及工具。 4 冷热数据自动流动，降低存储成本 SFS Turbo支持自定义数据淘汰策略，冷数据自动分级到OBS，释放高性能存储空间用于接收新的热数据。 访问冷数据时SFS Turbo从OBS自动加载数据提升访问性能。 5 多AI开发平台、生态兼容 pytorch、mindspore等主流AI应用框架，kubernetes容器引擎、算法开发场景通过文件语义访问共享数据，无需适配开发。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。

步骤六：在DNS控制台配置域名解析 如果您已成功添加加速域名，系统会自动为您的加速域名分配对应的CNAME域名。加速域名在WSA服务中获得的CNAME域名不能直接访问，必须在加速域名的域名服务商处配置CNAME记录，将加速域名指向CNAME域名，访问加速域名的请求才能转发到WSA节点上，达到加速效果。 不同DNS服务商的CNAME配置方式不同，此处以华为云云解析服务为例。其他DNS服务商的CNAME配置方法可参考配置CNAME域名解析。 登录DNS控制台。 在左侧菜单栏中，选择“公网域名”，进入公网域名列表页面。 单击“域名”列的域名名称。本实践中对应的域名为“testwsa.com”。 单击“添加记录集”，进入“添加记录集”页面。 根据界面提示填写参数配置，参数信息如表2所示，下表中未提到的参数可保持默认值： 表2 参数说明 参数 示例 说明 记录类型 CNAME-将域名指向另外一个域名 记录集的类型，此处为CNAME类型。 主机记录 * 解析域名的前缀。 例如创建的域名为“example.com”，其“主机记录”设置包括： www：用于网站解析，表示解析的域名为“www.example.com”。 空：用于网站解析，表示解析的域名为“example.com”。 主机记录置为空，还可用于为空头域名“@”添加解析。 abc：用于子域名解析，表示解析的域名为“example.com”的子域名“abc.example.com”。 mail：用于邮箱解析，表示解析的域名为“mail.example.com”。 *：用于泛解析，表示解析的域名为“*.example.com”，匹配“example.com”的所有子域名。 值 testwsa.com.xxxxxxxx.c.cdnhwc1.com 需指向的域名。开启WSA加速后，该值为步骤五中获取的WSA分配的CNAME域名。 单击“确定”，完成添加。 验证CNAME配置是否生效。 打开Windows操作系统中的cmd程序，输入如下指令： nslookup -qt=cname 桶绑定的自定义域名 本实践中桶绑定的自定义域名为“testwsa.com”。如果回显CDN分配的CNAME域名，则表示CNAME配置已经生效。

步骤七：构造OBS请求 公开桶直接获取对象URL即可访问桶内资源，详情参见匿名用户通过URL访问对象。私有桶请使用自定义域名计算签名或初始化SDK客户端： 如果您直接调用OBS API访问桶中资源，那么在计算API签名时，请将CanonicalizedResource中的桶名替换为自定义域名，详情参见OBS签名机制。 如果您使用OBS SDK访问桶中的资源，那么在初始化SDK客户端时，请将endpoint设置为自定义域名的endpoint，例如“http://testwsa.com”，并为SDK客户端配置自定义域名相关参数，如表3所示。 表3 SDK客户端自定义域名相关参数 语言 Java Python C Go BrowserJS Android iOS PHP Node.js 需要设置的参数 cname is_cname useCname host_name cname is_cname cname OBSDomainModeCustom is_cname is_cname

步骤一：在OBS控制台创建OBS桶 登录控制台，进入创建桶页面。 设置“基础配置”。 参数 示例 说明 区域 华北-北京四 桶所属区域。桶创建成功后，不支持变更区域，请谨慎选择。 设置“桶配置”。其他参数保持默认，可在桶创建后修改。 参数 示例 说明 桶名称 wsa-example-bucket 桶的名称。桶创建成功后，不支持修改名称。 桶名称命名规则如下： 全局唯一，不能与已有的任何桶（包含其他账号创建的桶）名称重复。删除桶后，需等待30分钟才能创建同名桶或并行文件系统。 长度范围为3到63个字符，支持小写字母、数字、中划线（-）、英文句号（.）。 禁止两个英文句号（.）相邻，禁止英文句号（.）和中划线（-）相邻，禁止以英文句号（.）和中划线（-）开头或结尾。 禁止使用IP地址。 数据冗余存储策略 多AZ存储 多AZ存储：数据存储至同区域内的多个可用区（AZ），可靠性更高，同时存储成本相对更高。 单AZ存储：数据仅存储在单个可用区（AZ），成本更低。 桶创建成功后，不支持更改数据冗余存储策略。 存储类型 标准存储 桶的存储类别。不同的存储类别可以满足客户业务对存储性能、成本的不同诉求。 标准存储：适用于有大量热点文件或小文件，且需要频繁访问（平均一个月多次）并快速获取数据的业务场景。 低频访问存储：适用于不频繁访问（平均一年少于12次），但需要快速获取数据的业务场景。 说明： 归档与深度归档存储不支持配置WSA全站加速。 更多详情请参见存储类别。 桶策略 私有 桶的读写权限控制。 私有：除桶ACL授权外的其他用户无桶的访问权限。 公共读：任何用户都可以对桶内对象进行读操作。 公共读写：任何用户都可以对桶内对象进行读/写/删除操作。 复制桶策略：复制源桶的桶策略。当且仅当您选择了源桶时，该选项处于可选状态。 企业项目 default 将桶加入到企业项目中统一管理。如无特殊的企业项目划分和管理需求，此处可直接选择默认企业项目“default”。 如果您想要了解更多关于如何通过企业项目管理OBS桶，具体请参见创建桶中的“企业项目”参数说明。 单击页面右下角的“立即创建”，并确认提示信息。 创建完成后，将会出现创建成功弹窗，确认后在桶列表页即可看到已创建的桶。

步骤四：在CDN控制台配置全站加速 登录CDN控制台，单击左侧“域名管理”，进入域名管理页面。 在域名管理页面单击“添加域名”，进入添加域名页面。 在添加域名页面，配置域名参数，其他参数保持默认： 参数 示例 说明 服务范围 中国大陆 全球：全球各地用户的访问都会调度到用户附近最优的CDN节点，加速域名需要到工信部备案，详见备案流程。 中国大陆：所有用户的访问都会调度到中国大陆的节点，加速域名需要到工信部备案，详见备案流程。 中国大陆境外：所有用户的访问都会调度到中国大陆境外的节点，此时不需要到工信部备案。 加速域名 testwsa.com 需要加速的域名，请填写可以正常使用的域名。 域名长度不能超过200个字符，支持大小写字母、数字、“-”、“.”“*”，“*”必须是首字符，首字符不能是“-”或“.”。 域名单节点长度不超过63个字符，即：***.***.com中，***的字符数最多63个。 企业项目 default 将加速域名加入到企业项目中统一管理。如无特殊的企业项目划分和管理需求，此处可直接选择默认企业项目“default”。 业务类型 全站加速 适用于各行业动静态内容混合，含较多动态资源请求（如asp、jsp、php等格式的文件）的网站。 说明： 如果您未开通全站加速服务，界面将提示您开通WSA服务： 单击“前往开通”。 选择计费方式，勾选服务声明，单击“立即开通”即可开通WSA服务。 回源方式 HTTP 配置CDN节点回源时采用的协议，可选： HTTP：CDN采用HTTP协议回源。 HTTPS：CDN采用HTTPS协议回源（请确保源站支持HTTPS访问），如需使用请提交工单联系技术人员开通。 协议跟随：回源协议跟客户端访问协议一致，例：客户端以HTTPS协议访问CDN，CDN也将采用HTTPS协议回源，如需使用请提交工单联系技术人员开通。 在源站配置模块单击“添加源站”，为域名添加源站： 参数 示例 说明 源站类型 源站域名 源站IP：使用IP作为源站地址时，CDN节点回源时直接访问该IP地址。支持配置IPv4，暂不支持IPv6。 源站域名：支持配置域名作为源站，CDN节点回源时直接访问该域名。 说明： 域名首字符为字母或数字，支持大小写字母、数字、“-”、“.”，长度不能超过255个字符。 域名单节点长度不超过63个字符，即：***.***.com中，***的字符数最多63个。 源站地址 wsa-example-bucket.obs.cn-north-4.myhuaweicloud.com CDN节点回源时访问的地址，此处填写桶域名。 回源HOST testwsa.com 回源HOST是CDN回源过程中，在源站访问的站点域名，即HTTP请求头中的HOST信息。配置回源HOST后，CDN在回源过程中会根据HOST信息去对应站点获取资源，此处填写加速域名。 单击“确定”，完成源站添加。 源站添加完成后，单击页面左下方“确定”按钮，完成域名添加。

步骤三：在OBS控制台为桶绑定自定义域名 在左侧导航栏选择“域名管理”，进入“域名管理”界面。 图2 域名管理界面 单击“配置自定义域名”，在用户域名中输入需要配置的自定义域名（此处以“testwsa.com”为例），然后单击“确定”。域名后缀目前支持的范围为2~6个英文大小写字母。如：.com、.cn。 配置自定义域名 在配置自定义域名后，配置WSA之前，OBS会暂时将桶域名作为自定义域名的CNAME，配置WSA后CNAME会变更为WSA生成的CNAME，最终在DNS上配置的CNAME为WSA生成的CNAME。

方案优势 加速范围全面： 动静态内容一体化加速：传统的CDN技术大多只能加速静态资源，如图片、样式表、脚本等。而WSA不仅可以对静态资源进行高效缓存和分发，还能针对动态内容，如动态网页、API接口、实时数据等进行加速。 多类型应用加速支持：除了常见的网站页面加速，WSA还能为各种应用类型提供加速服务，包括但不限于Web应用、移动应用、API接口、WebSocket应用等。 智能优化能力强： 智能路由选择：WSA能够根据用户的地理位置、网络运营商、网络质量、节点负载等多种因素，实时动态地计算出到源站的最优访问路径。相比传统的基于DNS的就近访问原则，WSA的智能路由可以更精准地避开网络拥堵、故障等问题，提高数据传输效率。 协议优化：通过自研的协议优化算法，WSA可以降低网络传输中的延迟和卡顿率，尤其在端侧弱网接入场景下，能够有效改善丢包、时延等问题，提升用户在各种网络环境下的访问体验。

资源和成本规划 表1 资源和成本规划 资源 资源说明 数量 费用 全站加速WSA 提供全站加速功能，加速数据上传下载。 NA 基础服务计费：流量或带宽费用，该最佳实践默认按流量阶梯计费，您也可以在WSA服务中购买预付费流量包，更多计费详情请参见价格详情。 增值服务计费：全站加速请求数费用，详情请参见价格详情。 OBS桶 OBS桶用于存放用户上传和下载的数据，桶存储类别为“标准存储”。 1 存储费用：按照OBS存储数据所占用的存储空间容量大小收费。 流量费用：WSA回源OBS时会产生公网流出费用，按需计费，版本为3.0以上的桶且以“OBS桶域名”形式接入WSA可购买OBS回源流量包抵扣。 网站域名 绑定在对象桶上的自定义域名，用户通过访问该域名来访问桶。 1 域名注册和管理相关费用，不同厂商的收费标准不同。

应用场景 远距离数据传输： 如果客户端所在区域与数据存储区域相距较远，那么当客户端访问数据时，可能会因为传输距离远引发访问延时长、不稳定等问题，例如全球性的论坛网站、在线协同办公平台等，远距离传输造成的长时延会影响客户上传下载数据的体验。基于全站加速（Whole Site Acceleration，WSA）的传输加速方案可以让全球各地的客户极大地提升上传和下载速度，让不同地域的用户都能有很好的访问体验。 动态文件下载： 与其他加速技术相比，WSA不仅加速静态资源，还适用于加速各行业动静态内容混合、含较多动态资源请求（如asp、jsp、php等格式的文件）的源站应用服务。除了常见的网站页面加速，WSA 还能为各种应用类型提供加速服务，包括但不限于Web应用、移动应用、API接口、WebSocket应用等。

方案架构 开启WSA前，客户端请求经过DNS解析后，通过直连网络上传下载OBS。 开启WSA后，客户端请求经过DNS解析后，DNS服务器会通过CNAME方式将域名请求重定向到WSA服务。WSA通过一组预先定义好的策略（如内容类型、地理区域、网络负载状况等），静态内容从当时能够最快响应用户的边缘节点就近获取，动态内容通过动态加速技术避开网络拥堵路由，智能选择较优路由回源获取，使用户可以以最快的速度获得网站内容。

约束限制 对于使用中国大陆节点服务器提供互联网信息服务的用户，绑定服务器的域名需要在取得备案号后才能进行访问。 您必须是桶拥有者或拥有设置桶的自定义域名的权限，才能设置桶的自定义域名信息。建议使用 IAM 或桶策略进行授权，如果使用IAM则需授予obs:bucket:PutBucketCustomDomainConfiguration权限，如果使用桶策略则需授予PutBucketCustomDomainConfiguration权限。相关授权方式介绍可参见OBS权限控制概述，配置方式详见使用IAM自定义策略、自定义创建桶策略。

步骤一：创建OBS源桶和目标桶 桶是OBS中用于存储对象的容器。本示例中，上传的图片存储在源桶，添加水印后的图片存储在目标桶。如果您已有源桶和目标桶，请跳至步骤二：创建函数。 由于归档存储和深度归档存储类别的桶，需要先手动恢复才能下载和通过URL访问对象，因此本实践暂不支持使用归档存储和深度归档存储类别的桶。 登录控制台，进入创建桶页面。 在创建桶页面，按照下表说明配置相关参数，其他参数保持默认。表中“示例”仅供参考，您也可以根据业务实际情况自行设置。 关于更多参数配置请参见创建桶。 参数 示例 描述 区域 华北-北京四 桶所属区域。请选择靠近您业务的区域，以降低网络时延，提高访问速度。 桶创建成功后，不支持变更区域，请谨慎选择。 须知： 目标桶和源桶必须在同一区域。 桶名称 piccomp 桶的名称。桶创建成功后，不支持修改名称。 桶名称命名规则如下： 全局唯一，不能与已有的任何桶（包含其他账号创建的桶）名称重复。删除桶后，需等待30分钟才能创建同名桶或并行文件系统。 长度范围为3到63个字符，支持小写字母、数字、中划线（-）、英文句号（.）。 禁止两个英文句号（.）相邻，禁止英文句号（.）和中划线（-）相邻，禁止以英文句号（.）和中划线（-）开头或结尾。 禁止使用IP地址。 数据冗余存储策略 多AZ存储 选择数据存储在多个可用区或单个可用区。 多AZ存储：数据存储至同区域内的多个可用区（AZ），可靠性更高，同时存储成本相对更高。 桶创建成功后，不支持更改数据冗余存储策略。 多AZ存储桶不支持为桶设置归档存储类别和深度归档存储类别。 存储类别 标准存储 桶的存储类别。不同的存储类别可以满足客户业务对存储性能、成本的不同诉求。 标准存储：适用于有大量热点文件或小文件，且需要频繁访问（平均一个月多次）并快速获取数据的业务场景。 更多存储类别详情请参见存储类别。 桶策略 私有 桶的读写权限控制。 私有：除桶ACL授权外的其他用户无桶的访问权限。 企业项目 default 将桶加入到企业项目中统一管理。如无特殊的企业项目划分和管理需求，此处可直接选择默认企业项目“default”。 如果您想要了解更多关于如何通过企业项目管理OBS桶，具体请参见创建桶中的“企业项目”参数说明。 单击页面右下角的“立即创建”，并确认提示信息。 创建完成后，将会出现创建成功弹窗，确认后在桶列表页即可看到已创建的桶。 按照以上步骤再创建目标桶piccomp-output。

资源和成本规划 表2 资源规划 资源 资源名称 资源说明 数量 费用 OBS桶 piccomp 上传图片的源桶。 您需要在OBS控制台创建源桶。 1 根据图片占用的存储空间收费，具体请参见存储费用。 piccomp-output 图片处理后存放的目标桶。 您需要在OBS控制台创建目标桶。 1 图片 example.jpg 用于添加水印的原图片。 您需要提前准备好需要添加水印的图片。 1 - 函数 FG_Test 为图片添加水印的函数。 您需要在 函数工作流 （FunctionGraph）控制台创建函数。 1 根据请求次数、执行时间、执行次数等收费，具体请参见函数工作流计费。 EG事件订阅 subscription-obs 事件订阅将事件源、通道和事件目标绑定在一起，事件源（OBS事件）通过通道触发事件目标（函数）执行。 您需要在OBS控制台的“事件通知”页面创建EG事件订阅。 1 根据请求次数收费，具体请参见事件网格计费。

约束与限制 使用的原图片大小不超过25MB。 使用EG事件通知功能，存在一定的延迟，不建议时延敏感类业务场景使用。 单桶默认最多同时配置10条EG事件通知策略。 新创建的EG事件通知策略将在5分钟之内生效。 单桶的多条EG事件通知策略不允许重复，重复的策略会创建失败，即任意对象在发生任意事件时都不能同时匹配两条以上的EG事件通知策略。 针对同一事件，如果配置了一条前后缀均为空的EG事件通知策略，则不允许再配置第二条，因为前后缀均为空表示对所有对象生效。 例如：针对Put事件，已存在一条EG事件通知策略A，定义的前缀是“abcd”，后缀是“.txt”。如果要创建另外一条针对Put事件的EG事件通知策略B，则策略B配置不同前后缀的结果如表1所示。 表1 策略B前后缀配置场景及结果 策略A前后缀配置 策略B前后缀配置 策略B创建结果 原因 前缀：abcd 后缀：.txt 前缀：abcd 后缀：.txt 失败 前后缀相同 前缀：abcd 后缀：空 失败 前缀相同，B的后缀包含A的 前缀：ab 后缀：xt 失败 B的前缀包含A的，B的后缀包含A的 前缀：abef 后缀：.txt 成功 前缀不同，后缀相同 前缀：abcd 后缀：.mp4 成功 前缀相同，后缀不同

常见参数说明 表1 常见参数说明 参数 说明 tmpdir 参数解释： 临时数据缓存目录。 s3fs在进行读写时，默认会使用一部分本地目录空间作为临时数据缓存用来提高性能。 建议选择磁盘目录，而不是共享内存目录。 说明： 可使用df -h 命令来查询目录类型及容量使用情况。 示例： [root@huawei-esc ~]# df -h /tmp Filesystem Size Used Avail Use% Mounted on /dev/vda1 40G 20G 19G 52% / [root@huawei-esc ~]# df -h /run Filesystem Size Used Avail Use% Mounted on tmpfs 32G 3.3G 29G 11% /run /tmp目录类型是/dev/vda1，是磁盘。 /run目录类型是tmpfs，是共享内存。 默认取值： /tmp ensure_diskfree 参数解释： 临时缓存目录保留空间，单位：MB。 注意： 若不设置此值，tmpdir指定目录有被打满风险，可能会影响其他进程的运行。 建议设置tmpdir指定目录可用容量的10%。 默认取值： 0 compat_dir 参数解释： 兼容目录，s3fs尽可能支持目录类型的对象，并将其识别为目录。 可以识别为目录对象的对象有“dir/”、“dir_$folder$”。 注意： 1.92版本必须添加此挂载参数，否则无法显示桶内的多级目录对象。 例：使用sdk创建对象：a/b/c或a/b/c/，若不添加此参数将无法显示目录a。 注：s3fs识别以‘/’为结尾的对象为目录。 默认取值： 无 allow_other 参数解释： 允许其他用户访问挂载目录。 默认取值： 无 big_writes 参数解释： 配置后可更改写缓存最大值大小。 默认取值： 无 max_write 参数解释： 仅配置big_writes的情况下才生效，默认写大小为4KB，推荐使用128KB。 取值范围： 4096~131072，单位：B。 默认取值： 4096 umask 参数解释： 配置文件权限的掩码，使用此参数会覆盖并行文件系统内所有文件的权限。 默认取值： 0000 nonempty 参数解释： 添加该参数后允许在非空目录上挂载。 默认取值： 无 nomultipart 参数解释： 关闭多段。 默认取值： 无 parallel_count 参数解释： 并行上传段个数。 取值范围： 0~10000 默认取值： 5 multipart_size 参数解释： 以多段上传模式上传文件时，段的大小，单位为MB。段的大小会影响能够上传的文件大小，具体参考多段上传。 取值范围： 5~5120，单位：MB。 默认取值： 10 no_check_certificate 参数解释： 对服务端的证书不做校验，仅在使用HTTPS协议时有效，默认开启证书校验。 默认取值： 无 use_cache 参数解释： 用于本地文件缓存的地址，使用该参数后，IO性能会提升，但是磁盘占用会升高，可以和del_cache配合使用。 默认取值： ""（表示不使用缓存） del_cache 参数解释： s3fs进程在启动和退出时删除本地缓存文件。 默认取值： 无 dbglevel 参数解释： 设置日志级别。 取值范围： 日志等级从高到低依次为crit、err、warn、info、debug。 默认取值： crit max_stat_cache_size 参数解释： 最大元数据缓存数量。 默认取值： 100000 logfile 参数解释： 用于指定s3fs输出的日志文件。 约束限制： 不加此参数，则将日志输出到系统日志。 默认取值： 无 更多参数详见s3fs-fuse。

约束与限制 s3fs不支持挂载并行文件系统。 随机写或追加写文件场景需要重写整个文件，会有带宽浪费。 由于网络延迟，元数据操作（如列举目录）性能较差。 不支持文件或目录的原子性重命名。 支持挂载到多台云服务器，但数据一致性需由您自行维护，避免出现多台云服务器同时对一个文件并发写入的情况。 不支持硬链接。 s3fs与存储服务端交互采用HTTP/HTTPS协议，客户端CPU开销会较大。 因为客户端存在操作系统元数据缓存，可能导致该缓存失效前，客户端元数据与存储服务端元数据呈现不一致现象。 因使用FUSE框架存在内核态与用户态切换，不适合高并发场景。

应用场景 对于原本使用本地文件系统存储数据的用户，希望把数据存储在OBS上但不改变数据的访问方式，推荐使用s3fs。 s3fs是一款基于用户空间文件系统（Filesystem in Userspace，简称FUSE）的文件系统工具，支持您在Linux系统中，将OBS对象桶挂载到本地文件系统，让您能够像操作本地文件一样操作对象，实现数据的共享。关于s3fs的更多信息，请参见GitHub。如果您在s3fs使用过程中遇到问题，请参见s3fs常见问题或s3fs-fuse常见问题进行排查。

可能导致数据被删除或覆盖的场景 通过控制台、API、SDK、OBS Browser+、obsutil、obsfs方式删除对象。详情请参见删除对象。 通过控制台、API、SDK、OBS Browser+、obsutil、obsfs方式上传同名文件到OBS，会导致OBS内已有文件被覆盖。 如果您在生命周期规则中配置了定期删除文件的规则，OBS会根据生命周期的配置定期删除符合条件的文件。详情请参见生命周期管理。 如果您配置了跨区域复制规则，且选择的是增/删/改同步，则对源存储空间（桶）进行文件修改或删除操作时，操作会同步到目的Bucket。详情请参见跨区域复制。 没有正确的配置桶的访问权限，导致文件被他人恶意删除或覆盖。访问权限相关说明请参见权限管理。 如果账号欠费，会根据“客户等级”定义不同的保留期时长。进入保留期后您在OBS中存储的数据会予以保留，账号会处于受限状态。保留期满仍未缴清欠款，存储在OBS中的数据将被删除且无法恢复。详情请参见欠费和续费。

使用其他云服务进一步增强对数据的安全防护 启用WAF进行静态网站防护 如果您需要使用OBS静态网站托管功能，为进一步提升您网站的安全性，建议您使用华为云的WAF服务对您的域名进行保护，降低网站被网络攻击的风险。详情请参见管理防护域名。 启用 安全云脑 SecMaster保障OBS资源安全 态势感知通过“安全上云合规检查1.0”、“等保2.0三级要求”、“护网检查”三种基线规则，检测OBS桶关键配置项，告警提示存在安全隐患的配置，并提供相应配置加固建议和帮助指导。您可以通过态势感知的资源管理功能，快速了解到OBS桶所属区域、安全状况等信息，帮助您定位安全风险问题。详情请参见资源管理。 隐私保护 随着组织管理越来越多的数据，大规模地识别和保护它们的敏感数据会变得越来越复杂、昂贵和耗时。建议您通过DSC服务对OBS桶内数据进行敏感数据识别和管理，降低隐私数据识别和保护的成本以及复杂度。详情请参见创建敏感数据识别任务。

利用OBS提供的操作日志审计是否存在异常数据访问操作 开启 云审计 服务记录OBS的所有访问操作便于事后审查 云审计服务（Cloud Trace Service， CTS ），是华为 云安全 解决方案中专业的日志审计服务，提供对各种云资源操作记录的收集、存储和查询功能，可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 您开通云审计服务并创建和配置追踪器后，CTS可记录OBS的管理事件和数据事件用于审计。详情请参见审计。 开启桶Logging记录桶的所有访问请求 通过访问日志记录，桶的拥有者可以深入分析访问该桶的用户请求性质、类型或趋势。当用户开启一个桶的日志记录功能后，OBS会自动对这个桶的访问请求记录日志，并生成日志文件写入用户指定的桶中。详情请参见日志记录。 使用 云监控服务 对安全事件进行实时监控、告警 您在使用OBS的过程中会也可能会遇到服务端返回的错误响应，为使您更好地掌握OBS桶的状态，华为云提供了 云监控 服务（Cloud Eye）。您可使用该服务监控自己的OBS桶，执行自动实时监控、告警和通知操作，帮助您实时掌握桶中所产生的请求、流量和错误响应等信息。 云监控服务不需要开通，会在用户创建资源（如OBS桶）后自动启动。 关于云监控服务的更多介绍，请参见云监控服务产品介绍。

构建数据的恢复、容灾能力避免数据被异常破坏 预先构建数据的容灾和恢复能力，可以有效避免异常数据处理场景下数据误删、破坏的问题。 建议启用多版本获得异常场景数据快速恢复能力 利用多版本控制，您可以在一个桶中保留一个对象的多个版本，在意外操作或应用程序故障时通过历史版本对象快速恢复数据。详情请参见多版本控制。 建议使用跨区域复制构建异地数据容灾能力 有些数据需要异地备份存储，跨区域复制为您提供跨区域数据容灾的能力，满足您将数据复制到异地进行备份的需求。详情请参见跨区域复制。