华为云用户手册

Functiongraph监控 介绍 APM 采集的Functiongraph监控指标的类别、名称、含义等信息。 表1 Functiongraph监控采集参数 参数名 数据类型 应用类型 默认值 Agent支持的起始版本 Agent支持的终止版本 描述 采样类型 radio JAVA 4 1.0.0 - 采样类型，支持四种采样，全采、百分比采集、每分钟固定数量采样、默认智能采样。 百分比采集数值 integer JAVA 10 1.0.0 - 调用链数据按百分比采样值。 每分钟采集数值 integer JAVA 1000 1.0.0 - 调用链数据每分钟采集数值。 慢请求阈值定义 integer JAVA 800 2.0.0 - 定义慢请求阈值,超过该阈值的方法会定义为慢方法，默认提高调用链采样率。 方法配置 obj_array JAVA - 2.0.0 - 单独配置每个方法的慢请求阈值和采样率;采样方式包含2.百分比采样；3.每分钟固定数量采样；4.自动采样三种采样方式。 表2 Functiongraph监控指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 方法监控（detail，以函数方法维度统计接口调用数据。） method method 请求的方法 - ENUM LAST concurrentMax 最大并发 该方法的最大并发 - INT MAX errorCount 错误数 该方法的错误数 - INT SUM invokeCount 调用次数 该方法的调用次数 - INT SUM maxTime 最大响应时间 该方法在采集周期内最大响应时间 ms INT MAX runningCount 正在执行数 该方法在采集时间点正在执行数量 - INT SUM range1 0-10ms 响应时间在0-10ms范围请求数 - INT SUM range2 10-100ms 响应时间在10-100ms范围请求数 - INT SUM range3 100-500ms 响应时间在100-500ms范围请求数 - INT SUM range4 500-1000ms 响应时间在500-1000ms范围请求数 - INT SUM range5 1-10s 响应时间在1-10s范围请求数 - INT SUM range6 10s以上 响应时间在10s以上请求数 - INT SUM totalTime 总响应时间 该方法的总响应时间 - INT SUM 集群调用（cluster，以调用方集群id维度统计接口调用数据。） clusterId 集群id 调用方的集群id - ENUM LAST invokeCount 调用次数 该集群的调用次数 - INT SUM totalTime 总响应时间 该集群调用的总响应时间 ms INT SUM errorCount 错误次数 该集群调用的错误次数 - INT SUM 父主题： 接口调用

ApacheHttpAsyncClient连接池 介绍APM采集的ApacheHttpAsyncClient连接池指标的类别、名称、含义等信息。 表1 ApacheHttpAsyncClient采集器采集参数 参数名 数据类型 应用类型 默认值 Agent支持的起始版本 Agent支持的终止版本 描述 获取连接调用链上报时间阈值(ms) integer JAVA 1 2.1.6 - 获取连接调用链上报时间阈值(ms)。 getConnection时是否获取池内信息 radio JAVA 1 2.1.6 - getConnection时是否获取池内信息。 表2 ApacheHttpAsyncClient连接池指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 连接池（connectionPool，ApacheHttpAsyncClient连接池中不同连接状态的连接数监控。） poolId 连接池id ApacheHttpAsyncClient连接池id - ENUM LAST available 空闲数量 连接池空闲连接数量 - INT SUM leased 占用数量 连接池占用连接数量 - INT SUM max 最大数量 连接池最大连接数量 - INT MAX pending 正在连接数 连接池正在连接数 - INT SUM 连接池路由（connectionPoolRoute，连接池路由为维度统计连接状态信息。） poolId 连接池id ApacheHttpAsyncClient连接池id - ENUM LAST route 路由 连接池路由信息 - ENUM LAST available 空闲数量 连接池空闲连接数 - INT SUM leased 占用数量 连接池占用连接数 - INT SUM max 最大数量 连接池最大连接数 - INT MAX pending 正在连接数 连接池正在连接数 - INT SUM 获取连接详情（connection，获取连接详情。） route 路由 路由 - ENUM LAST invokeCount 调用次数 调用次数 - INT SUM totalTime 总时间 总时间 - INT SUM errorCount 错误次数 错误次数 - INT SUM maxTime 最慢调用 最慢调用 - INT SUM range1 0-10ms 响应时间在0-10ms范围请求数 - INT SUM range2 10-100ms 响应时间在10-100ms范围请求数 - INT SUM range3 100-500ms 响应时间在100-500ms范围请求数 - INT SUM range4 500-1000ms 响应时间在500-1000ms范围请求数 - INT SUM range5 1-10s 响应时间在1-10s范围请求数 - INT SUM range6 10s以上 响应时间在10s以上请求数 - INT SUM concurrentMax 最大并发 最大并发 - INT MAX 父主题： 外部调用

KafkaConsumer监控 介绍APM采集的KafkaConsumer监控指标的类别、名称、含义等信息。 表1 KafkaConsumer监控采集参数 参数名 数据类型 应用类型 默认值 Agent支持的起始版本 Agent支持的终止版本 描述 kafka慢请求阈值 integer JAVA 800 2.1.14 - 超过慢请求阈值的方法提高采样率。 kafka消费方法配置 obj_array JAVA - 2.1.14 - kafka消费方法配置。 表2 KafkaConsumer监控指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 主题 (topic，kafka的topic监控数据。) id id clientid和ip信息 - ENUM LAST topic topic kafka的topic名称 - ENUM LAST bytesConsumedRate 每秒消费字节 每秒消费字节 Byte INT AVG fetchSizeAvg 请求获取平均字节 请求获取平均字节 Byte INT AVG fetchSizeMax 请求获取最大字节 请求获取最大字节 Byte INT MAX recordsConsumedRate 每秒消费消息数 每秒消费消息数 - INT AVG recordsPerRequestAvg 单次请求平均消息数 单次请求平均消息数 - INT AVG seqIds Producer生成序列号 Producer生成序列号 - STRING LAST recordConsumedTotal 总消费次数 总消费次数 - INT SUM bytesConsumedTotal 总消费字节数 总消费字节数 - INT SUM fetch (fetch，kafka的fetch监控数据) id id clientid和ip信息 - ENUM LAST bytesConsumedRate 每秒消费字节 每秒消费字节 Byte INT AVG fetchLatencyAvg 请求平均时延 请求平均时延 ms INT AVG fetchLatencyMax 请求最大时延 请求最大时延 ms INT MAX fetchRate 每秒请求数 每秒请求数 - INT AVG fetchSizeAvg 请求获取平均字节 请求获取平均字节 Byte INT AVG fetchSizeMax 请求获取最大字节 请求获取最大字节 Byte INT MAX recordsConsumedRate 每秒消费消息数 每秒消费消息数 - INT AVG recordsLagMax 最大堆积消息数 最大堆积消息数 - INT MAX recordsPerRequestAvg 单次请求平均消息数 单次请求平均消息数 - INT AVG seqIds Producer生成序列号 Producer生成序列号 - STRING LAST recordConsumedTotal 总消费次数 总消费次数 - INT SUM bytesConsumedTotal 总消费字节数 总消费字节数 - INT SUM partition (partition，kafka的partition监控数据。) id id clientid和ip信息 - ENUM LAST partition partition kafka的partition名称 - ENUM LAST recordsLag 堆积消息数 堆积消息数 - INT LAST recordsLagAvg 平均堆积消息数 平均堆积消息数 - INT AVG recordsLagMax 最大堆积消息数 最大堆积消息数 - INT MAX seqIds Producer生成序列号 Producer生成序列号 - STRING LAST kafka消费方法监控 (consumer，kafka消费方法监控。) method method 消费方法 - ENUM LAST concurrentMax 最大并发 最大并发 - INT MAX errorCount 错误数 错误数 - INT SUM invokeCount 调用次数 调用次数 - INT SUM lastError 错误信息 发生错误时产生的错误信息 - STRING LAST maxTime 最大响应时间 采集周期内最大响应时间 - INT MAX range1 0-10ms 响应时间在0-10ms范围调用次数 - INT SUM range2 10-100ms 响应时间在10-100ms范围调用次数 - INT SUM range3 100-500ms 响应时间在100-500ms范围调用次数 - INT SUM range4 500-1000ms 响应时间在500-1000ms范围调用次数 - INT SUM range5 1-10s 响应时间在1-10s范围调用次数 - INT SUM range6 10s以上 响应时间在10s以上调用次数 - INT SUM totalTime 总响应时间 总响应时间 - INT SUM KafkaConsumer汇总（total，KafkaConsumer汇总信息统计。） recordConsumedTotal 总消费次数 总消费次数 - INT SUM bytesConsumedTotal 总消费字节数 总消费字节数 - INT SUM recordsLag 总堆积消息数 总堆积消息数 - INT LAST 异常 (exception，kafka消费异常信息。) causeType 异常发生类 异常发生类 - ENUM LAST exceptionType 异常类 异常类 - ENUM LAST count 数量 异常数量 - INT SUM message 异常消息 异常消息 - STRING LAST stackTrace 异常堆栈 异常堆栈 - CLOB LAST 父主题： 消息队列

NodeJs状态监控 介绍APM采集的NodeJs状态监控指标的类别、名称、含义等信息。 表1 NodeJs状态监控指标说明 指标类别 指标 指标名称 指标说明 单位 数据类型 默认聚合方式 cpu total cpu整体使用率 cpu整体使用率 - DOUBLE AVG sys sys使用率 sys使用率 - DOUBLE AVG user user使用率 user使用率 - DOUBLE AVG nice nice使用率 nice使用率 - DOUBLE AVG irq irq使用率 irq使用率 - DOUBLE AVG 内存（memory，内存。） total 内存整体使用率 内存整体使用率 - DOUBLE AVG rss rss使用率 rss使用率 - DOUBLE AVG heapTotal heapTotal使用率 heapTotal使用率 - DOUBLE AVG heapUsed heapUsed使用率 heapUsed使用率 - DOUBLE AVG external external使用率 external使用率 - DOUBLE AVG arrayBuffers arrayBuffers使用率 arrayBuffers使用率 - DOUBLE AVG 堆栈（heap ，堆栈） newSpace newSpace大小 newSpace大小 MB DOUBLE AVG oldSpace oldSpace大小 oldSpace大小 MB DOUBLE AVG codeSpace codeSpace大小 codeSpace大小 MB DOUBLE AVG mapSpace mapSpace大小 mapSpace大小 MB DOUBLE AVG largeObjectSpace largeObjectSpace大小 largeObjectSpace大小 MB DOUBLE AVG 父主题： 基础监控

配置ModelArts网络关联SFS Turbo ModelArts网络关联SFS Turbo后，可直接在ModelArts的Notebook开发及训练环境中挂载SFS Turbo共享文件系统，并访问其中的数据。 登录ModelArts管理控制台，创建网络并打通创建资源中创建的创建虚拟私有云和子网，详细步骤参见ModelArts网络。 单击1中创建生成的资源池“网络”所在行的“更多”，选择“关联sfsturbo”。 在“关联sfsturbo”弹窗中，选择创建资源中创建的SFS Turbo HPC型文件系统。 选择完成后，单击“确定”创建关联。 使用过程中请不要解除关联，解除关联会导致ModelArts资源池无法访问SFS Turbo文件系统中的数据。 一个SFS Turbo文件系统最多可关联1个网络。

操作步骤 登录已创建好的Linux系统云服务器，用于同时访问本地NAS存储和SFS Turbo文件系统。 输入以下挂载命令，用于访问本地NAS存储。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock 本地NAS挂载地址 /mnt/src 输入以下挂载命令，用于访问SFS Turbo文件系统。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock 文件系统挂载地址 /mnt/dst 在Linux云服务器中执行以下命令安装rsync工具。 yum install rsync 图1 安装rsync工具 源端服务器和目的端服务器均需要安装rsync工具，否则将会报错。 安装完成后，可以输入以下命令查询rsync工具的安装和版本情况。 rsync -version 图2 查看工具安装情况 执行以下命令，将源端服务器/mnt/src目录中的数据全量同步迁移至目的端服务器/mnt/dst目录（文件系统）中。 rsync -avP /mnt/src /mnt/dst 图3 全量同步数据

配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中，单击创建的HPC型文件系统名称，进入文件系统详情页面。 在“基本信息”页签，设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。 父主题： 基本配置

资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划 资源 资源说明 弹性 云服务器ECS 云服务器和文件系统归属于同一项目下，用于挂载共享路径实现数据共享。 虚拟私有云VPC VPC为弹性云服务器构建隔离的、用户自主配置和管理的虚拟网络环境，提升用户云中资源的安全性，简化用户的网络部署。 云服务器无法访问不在同一VPC下的文件系统，使用弹性文件服务时需将文件系统和云服务器归属于同一VPC下。 文件系统 文件系统通过标准的NFS协议和CIFS协议为客户提供文件存储服务，用于网络文件远程访问，用户通过管理控制台创建挂载地址后，即可在多个云服务器上进行挂载，并通过标准的POSIX接口对文件系统进行访问。 父主题： 为文件系统创建普通用户可读写的子目录

上传数据至OBS 已经在OBS上创建好普通OBS桶，请参见创建普通OBS桶。 已经安装obsutil，请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址，下载Imagenet21k数据集：http://image-net.org/。 下载格式转换后的annotation文件：ILSVRC2021winner21k_whole_map_train.txt和ILSVRC2021winner21k_whole_map_val.txt。 下载完成后将上述3个文件数据上传至OBS桶中的imagenet21k_whole文件夹中。上传方法请参考obsutil命令行工具使用指导。

配置SFS Turbo和OBS联动 SFS Turbo HPC型文件系统支持无缝访问存储在 对象存储OBS 存储桶中的对象，您可以指定SFS Turbo内的文件目录与OBS对象存储桶进行关联。 登录SFS管理控制台，在左侧导航窗格中选择“SFS Turbo”。 在文件系统列表中，单击创建资源中创建的HPC型文件系统，进入文件系统详情页面。 进入页签“绑定后端存储”，单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS桶”中，填写如下表所示参数。 表1 绑定OBS桶配置参数 参数 含义 限制 配置后可编辑 联动目录名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录，该目录将绑定对应的OBS桶，且该目录名称不能和已有目录重名。 子目录名称不能重复，子目录名称长度不能超过63个字符。 子目录名称必须是文件系统根目录下不存在的目录名。 子目录名称不能是“.”或“..”。 不支持 桶名 OBS存储桶桶名。 无法绑定不存在的存储桶。 目前仅支持OBS存储桶，不支持OBS并行文件系统。 不支持 OBS区域 域名 OBS区域域名，即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS Turbo云服务”。 单击“确定”，完成绑定。 指定导入目录和文件的默认权限，请参考《高性能弹性文件服务API参考》的“绑定后端存储”和“更新后端存储属性”章节执行操作。 父主题： 基本配置

方案优势 华为云AI 云存储 解决方案的主要优势如下表所示。 表1 华为云AI云存储解决方案的主要优势 序号 主要优势 详细描述 1 存算分离，资源利用率高 GPU/NPU算力和SFS Turbo存储解耦，各自按需扩容，资源利用率提升。 2 SFS Turbo高性能，加速训练过程 训练数据集高速读取，避免GPU/NPU因存储I/O等待产生空闲，提升GPU/NPU利用率。 大模型TB级Checkpoint文件秒级保存和加载，减少训练任务中断时间。 3 数据导入导出异步化，不占用训练任务时长，无需部署外部迁移工具 训练任务开始前将数据从OBS导入到SFS Turbo，训练过程中写入到SFS Turbo的Checkpoint数据异步导出到OBS，均不占用训练任务时长。 SFS Turbo和OBS存储服务之间数据直接导入导出，无需部署外部数据拷贝机器及工具。 4 冷热数据自动流动，降低存储成本 SFS Turbo支持自定义数据淘汰策略，冷数据自动分级到OBS，释放高性能存储空间用于接收新的热数据。 访问冷数据时SFS Turbo从OBS自动加载数据提升访问性能。 5 多 AI开发平台 、生态兼容 pytorch、mindspore等主流AI应用框架，kubernetes容器引擎、算法开发场景通过文件语义访问共享数据，无需适配开发。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。

应用场景 近年来，AI快速发展并应用到很多领域中，AI新产品掀起一波又一波热潮，AI应用场景越来越多，有自动驾驶、大模型、AIGC、科学AI等不同行业。AI人工智能的实现需要大量的基础设施资源，包括高性能算力，高速存储和网络带宽等基础设施，即“大算力、大存力、大运力”的AI基础大设施底座，让算力发展不要偏斜。 从过去的经典AI，到今天人人谈论的大模型，自动驾驶，我们看到AI模型的参数及AI算力规模呈现出指数级的爆发增长，对存储基础设施也带来全新的挑战。 高吞吐的数据访问挑战：随着企业使用 GPU/NPU 越来越多，底层存储的 IO 已经跟不上计算能力，企业希望存储系统能提供高吞吐的数据访问能力，充分发挥 GPU/NPU 的计算性能，包括训练数据的读取，以及为了容错做的检查点（以下简称Checkpoint）保存和加载。训练数据的读取要尽量读得快，减少计算对 I/O 的等待，而 Checkpoint主要要求高吞吐、减少训练中断的时间。 文件接口方式的数据共享访问：由于 AI 架构需要使用到大规模的计算集群（GPU/NPU服务器），集群中的服务器访问的数据来自一个统一的数据源，即一个共享的存储空间。这种共享访问的数据有诸多好处，它可以保证不同服务器上访问数据的一致性，减少不同服务器上分别保留数据带来的数据冗余等。另外以 AI 生态中非常流行的开源深度学习框架PyTorch为例，PyTorch默认会通过文件接口访问数据，AI算法开发人员也习惯使用文件接口，因此文件接口是最友好的共享存储访问方式。

方案架构 针对AI训练场景中面临的问题，华为云提供了基于 对象存储服务 OBS+高性能文件服务SFS Turbo的AI云存储解决方案，如图所示，华为云高性能文件服务SFS Turbo HPC型支持和OBS数据联动，您可以通过SFS Turbo HPC型文件系统来加速对OBS对象存储中的数据访问，并将生成的结果数据异步持久化到OBS对象存储中长期低成本保存。 图1 基于OBS+SFS Turbo的华为云AI云存储解决方案

方案概述 SFS Turbo默认只能被云上同一个VPC内的E CS /CCE访问，用户可通过云专线/VPN/对等连接等方式打通网络，实现多种访问方式。 云下或其他云访问： 云专线/VPN 云上同区域同一账号不同VPC： VPC对等连接 云上同区域跨账号访问： VPC对等连接 不同区域访问： 云连接 迁移数据分为两种网络条件，通过可访问公网的ECS直接挂载迁移。 通过mount方式挂载访问SFS Turbo，将本地NAS存储中的数据迁移至SFS Turbo。 通过云专线迁移（rclone工具） 通过云专线迁移（rsync工具） 无法打通网络直接挂载，可以通过公网访问华为云ECS绑定的EIP，也可进行传输迁移。 跨服务器迁移（rclone工具） 父主题： 弹性文件服务数据迁移

操作步骤 登录弹性云服务器管理控制台。 登录已创建好的Linux系统云服务器，用于同时访问本地NAS存储和云上SFS Turbo文件系统。 输入以下挂载命令，用于访问本地NAS存储。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock 本地NAS挂载地址 /mnt/src 输入以下挂载命令，用于访问云上文件系统。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock 文件系统挂载地址 /mnt/dst 在Linux云服务器中执行以下命令安装rclone工具。 wget https://downloads.rclone.org/v1.53.4/rclone-v1.53.4-linux-amd64.zip --no-check-certificateunzip rclone-v1.53.4-linux-amd64.zipchmod 0755 ./rclone-*/rclonecp ./rclone-*/rclone /usr/bin/rm -rf ./rclone-* 执行以下命令，进行数据同步。 rclone copy /mnt/src /mnt/dst -P --transfers 32 --checkers 64 --links --create-empty-src-dirs 参数说明如下，transfers和checkers数目可以根据系统规格自行配置： --transfers：传输文件的并发数目。 --checkers：扫描本地文件的并发数目。 -P：数据拷贝进度。 --links：复制源端的软链接，目的端保持为软链接的形式。 --copy-links：复制源端软链接指向的文件内容，目的端变成文件的形式，不再是软链接。 --create-empty-src-dirs：复制源端的空目录到目的端。 等待数据完成同步后，可前往目标文件系统查看是否已成功迁移。

操作步骤 以root账号登录弹性云服务器。 使用以下命令在root账号下使用以下命令添加普通用户账号，下面以添加普通用户Tom为例。 adduser Tompasswd Tom 根据回显提示修改普通用户Tom的密码，创建成功后会自动创建用户Tom的主目录/home/Tom。 添加普通用户Tom成功后，再在root的本地目录下使用以下命令为普通用户Tom创建子目录。 由创建文件系统本地目录章节的步骤4可知root的本地目录为root001，使用以下命令为普通用户Tom创建子目录Tom。其中root001需替换为实际的本地目录。 mkdir /root/root001/Tom 使用以下命令将子目录Tom的读写权限赋予普通用户Tom。其中root001需替换为实际的本地目录。 chown Tom:Tom /root/root001/Tom 创建完毕后可以通过以下命令验证普通用户Tom是否已有子目录Tom的读写权限。如图1所示。 cd /homecd /root/root001ll 图1 查询权限 可以看到用户Tom已经获取了子目录Tom的读写权限。 将root001/Tom子目录使用挂载命令mount挂载到 Tom 的主目录/home/Tom中。其中xx-xxxxx-xx需要替换为文件系统所在区域，share-xxxx需要修改为实际的文件系统，第一个Tom需要修改为实际的子目录名称。如图2所示。 mount -t nfs sfs-nas1.xx-xxxxx-xx.xxxxxxxxxx.com:/share-xxxx/Tom /home/Tom 图2 挂载目录 执行以下命令可以查看到该子目录已经成功挂载至Tom的主目录中。如图3所示。 df -h 图3 查询挂载结果

操作步骤 已经成功在北京一可用区2创建一台CentOS系统的云服务器如ecs-whm，如图1所示。 图1 成功创建云服务器 以root用户登录弹性云服务器。安装NFS客户端。 查看系统是否安装NFS软件包。 CentOS、Red Hat、Oracle Enterprise Linux、SUSE、Euler OS、Fedora或OpenSUSE系统下，执行如下命令： rpm -qa|grep nfs Debian或Ubuntu系统下，执行如下命令： dpkg -l nfs-common 不同操作系统回显会有所不同，如果回显如下类似信息，说明已经成功安装NFS软件包，执行步骤3。如未显示，执行步骤2.2。 CentOS、Red Hat、Euler OS、Fedora或Oracle Enterprise Linux系统下，回显如下类似信息： libnfsidmapnfs-utils SUSE或OpenSUSE系统下，回显如下类似信息： nfsidmapnfs-client Debian或Ubuntu系统下，回显如下类似信息： nfs-common 如果查看到未安装，根据不同的操作系统，执行不同命令。 执行以下命令前要求云服务器已连接到互联网，否则安装NFS客户端失败。 CentOS、Red Hat、Euler OS、Fedora或Oracle Enterprise Linux系统下，执行如下命令： sudo yum -y install nfs-utils Debian或Ubuntu系统下，执行如下命令： sudo apt-get install nfs-common SUSE或OpenSUSE系统下，执行如下命令： zypper install nfs-client 执行如下命令，查看是否能解析文件系统挂载地址中的域名。如图2所示。 nslookup 文件系统域名 nslookup sfs-nas1.xx-xxxx-xx.xxxxxxxxxxx.com 文件系统域名仅为域名，如：sfs-nas1.xxxx.com。文件系统域名请从文件系统的挂载地址中获取，不需要输入整个挂载地址。 无法使用nslookup命令时，需要先安装bind-utils软件包。（可通过执行yum install bind-utils命令安装） 解析成功，执行步骤4。 解析失败，请先完成DNS服务器IP地址的配置再执行挂载文件系统的操作，具体配置操作请参见配置DNS。 图2 解析域名 执行如下命令，创建用于挂载文件系统的本地目录。此时记录本地目录名字，此处以root001为例。 mkdir 本地目录 mkdir root001 执行如下命令，将文件系统挂载到云服务器上。文件系统目前仅支持NFSv3协议挂载到Linux云服务器，其中变量说明见表1。 mount -t nfs -o vers=3,timeo=600,nolock 挂载地址 本地目录 已挂载文件系统的云服务器重启后，该云服务器上的挂载信息将会丢失，您可以通过在fstab文件中配置自动挂载来保证云服务器重启时自动挂载文件系统，具体操作请参见自动挂载文件系统。 表1 参数说明 参数 说明 vers 文件系统版本，目前只支持NFSv3。取值：3。 timeo NFS客户端重传请求前的等待时间(单位为0.1秒)。建议值：600。 lock/nolock 选择是否使用NLM协议在服务器上锁文件。当选择nolock选项时，锁对于同一主机的应用有效，对不同主机不受锁的影响。建议值：nolock。 挂载地址 SFS文件系统的格式为：文件系统域名:/路径，例如：example.com:/share-xxx。SFS Turbo文件系统的格式为：文件系统IP:/，例如192.168.0.0:/。 说明： x是数字或字母。 由于挂载地址名称较长，需要拉宽该栏以便完整显示。 本地目录 云服务上用于挂载文件系统的本地目录，例如“/local_path”。 图3 挂载地址 挂载完成后，执行如下命令，查看已挂载的文件系统。 mount -l 如果回显包含如下类似信息，说明挂载成功。 example.com:/share-xxx on /local_path type nfs (rw,vers=3,timeo=600,nolock,addr=) 挂载成功后，参考下一个章节创建普通用户和子目录。 如果挂载失败或超时，请参考故障排除处理。 支持写入的单个文件最大容量为240TB。

资源和成本规划 本节介绍最佳实践中资源规划情况，包含以下内容： 表1 资源和成本规划内容说明 维度 说明 资源规划 OBS：存放训练数据集、预训练模型等数据资源的桶，桶存储类别为“标准存储”，桶策略为“私有”。 SFS Turbo：文件系统类型为“HPC型”，存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 ModelArts：AI开发平台，采用多机多卡分布式训练。 VPC：虚拟私有云和子网。 算法及数据：准备AI训练需要的算法及数据集，如Swin-Transformer算法，及ImageNet21K数据集。 说明： 为了提供最佳加速性能，建议SFS Turbo HPC文件系统和ModelArts资源池就近选择在同一个Region的同一个可用区（AZ）。 成本规划 OBS费用：详见OBS计费说明。 SFS Turbo费用：详见SFS计费说明。 ModelArts费用：详见ModelArts计费说明。 须知： 本文提供的成本预估费用仅供参考，资源的实际费用以华为云管理控制台或价格计算器显示为准。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践

操作步骤 登录弹性云服务器管理控制台。 登录已创建好的Linux系统云服务器，用于同时访问SFS容量型文件系统和SFS Turbo文件系统。 输入以下挂载命令，用于访问文件系统1。文件系统1可以是SFS容量型文件系统或SFS Turbo文件系统。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock 文件系统1挂载地址 /mnt/src 输入以下挂载命令，用于访问文件系统2。文件系统2可以是SFS容量型文件系统或SFS Turbo文件系统。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock 文件系统2挂载地址 /mnt/dst 下载并安装rclone工具。下载地址请参见https://rclone.org/downloads/。 执行以下命令，进行数据同步。 rclone copy /mnt/src /mnt/dst -P --transfers 32 --checkers 64 --links --create-empty-src-dirs 参数说明如下，transfers和checkers数目可以根据系统规格自行配置： /mnt/src ：源路径 /mnt/dst：目标路径 --transfers：传输文件的并发数目。 --checkers：扫描本地文件的并发数目。 -P：数据拷贝进度。 --links：复制源端的软链接，目的端保持为软链接的形式。 --copy-links：复制源端软链接指向的文件内容，目的端变成文件的形式，不再是软链接。 --create-empty-src-dirs：复制源端的空目录到目的端。 等待数据完成同步后，可前往目标文件系统查看是否已成功迁移。

配置SFS Turbo数据自动导出到OBS桶 配置自动导出后，训练过程中周期性写入SFS Turbo文件系统的Checkpoint模型文件会自动以异步方式导出到关联的OBS桶中进行长期保存，无需手工导出，异步导出方式不会占用上层训练任务时间。 SFS Turbo的自动导出功能当前处于受限使用状态，请提交工单联系技术支持人员进行配置。 文件导出速度受OBS服务的写入带宽上限影响，默认是16Gbit/s，如果大模型训练生成的Checkpoint文件过大、导出速度过慢，可提交工单申请调大OBS服务的写入带宽。 父主题： 基本配置

操作步骤 登录弹性云服务器管理控制台。 登录已创建好的Linux系统云服务器，用于同时访问SFS容量型文件系统和其他文件系统。 输入以下挂载命令，用于访问文件系统1。文件系统1是SFS容量型文件系统。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock 文件系统1挂载地址 /mnt/src 输入以下挂载命令，用于访问文件系统2。文件系统2可以是通用文件系统或SFS Turbo文件系统。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock 文件系统2挂载地址 /mnt/dst 在Linux云服务器中执行以下命令安装rclone工具。 wget https://downloads.rclone.org/v1.53.4/rclone-v1.53.4-linux-amd64.zip --no-check-certificateunzip rclone-v1.53.4-linux-amd64.zipchmod 0755 ./rclone-*/rclonecp ./rclone-*/rclone /usr/bin/rm -rf ./rclone-* rclone工具不保留源端的文件权限或属组信息，有相关需求请使用rsync工具。 执行以下命令，进行数据同步。 rclone copy /mnt/src /mnt/dst -P --transfers 32 --checkers 64 --links --create-empty-src-dirs 参数说明如下，transfers和checkers数目可以根据系统规格自行配置： /mnt/src ：源路径 /mnt/dst：目标路径 --transfers：传输文件的并发数目。 --checkers：扫描本地文件的并发数目。 -P：数据拷贝进度。 --links：复制源端的软链接，目的端保持为软链接的形式。 --copy-links：复制源端软链接指向的文件内容，目的端变成文件的形式，不再是软链接。 --create-empty-src-dirs：复制源端的空目录到目的端。 等待数据完成同步后，可前往目标文件系统查看是否已成功迁移。

操作流程 本文档介绍面向AI场景如何使用OBS+SFS Turbo的存储加速，流程如图1所示。 图1 面向AI场景使用OBS+SFS Turbo的存储加速方案步骤 表1 面向AI场景使用OBS+SFS Turbo的存储加速流程说明 序号 步骤 说明 1 规划组网和资源 此步骤请提交工单联系技术支持人员进行支撑配置。 2 创建资源 创建VPC：创建1个虚拟私有云和子网。 创建SFS Turbo HPC型文件系统：创建1个SFS Turbo文件系统，文件系统类型选择“HPC型”,存储类型请根据存储容量和性能需求选择，AI场景建议选择250MB/s/TiB及以上的存储类型。 创建OBS桶：创建1个OBS桶，存储类别为“标准存储”，桶策略为“私有”。 创建ModelArts资源池：创建1个专属资源池。 3 基本配置 配置ModelArts和SFS Turbo间网络直通。 创建委托授权ModelArts云服务使用SFS Turbo。 配置ModelArts网络关联SFS Turbo。 配置SFS Turbo和OBS联动。 配置SFS Turbo数据自动导出到OBS桶。 配置SFS Turbo数据淘汰策略。 4 训练 上传数据至OBS并预热到SFS Turbo中。 创建训练任务。 5 例行运维 使用OBS+SFS Turbo的存储加速方案的过程中，您可以进行采取以下运维措施，保证系统正常高效运行： SFS Turbo容量监控及告警。 SFS Turbo性能监控。 调整SFS Turbo数据淘汰策略。 SFS Turbo容量及性能扩容。 OBS性能监控。 如果您想了解更多本方案相关信息，或在方案使用过程中存在疑问，可通过方案咨询渠道，寻求专业人员支持。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践

前提条件 Linux内核为5.3及以上版本。 当客户端与服务端之间网络延迟较高（例如在线下IDC访问云上NFS文件系统和跨Region挂载NFS文件系统的场景下），且您需要达到较高的带宽或IOPS时，建议开启该功能； 开启nconnect后对于单并发、小IO数据块等场景会有一定的时延增加，当您的业务为小并发的延迟敏感型时，不建议开启该功能； nconnect功能开启后，可以提升NFS客户端与服务端之间的吞吐性能，最终性能阈值受限于文件系统服务端的能力及客户端网卡或CPU等资源能提供的能力。

常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS为容量型存储，在时延、带宽等存储性能上无法满足高性能AI训练，建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务，训练速度加快可以节省AI算力费用。 文件系统使用空间不足，可以扩容吗？ SFS Turbo文件系统支持在线扩容，扩容过程中挂载文件系统可能失败，建议业务低峰期扩容。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践

SFS Turbo容量监控及告警 如果SFS Turbo HPC型文件系统存储空间被写满，会影响业务运行，您可以在 CES 云监控服务上监控SFS Turbo文件系统的容量使用情况，并创建告警规则，当容量使用率超过一定阈值，可以发送邮件、短信等告警到运维人员。当收到容量监控告警时，您需要及时清理SFS Turbo存储空间、或缩短冷数据淘汰时间加速冷数据淘汰、或对SFS Turbo进行空间扩容。详情可参见SFS Turbo监控指标说明和创建告警规则。

配置SFS Turbo数据淘汰策略 SFS Turbo HPC型文件系统绑定OBS后端之后，建议配置缓存数据淘汰功能。SFS Turbo会自动释放设定时间内没有访问过的文件数据内容，仅保留文件元数据，数据内容释放后不占用SFS Turbo文件系统上的存储空间，再次访问该文件时，将重新从OBS中加载文件数据内容。 登录SFS管理控制台。 在文件系统列表中，单击创建的HPC型文件系统名称，进入文件系统详情页面。 在“基本信息”页签，设置冷数据淘汰时间。 图1 设置冷数据淘汰时间 只有已经导出到OBS且满足淘汰时间的数据才会被淘汰。 父主题： 基本配置

操作步骤 登录弹性云服务器管理控制台。 登录已创建好的Linux系统云服务器，用于同时访问SFS容量型文件系统和SFS Turbo文件系统。 输入以下挂载命令，用于访问文件系统1。文件系统1可以是SFS容量型文件系统或SFS Turbo文件系统。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp 文件系统1挂载地址 /mnt/src 输入以下挂载命令，用于访问文件系统2。文件系统2可以是SFS容量型文件系统或SFS Turbo文件系统。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp 文件系统2挂载地址 /mnt/dst 下载并安装rclone工具。下载地址请参见https://rclone.org/downloads/。 执行以下命令，进行数据同步。 rclone copy /mnt/src /mnt/dst -P --transfers 32 --checkers 64 --links --create-empty-src-dirs 参数说明如下，transfers和checkers数目可以根据系统规格自行配置： /mnt/src ：源路径 /mnt/dst：目标路径 --transfers：传输文件的并发数目。 --checkers：扫描本地文件的并发数目。 -P：数据拷贝进度。 --links：复制源端的软链接，目的端保持为软链接的形式。 --copy-links：复制源端软链接指向的文件内容，目的端变成文件的形式，不再是软链接。 --create-empty-src-dirs：复制源端的空目录到目的端。 等待数据完成同步后，可前往目标文件系统查看是否已成功迁移。

操作步骤 登录已创建好的Linux系统云服务器，用于同时访问本地NAS存储和SFS Turbo文件系统。 输入以下挂载命令，用于访问本地NAS存储。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp 本地NAS挂载地址 /mnt/src 输入以下挂载命令，用于访问SFS Turbo文件系统。 mount -t nfs -o vers=3,timeo=600,noresvport,nolock,tcp 文件系统挂载地址 /mnt/dst 在Linux云服务器中执行以下命令安装rsync工具。 yum install rsync 图1 安装rsync工具 源端服务器和目的端服务器均需要安装rsync工具，否则将会报错。 安装完成后，可以输入以下命令查询rsync工具的安装和版本情况。 rsync -version 图2 查看工具安装情况 您可以执行rsync命令迁移存量数据或迁移增量数据。 迁移存量数据：执行以下命令，将源端服务器/mnt/src目录中的数据全量同步迁移至目的端服务器/mnt/dst目录（SFS Turbo文件系统）中。 rsync -avP /mnt/src/ /mnt/dst/ 您还可以执行以下命令，利用rsync并发复制上传数据。 threads=${线程数量};src=/mnt/src/;dest=/mnt/dst/;rsync -av -f"+ */" -f"- *" $src $dest && (cd $src && find . -type f | xargs -n1 -P$threads -I% rsync -av % $dest/% ) 例如，线程数量为10，命令如下： threads=10;src=/mnt/src/;dest=/mnt/dst/;rsync -av -f"+ */" -f"- *" $src $dest && (cd $src && find . -type f | xargs -n1 -P$threads -I% rsync -av % $dest/% ) 迁移增量数据：执行以下命令，将存量数据迁移开始后的增量数据同步到目标SFS Turbo文件系统中。 rsync -avP --delete /mnt/src/ /mnt/dst/ --delete表示从目标SFS Turbo文件系统中删除已在源目录中被删除的数据，请您谨慎使用，避免意外删除目标SFS Turbo文件系统中的数据。

上传数据至OBS 已经在OBS上创建好普通OBS桶，请参见创建普通OBS桶。 已经安装obsutil，请参考下载和安装obsutil。 登录Imagenet数据集下载官网地址，下载Imagenet21k数据集：http://image-net.org/。 下载格式转换后的annotation文件：ILSVRC2021winner21k_whole_map_train.txt和ILSVRC2021winner21k_whole_map_val.txt。 下载完成后将上述3个文件数据上传至OBS桶中的imagenet21k_whole文件夹中。上传方法请参考obsutil命令行工具使用指导。

常见问题 可以只使用SFS Turbo HPC型文件系统支撑AI训练吗？ 当数据规模较小，不存在冷热数据分级降本诉求，又希望能方便快捷的构建AI训练系统时，可以选择只使用SFS Turbo高性能文件存储支撑AI训练。 可以基于OBS对象存储支撑AI自动驾驶、大模型训练吗？ OBS为容量型存储，在时延、带宽等存储性能上无法满足高性能AI训练，建议使用SFS Turbo HPC型高性能文件系统加速AI训练任务，训练速度加快可以节省AI算力费用。 文件系统使用空间不足，可以扩容吗？ SFS Turbo文件系统支持在线扩容，扩容过程中挂载文件系统可能失败，建议业务低峰期扩容。 父主题： 面向AI场景使用OBS+SFS Turbo的存储加速实践