云服务器内容精选
-
创建通用文件系统 在左侧导航栏,选择“通用文件系统”。在页面右上角单击“创建文件系统”。 如图2所示,根据界面提示配置参数,参数说明如表2所示。 图2 创建文件系统 表2 参数说明 参数 说明 备注 区域 必选参数。 租户所在的区域,当前区域请在界面左上方选择。 需要选择和云服务器、VPC终端节点同一个区域。 可用区 同一区域内,电力和网络互相独立的地理区域。 建议选择和云服务器同一个可用区。 名称 用户自定义文件系统的名称。 需全局唯一,不能与已有的通用文件系统名称重复,包括其他用户创建的通用文件系统。文件系统创建成功后,不支持修改名称。 删除通用文件系统后,需要等待30分钟才能创建同名通用文件系统。 只能由英文字母、数字、“_”和“-”组成,创建单个文件系统时输入长度小于等于255个字符,批量创建文件系统时输入长度1-251个字符。 协议类型 文件系统支持的共享访问协议为NFS(暂只支持NFSv3)。 - VPC 需要先选择对应VPC所在的IAM项目,再选择对应的VPC。什么是IAM项目? 需要选择弹性云服务器和VPC终端节点所在的VPC。 云服务器无法访问不在同一VPC下的文件系统,需要选择与云服务器相同的VPC。后续可以在权限列表中补充添加其他VPC。 - 企业项目 该参数针对企业用户使用。创建文件系统时,可以为文件系统添加已有的企业项目。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理,默认项目为default。 请从下拉列表中选择所在的企业项目。 说明: 如需使用该功能,请申请开通企业账号。 如需创建新的企业项目,请单击右侧“新建企业项目”或单击控制台页面右上角“企业”进行创建。 更多关于企业项目的信息,请参见《企业管理用户指南》。 配置完成后,单击“立即创建”。 核对文件系统信息,确认无误后单击“提交”。 根据页面提示,返回文件系统列表页面。 您可以看到文件系统显示在文件系统列表中,表示文件系统创建成功。为创建失败,请提交工单进行技术咨询。 图3 通用文件系统创建成功
-
创建SFS容量型文件系统 在左侧导航栏,选择“SFS容量型”。在页面右上角单击“创建文件系统”。 如图1所示,根据界面提示配置参数,参数说明如表1所示。 图1 创建文件系统 表1 参数说明 参数 说明 备注 区域 必选参数。 租户所在的区域,当前区域请在界面左上方选择。 建议选择和云服务器同一个区域。 可用区 同一区域内,电力和网络互相独立的地理区域。 建议选择和云服务器同一个可用区。 协议类型 文件系统支持的共享访问协议为NFS(暂只支持NFSv3)或CIFS。 NFS协议适合于Linux ECS,CIFS协议适合于Windows ECS。 根据需要选择NFS或CIFS。 虚拟私有云(VPC) 云服务器无法访问不在同一VPC下的文件系统,请选择与云服务器相同的VPC。 说明: 默认VPC下所有的云服务器拥有相同的权限,后续可以对使用的VPC进行修改。 每个文件系统在创建时只可以添加一个VPC。文件系统创建成功后,可通过配置多VPC实现跨VPC、多VPC下的文件共享。 可单击“查看虚拟私有云”查看已有VPC的详细信息或申请新的VPC。 最大容量 需要设置单个文件系统的最大容量,当文件系统的实际使用容量达到该值时,您将无法对文件系统执行写入操作,需要进行扩容。 使用容量范围为1GB~512000GB。 加密 可选参数。 加密针对文件系统加密。可以新创建加密或者不加密的文件系统,无法更改已有文件系统的加密属性。如果设置文件系统加密,则勾选“加密”,界面会出现以下参数: 创建委托 如果当前未授权SFS容量型文件系统服务访问KMS,则该按钮会出现;若已经授权,则该按钮不会出现。 单击“创建委托”以授权SFS容量型文件系统访问KMS,系统会创建名称为“SFSAccessKMS”的委托。当“委托名称”为“SFSAccessKMS”时,表示已经成功授权SFS访问KMS,授权成功后,SFS容量型文件系统可以获取KMS密钥用来加解密文件系统。授权成功后,无需再次授权。 委托名称 委托:委托方通过创建信任关系,给被委托方授予访问其资源的权限。 SFSAccessKMS:当“委托名称”为“SFSAccessKMS”时,表示已经授权SFS容量型文件系统获取KMS密钥,即自定义密钥,用于加解密文件系统。 密钥名称 说明: 当SFSAccessKMS被创建后,才可在当前界面看到“密钥名称”,具体请参见“创建委托”。 密钥名称是密钥的标识,您可以通过“密钥名称”选择需要使用的密钥。您可以选择使用的密钥如下: 默认密钥: 成功授权SFS容量型文件系统访问KMS,系统会创建默认密钥“sfs/default”。 自定义密钥: 即您已有的密钥或者新创建密钥,具体请参见《数据加密服务用户指南》的“创建密钥”章节。 说明: 当您需要使用弹性文件服务加密功能时,需要授权SFS容量型文件系统访问KMS。如果您有授权资格,则可直接授权。如果权限不足,需要联系系统管理员获取安全管理员权限,然后再重新操作,更多详细介绍请参见文件系统加密。 - 名称 用户自定义文件系统的名称。同时创建多个文件系统时,系统自动增加后缀,例如:用户设置名称为“sfs-name”,申请数量为2个时,文件系统的名称将会设置为sfs-name-001,sfs-name-002。 只能由英文字母、数字、“_”和“-”组成,创建单个文件系统时输入长度小于等于255个字符,批量创建文件系统时输入长度1-251个字符。 数量(个) 创建文件系统的数量。 每个云账号可以创建的文件系统的总容量为512000GB,最多可以创建10个文件系统,并且支持同时创建。 当需要创建的文件系统的总容量或数量超出配额限制时,请单击“申请扩大配额”进行申请。 配置完成后,单击“立即创建”。 核对文件系统信息,确认无误后单击“提交”。 根据页面提示,返回文件系统列表页面。 您可以看到文件系统的“状态”显示为“可用”,表示文件系统创建成功。若“状态”为“创建失败”,请联系管理员处理。
-
前提条件 创建SFS Turbo、SFS容量型和通用文件系统前,确认已有可用的VPC。 若无VPC,可参考《虚拟私有云用户指南》中的“创建虚拟私有云基本信息及默认子网”章节创建VPC。 创建SFS Turbo、SFS容量型和通用文件系统前,确认已有可用的ECS,且ECS归属到已创建的VPC下。 若无ECS,可参考《弹性云服务器快速入门》中的“购买弹性云服务器”章节购买ECS。 创建SFS Turbo文件系统,依赖的服务有:虚拟私有云 VPC、费用中心 BSS、专属存储服务 DSS和弹性云服务器 ECS。需要配置的角色/策略如下: IAM用户设置了SFS Turbo FullAccess权限后,权限集中包含了VPC FullAccess,这是创建文件系统所需要的权限,用户不需额外添加VPC FullAccess 系统策略。 如果需要创建包年包月文件系统,需要设置BSS Administrator权限。 如果需要在专属项目下创建文件系统,需要设置DSS FullAccess 和 ECS FullAccess权限。 创建通用文件系统,依赖的服务有:虚拟私有云 VPC。需要配置的角色/策略如下: IAM用户设置了SFS3 FullAccess权限后,权限集中包含了VPC ReadOnlyAccess,这是创建文件系统所需要的权限,用户不需额外添加VPC ReadOnlyAccess系统策略。
-
监控指标 表1 SFS容量型(已售罄)支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) read_bandwidth 读带宽 该指标用于统计文件系统在周期内的读数据量。 单位:字节/秒 ≥ 0 bytes/s 文件共享 4分钟 write_bandwidth 写带宽 该指标用于统计文件系统在周期内的写数据量 单位:字节/秒 ≥ 0 bytes/s 文件共享 4分钟 rw_bandwidth 读写带宽 该指标用于统计文件系统在周期内的读写数据量。 单位:字节/秒 ≥ 0 bytes/s 文件共享 4分钟 read_ops 读OPS 该指标用于统计文件系统在周期内的读次数。 单位:次/秒 ≥ 0 counts/s 文件共享 4分钟 write_ops 写OPS 该指标用于统计文件系统在周期内的写次数。 单位:次/秒 ≥ 0 counts/s 文件共享 4分钟 rw_ops 读写OPS 该指标用于统计文件系统在周期内的读写次数。 单位:次/秒 ≥ 0 counts/s 文件共享 4分钟 used_capacity 已用容量 该指标用于统计文件系统在周期内的已用容量。 单位:字节 ≥ 0 bytes 文件共享 4分钟 表2 通用文件系统支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) read_bandwidth 读带宽 该指标用于统计文件系统在周期内的读数据量。 单位:字节/秒 ≥ 0 bytes/s 文件共享 4分钟 write_bandwidth 写带宽 该指标用于统计文件系统在周期内的写数据量 单位:字节/秒 ≥ 0 bytes/s 文件共享 4分钟 read_tps 读TPS 该指标用于统计文件系统在周期内的读次数。 单位:次/秒 ≥ 0 counts/s 文件共享 4分钟 write_tps 写TPS 该指标用于统计文件系统在周期内的写次数。 单位:次/秒 ≥ 0 counts/s 文件共享 4分钟 通用文件系统暂不支持used_capacity容量监控。
-
数据导入功能 SFS Turbo文件系统绑定OBS桶后,可以使用数据导入功能。 默认情况下,元数据导入完成后,数据不会导入到SFS Turbo文件系统中,初次访问会按需从OBS中加载数据,对文件的第一次读取操作可能耗时较长。如果您的业务对时延比较敏感,并且您知道业务需要访问哪些目录和文件,比如AI训练等场景涉及海量小文件,对时延比较敏感,可以选择提前导入指定目录和文件。 数据导入功能会同时导入元数据和数据内容,元数据将会采用快速导入方式,不会导入其他附加元数据(如uid、gid、mode)。 在绑定OBS桶之后,单击“数据导入”选项。 图3 数据导入 “对象路径”请填写绑定OBS桶内对象的路径(不包含桶名)。 OBS桶中的对象路径(不包含桶名),目录需以“/”结尾。 如果要导入OBS桶内所有对象,则不用填写对象路径。SFS Turbo会将数据导入到联动目录下,且联动目录下的文件路径和OBS桶里的对象路径保持一致。 对象路径示例(“/mnt/sfs_turbo”为您的挂载目录,“output-1”为您的联动目录名称): 如对象路径为dir/,则会导入到“/mnt/sfs_turbo/output-1/dir” 如对象路径为dir/file, 则会导入到“/mnt/sfs_turbo/output-1/dir/file” 如对象路径为空,则会直接导入到“/mnt/sfs_turbo/output-1” 单击“确定”,提交导入任务。 在OBS数据导入到SFS Turbo之后,若OBS桶中的数据发生新增或修改,需要重新导入到SFS Turbo中。 通过API使用数据导入功能的具体操作请参考创建SFSTurbo 和 OBS 之间的联动任务。
-
元数据导入功能 SFS Turbo文件系统绑定OBS桶后,可以使用元数据导入功能。 当您使用SFS Turbo文件系统访问OBS桶的数据时,您需要使用元数据导入功能提前将OBS数据文件的元数据(名称、大小、最后修改时间)导入到SFS Turbo文件系统中。只有元数据导入之后,您才可以在文件系统的联动子目录中去访问OBS存储桶中的数据。元数据导入功能仅会导入文件元数据,文件内容会在首次访问时从OBS存储桶中加载并缓存在SFS Turbo中,后续重复访问会直接命中,无需再从OBS存储桶中加载。 SFS Turbo文件系统提供快速导入和附加元数据导入两种元数据导入方式。元数据导入之后,您可以在联动子目录下看到导入的目录和文件列表。 快速导入:当您绑定的OBS桶中存储的数据不是来源于SFS Turbo导出时,可以选择快速导入方式,快速导入方式仅会导入OBS的元数据(名称、大小、最后修改时间),不会导入其它附加元数据(如uid、gid、mode),SFS Turbo会生成默认的附加元数据(uid:0、gid:0、目录权限:755、文件权限:644)。快速导入能够提供更快的元数据导入性能,推荐您使用快速导入。 附加元数据导入:当您绑定的OBS桶中存储的数据是来源于SFS Turbo导出时,可以使用附加元数据导入方式,附加元数据导入方式会导入OBS的元数据(名称、大小、最后修改时间)以及来源于SFS Turbo导出时的附加元数据(如uid、gid、mode)。 在绑定OBS桶之后,单击“元数据导入”选项。 图2 元数据导入 “导入前缀”请填写绑定OBS桶内对象的前缀,可以具体到某个对象名。如果要导入整个OBS桶内的所有对象,则不用填写。 勾选“附加元数据导入”将会采用附加元数据导入方式,不勾选“附加元数据导入”将采用快速导入方式。 单击“确定”,提交导入任务。 在OBS数据导入到SFS Turbo之后,若OBS桶中的数据发生新增或修改,需要重新导入到SFS Turbo中。
-
数据导出功能 SFS Turbo文件系统绑定OBS桶后,可以使用数据导出功能。 当您在联动目录创建一些文件,或者对从OBS导入的文件进行修改后,需要将这些文件存储到OBS桶里,可以使用数据导出功能。数据导出支持指定前缀,只有满足指定前缀的目录和文件才会被导出到OBS桶里。 在绑定OBS桶之后,单击“导出”选项。 图4 数据导出 “导出文件前缀”请填写需要导出的目录和文件前缀(路径不包含联动目录),可以具体到某个文件。如果要导出整个联动目录到OBS桶,则不用填写。 单击“确定”,提交导出任务。 数据导出功能会启动异步任务对导出目录内的文件进行扫描并导出,若扫描时发现文件10s内发生过更新,则本次任务不会导出该文件。 对于一个文件的所有修改,导出到OBS桶之后,下次再提交该文件的导出任务时,若该文件未发生过变化,则该文件不会被再次导出,即使OBS桶里已经将导出的对象删掉了,也不会再导出该文件。 从SFS Turbo导出的对象,在OBS对象的自定义元数据里保存了一些SFS Turbo的元数据信息,名称以x-obs-meta-sfsturbo-st-开头。 不支持超长路径,可导出文件路径的最大长度为1023个字符。 文件系统内单个文件大小上限为320TB、可导出的单个文件大小上限为48.8TB。 大文件导出时OBS桶内x-obs-upload-sfsturbo-temp-part目录会存储大文件导出过程中产生的临时文件,导出完成后会自动删除该目录及临时文件。 导出数据时: 导入到SFS Turbo的对象,当在SFS Turbo里修改了,再从SFS Turbo导出这个对象时,若OBS桶里该对象没有发生过修改,则会覆盖OBS桶里的对象,若OBS桶里该对象发生过修改,则不会覆盖。 对象正在被导出时,上传同名对象可能会造成新上传的对象被覆盖。 开启WORM策略的OBS桶,无法从SFS Turbo导出数据到OBS桶。
-
数据淘汰功能 SFS Turbo文件系统绑定OBS桶之后,可以使用数据淘汰功能。淘汰时会释放数据内容,仅保留元数据,释放后不占用SFS Turbo文件系统上的存储空间。再次访问该文件时,将重新从OBS中加载文件数据内容。 按时间淘汰 SFS Turbo文件系统绑定OBS桶之后,支持数据按时间淘汰功能。设定时间内没有被访问过的文件会被淘汰。 按时间淘汰功能支持设置(冷)数据淘汰时间,设置步骤请参考以下操作。 登录弹性文件服务管理控制台。 在文件系统列表中,单击创建的SFS Turbo文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置(冷)数据淘汰时间。 图5 设置冷数据淘汰时间 按容量淘汰 SFS Turbo文件系统绑定OBS桶后,支持数据按容量淘汰功能。 容量达到95%及以上按照30分钟淘汰时间进行淘汰,淘汰至容量低于85%。 淘汰规则:按时间淘汰和按容量淘汰哪个先达到就先按哪个淘汰。 数据淘汰默认开启,淘汰时间默认为60小时。设置(冷)数据淘汰时间的API请参考更新文件系统。 如果SFS Turbo文件系统存储空间写满,会影响业务运行,建议在云监控服务CES上配置SFS Turbo已用容量的监控告警。 当触发容量阈值告警时请手动缩短数据淘汰时间,例如从60小时配置成40小时,加速(冷)数据淘汰,或者对SFS Turbo存储空间进行扩容。
-
FAQ 什么情况下会发生数据淘汰? 从OBS导入到SFS Turbo的文件,当文件在设定数据淘汰时间内没有被访问时,会自动对该文件进行淘汰。 在SFS Turbo上创建的文件,只有已经导出到OBS并且满足数据淘汰时间,才会进行淘汰,如果还没有导出到OBS,则不会淘汰。 数据淘汰之后,怎么重新将数据导入到SFS Turbo文件系统? 对文件进行读写操作时会重新从OBS桶加载文件数据到SFS Turbo文件系统; 使用数据导入功能重新将数据从OBS桶加载到SFS Turbo文件系统。 什么场景下会发生数据导入失败? 当只导入了文件元数据,或者SFS Turbo中发生了数据淘汰,SFS Turbo中只剩下文件元数据,但OBS桶中的对象又被删除时,进行数据导入或访问文件内容时会发生失败。 导入/导出任务是同步的,还是异步的? 是异步的,任务提交后马上返回,您可以通过任务id查询异步任务完成状态。 删除SFS Turbo联动目录内的文件,OBS桶里对应的对象会删除吗? 不会。
-
使用限制 支持存储联动的SFS Turbo文件系统规格有:20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB。 SFS Turbo目录和OBS配置联动后不支持以下操作:硬链接、重命名和目录配额。 单个SFS Turbo文件系统最多可配置16个OBS联动目录。 数据淘汰只与数据淘汰时间有关,与SFS Turbo文件系统存储空间大小无关,用户需要根据实际业务场景评估文件系统存储空间用量,权衡数据淘汰时间。 创建 OBS 后端存储库,依赖的服务是对象存储服务 OBS。用户需要额外配置OBS Adminstrator权限。 同一层目录下不允许同样名称的文件和目录存在。 不支持超长路径,数据流动支持的路径最大长度是1023字符。 开启WORM策略的OBS桶,只能从OBS桶导入数据到SFS Turbo,无法从SFS Turbo导出数据到OBS桶。
-
概述 AI训练和推理、高性能数据预处理、EDA、渲染、仿真等场景下,您可以通过SFS Turbo文件系统来加速OBS对象存储中的数据访问。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象。您可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。您可以在上层训练等任务开始前将OBS对象存储桶中的数据提前导入到SFS Turbo中,加速对OBS对象存储中的数据访问;上层任务产生的中间和结果等数据可以直接高速写入到SFS Turbo缓存中,中间缓存数据可被下游业务环节继续读取并处理,结果数据可以异步方式导出到关联的OBS对象存储中进行长期低成本存储。同时,您还可以配置缓存数据淘汰功能,及时将长期未访问的数据从SFS Turbo缓存中淘汰,释放SFS Turbo高性能缓存空间。
-
绑定OBS桶 登录弹性文件服务管理控制台。 在文件系统列表中,单击创建的文件系统名称,进入文件系统详情页面。 进入“绑定后端存储”页签,单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS桶”中,填写如下参数。 表1 参数说明 参数 含义 限制 配置后可编辑 联动目录名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录,该目录将绑定对应的OBS桶,且该目录名称不能和已有目录重名。 子目录名称不能重复。 子目录名称必须是文件系统根目录下不存在的目录名。 子目录名称不能是“.”或“..”。 不支持 桶名 OBS存储桶桶名。 无法绑定不存在的存储桶。 目前仅支持OBS存储桶,不支持OBS并行文件系统。 不支持 OBS区域域名 OBS区域域名,即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS Turbo云服务”,并单击“确定”,完成绑定。 目前仅支持OBS存储桶,不支持OBS并行文件系统。 绑定OBS桶时,会在OBS桶上添加名为"Sid": "PolicyAddedBySFSTurbo"的桶策略,请不要修改或删除该桶策略,否则可能导致联动功能异常。 绑定OBS桶后,OBS桶原有的桶策略会被名为"Sid": "PolicyAddedBySFSTurbo"的桶策略覆盖。
-
网段类型 网段类型配置可以采用两种配置方式。 * : 代表任何ip地址 CIDR格式网段 : CIDR格式地址使用可变长度子网掩码来表示 IP 地址中网络地址位和主机地址位之间的比例。 CIDR IP地址在普通IP地址的基础上附加了一个后缀值,这个后缀值就是网络地址前缀位数。例如,192.1.1.0/24 是一个 IPv4 CIDR地址,其中前 24 位(即 192.1.1)是网络地址。 任何前24位与192.1.1.0相同的ip都适用于这一条鉴权规则,即192.1.1.1 与 192.1.1.1/32 表达的含义相同。
-
权限类型 权限分为两部分:access权限和squash权限。 表1 access权限 权限 描述 rw 用户拥有读写权限 ro 用户拥有只读权限 none 用户无权限访问 表2 squash权限 权限 描述 all_squash 所有的用户访问时权限降为nobody root_squash root用户访问时权限降为nobody no_root_squash 包括root用户在内的任何用户访问时权限都不会降为nobody
-
Token认证 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头中,从而通过身份认证,获得操作API的权限。Token可通过调用获取用户Token接口获取。 调用本服务API需要项目级别的Token,即调用获取用户Token接口时,请求body中auth.scope的取值需要选择project,如下所示。 { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "username", //IAM用户名 "password": "********", //IAM用户密码 "domain": { "name": "domainname" //IAM用户所属账号名 } } } }, "scope": { "project": { "name": "xxxxxxxx" //项目名称 } } } } 获取Token后,再调用其他接口时,您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ....”,则调用接口时将“X-Auth-Token: ABCDEFJ....”加到请求消息头即可,如下所示。 1 2 3 POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/projects Content-Type: application/json X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333。
更多精彩内容
CDN加速
GaussDB
文字转换成语音
免费的服务器
如何创建网站
域名网站购买
私有云桌面
云主机哪个好
域名怎么备案
手机云电脑
SSL证书申请
云点播服务器
免费OCR是什么
电脑云桌面
域名备案怎么弄
语音转文字
文字图片识别
云桌面是什么
网址安全检测
网站建设搭建
国外CDN加速
SSL免费证书申请
短信批量发送
图片OCR识别
云数据库MySQL
个人域名购买
录音转文字
扫描图片识别文字
OCR图片识别
行驶证识别
虚拟电话号码
电话呼叫中心软件
怎么制作一个网站
Email注册网站
华为VNC
图像文字识别
企业网站制作
个人网站搭建
华为云计算
免费租用云托管
云桌面云服务器
ocr文字识别免费版
HTTPS证书申请
图片文字识别转换
国外域名注册商
使用免费虚拟主机
云电脑主机多少钱
鲲鹏云手机
短信验证码平台
OCR图片文字识别
SSL证书是什么
申请企业邮箱步骤
免费的企业用邮箱
云免流搭建教程
域名价格