云服务器内容精选

  • 创建通用文件系统 在左侧导航栏,选择“通用文件系统”。在页面右上角单击“创建文件系统”。 如图2所示,根据界面提示配置参数,参数说明如表2所示。 图2 创建文件系统 表2 参数说明 参数 说明 备注 区域 必选参数。 租户所在的区域,当前区域请在界面左上方选择。 需要选择和云服务器、VPC终端节点同一个区域。 可用区 同一区域内,电力和网络互相独立的地理区域。 建议选择和云服务器同一个可用区。 名称 用户自定义文件系统的名称。 需全局唯一,不能与已有的通用文件系统名称重复,包括其他用户创建的通用文件系统。文件系统创建成功后,不支持修改名称。 删除通用文件系统后,需要等待30分钟才能创建同名通用文件系统。 只能由英文字母、数字、“_”和“-”组成,创建单个文件系统时输入长度小于等于255个字符,批量创建文件系统时输入长度1-251个字符。 协议类型 文件系统支持的共享访问协议为NFS(暂只支持NFSv3)。 - VPC 需要先选择对应VPC所在的IAM项目,再选择对应的VPC。什么是IAM项目? 需要选择弹性云服务器和VPC终端节点所在的VPC。 云服务器无法访问不在同一VPC下的文件系统,需要选择与云服务器相同的VPC。后续可以在权限列表中补充添加其他VPC。 - 企业项目 该参数针对企业用户使用。创建文件系统时,可以为文件系统添加已有的企业项目。 企业项目是一种云资源管理方式,企业项目管理服务提供统一的云资源按项目管理,以及项目内的资源管理、成员管理,默认项目为default。 请从下拉列表中选择所在的企业项目。 说明: 如需使用该功能,请申请开通企业账号。 如需创建新的企业项目,请单击右侧“新建企业项目”或单击控制台页面右上角“企业”进行创建。 更多关于企业项目的信息,请参见《企业管理用户指南》。 配置完成后,单击“立即创建”。 核对文件系统信息,确认无误后单击“提交”。 根据页面提示,返回文件系统列表页面。 您可以看到文件系统显示在文件系统列表中,表示文件系统创建成功。为创建失败,请提交工单进行技术咨询。 图3 通用文件系统创建成功
  • 创建SFS容量型文件系统 在左侧导航栏,选择“SFS容量型”。在页面右上角单击“创建文件系统”。 如图1所示,根据界面提示配置参数,参数说明如表1所示。 图1 创建文件系统 表1 参数说明 参数 说明 备注 区域 必选参数。 租户所在的区域,当前区域请在界面左上方选择。 建议选择和云服务器同一个区域。 可用区 同一区域内,电力和网络互相独立的地理区域。 建议选择和云服务器同一个可用区。 协议类型 文件系统支持的共享访问协议为NFS(暂只支持NFSv3)或CIFS。 NFS协议适合于Linux ECS,CIFS协议适合于Windows ECS。 根据需要选择NFS或CIFS。 虚拟私有云(VPC) 云服务器无法访问不在同一VPC下的文件系统,请选择与云服务器相同的VPC。 说明: 默认VPC下所有的云服务器拥有相同的权限,后续可以对使用的VPC进行修改。 每个文件系统在创建时只可以添加一个VPC。文件系统创建成功后,可通过配置多VPC实现跨VPC、多VPC下的文件共享。 可单击“查看虚拟私有云”查看已有VPC的详细信息或申请新的VPC。 最大容量 需要设置单个文件系统的最大容量,当文件系统的实际使用容量达到该值时,您将无法对文件系统执行写入操作,需要进行扩容。 使用容量范围为1GB~512000GB。 加密 可选参数。 加密针对文件系统加密。可以新创建加密或者不加密的文件系统,无法更改已有文件系统的加密属性。如果设置文件系统加密,则勾选“加密”,界面会出现以下参数: 创建委托 如果当前未授权SFS容量型文件系统服务访问KMS,则该按钮会出现;若已经授权,则该按钮不会出现。 单击“创建委托”以授权SFS容量型文件系统访问KMS,系统会创建名称为“SFSAccessKMS”的委托。当“委托名称”为“SFSAccessKMS”时,表示已经成功授权SFS访问KMS,授权成功后,SFS容量型文件系统可以获取KMS密钥用来加解密文件系统。授权成功后,无需再次授权。 委托名称 委托:委托方通过创建信任关系,给被委托方授予访问其资源的权限。 SFSAccessKMS:当“委托名称”为“SFSAccessKMS”时,表示已经授权SFS容量型文件系统获取KMS密钥,即自定义密钥,用于加解密文件系统。 密钥名称 说明: 当SFSAccessKMS被创建后,才可在当前界面看到“密钥名称”,具体请参见“创建委托”。 密钥名称是密钥的标识,您可以通过“密钥名称”选择需要使用的密钥。您可以选择使用的密钥如下: 默认密钥: 成功授权SFS容量型文件系统访问KMS,系统会创建默认密钥“sfs/default”。 自定义密钥: 即您已有的密钥或者新创建密钥,具体请参见《数据加密服务用户指南》的“创建密钥”章节。 说明: 当您需要使用弹性文件服务加密功能时,需要授权SFS容量型文件系统访问KMS。如果您有授权资格,则可直接授权。如果权限不足,需要联系系统管理员获取安全管理员权限,然后再重新操作,更多详细介绍请参见文件系统加密。 - 名称 用户自定义文件系统的名称。同时创建多个文件系统时,系统自动增加后缀,例如:用户设置名称为“sfs-name”,申请数量为2个时,文件系统的名称将会设置为sfs-name-001,sfs-name-002。 只能由英文字母、数字、“_”和“-”组成,创建单个文件系统时输入长度小于等于255个字符,批量创建文件系统时输入长度1-251个字符。 数量(个) 创建文件系统的数量。 每个云账号可以创建的文件系统的总容量为512000GB,最多可以创建10个文件系统,并且支持同时创建。 当需要创建的文件系统的总容量或数量超出配额限制时,请单击“申请扩大配额”进行申请。 配置完成后,单击“立即创建”。 核对文件系统信息,确认无误后单击“提交”。 根据页面提示,返回文件系统列表页面。 您可以看到文件系统的“状态”显示为“可用”,表示文件系统创建成功。若“状态”为“创建失败”,请联系管理员处理。
  • 前提条件 创建SFS Turbo、SFS容量型和通用文件系统前,确认已有可用的VPC。 若无VPC,可参考《虚拟私有云用户指南》中的“创建虚拟私有云基本信息及默认子网”章节创建VPC。 创建SFS Turbo、SFS容量型和通用文件系统前,确认已有可用的ECS,且ECS归属到已创建的VPC下。 若无ECS,可参考《弹性云服务器快速入门》中的“购买弹性云服务器”章节购买ECS。 创建SFS Turbo文件系统,依赖的服务有:虚拟私有云 VPC、费用中心 BSS、专属存储服务 DSS和弹性云服务器 ECS。需要配置的角色/策略如下: IAM用户设置了SFS Turbo FullAccess权限后,权限集中包含了VPC FullAccess,这是创建文件系统所需要的权限,用户不需额外添加VPC FullAccess 系统策略。 如果需要创建包年包月文件系统,需要设置BSS Administrator权限。 如果需要在专属项目下创建文件系统,需要设置DSS FullAccess 和 ECS FullAccess权限。 创建通用文件系统,依赖的服务有:虚拟私有云 VPC。需要配置的角色/策略如下: IAM用户设置了SFS3 FullAccess权限后,权限集中包含了VPC ReadOnlyAccess,这是创建文件系统所需要的权限,用户不需额外添加VPC ReadOnlyAccess系统策略。
  • 监控指标 表1 SFS容量型(已售罄)支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) read_bandwidth 读带宽 该指标用于统计文件系统在周期内的读数据量。 单位:字节/秒 ≥ 0 bytes/s 文件共享 4分钟 write_bandwidth 写带宽 该指标用于统计文件系统在周期内的写数据量 单位:字节/秒 ≥ 0 bytes/s 文件共享 4分钟 rw_bandwidth 读写带宽 该指标用于统计文件系统在周期内的读写数据量。 单位:字节/秒 ≥ 0 bytes/s 文件共享 4分钟 read_ops 读OPS 该指标用于统计文件系统在周期内的读次数。 单位:次/秒 ≥ 0 counts/s 文件共享 4分钟 write_ops 写OPS 该指标用于统计文件系统在周期内的写次数。 单位:次/秒 ≥ 0 counts/s 文件共享 4分钟 rw_ops 读写OPS 该指标用于统计文件系统在周期内的读写次数。 单位:次/秒 ≥ 0 counts/s 文件共享 4分钟 used_capacity 已用容量 该指标用于统计文件系统在周期内的已用容量。 单位:字节 ≥ 0 bytes 文件共享 4分钟 表2 通用文件系统支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) read_bandwidth 读带宽 该指标用于统计文件系统在周期内的读数据量。 单位:字节/秒 ≥ 0 bytes/s 文件共享 4分钟 write_bandwidth 写带宽 该指标用于统计文件系统在周期内的写数据量 单位:字节/秒 ≥ 0 bytes/s 文件共享 4分钟 read_tps 读TPS 该指标用于统计文件系统在周期内的读次数。 单位:次/秒 ≥ 0 counts/s 文件共享 4分钟 write_tps 写TPS 该指标用于统计文件系统在周期内的写次数。 单位:次/秒 ≥ 0 counts/s 文件共享 4分钟 通用文件系统暂不支持used_capacity容量监控。
  • 数据导入功能 SFS Turbo文件系统绑定OBS桶后,可以使用数据导入功能。 默认情况下,元数据导入完成后,数据不会导入到SFS Turbo文件系统中,初次访问会按需从OBS中加载数据,对文件的第一次读取操作可能耗时较长。如果您的业务对时延比较敏感,并且您知道业务需要访问哪些目录和文件,比如AI训练等场景涉及海量小文件,对时延比较敏感,可以选择提前导入指定目录和文件。 数据导入功能会同时导入元数据和数据内容,元数据将会采用快速导入方式,不会导入其他附加元数据(如uid、gid、mode)。 在绑定OBS桶之后,单击“数据导入”选项。 图3 数据导入 “对象路径”请填写绑定OBS桶内对象的路径(不包含桶名)。 OBS桶中的对象路径(不包含桶名),目录需以“/”结尾。 如果要导入OBS桶内所有对象,则不用填写对象路径。SFS Turbo会将数据导入到联动目录下,且联动目录下的文件路径和OBS桶里的对象路径保持一致。 对象路径示例(“/mnt/sfs_turbo”为您的挂载目录,“output-1”为您的联动目录名称): 如对象路径为dir/,则会导入到“/mnt/sfs_turbo/output-1/dir” 如对象路径为dir/file, 则会导入到“/mnt/sfs_turbo/output-1/dir/file” 如对象路径为空,则会直接导入到“/mnt/sfs_turbo/output-1” 单击“确定”,提交导入任务。 在OBS数据导入到SFS Turbo之后,若OBS桶中的数据发生新增或修改,需要重新导入到SFS Turbo中。 通过API使用数据导入功能的具体操作请参考创建SFSTurbo 和 OBS 之间的联动任务。
  • 元数据导入功能 SFS Turbo文件系统绑定OBS桶后,可以使用元数据导入功能。 当您使用SFS Turbo文件系统访问OBS桶的数据时,您需要使用元数据导入功能提前将OBS数据文件的元数据(名称、大小、最后修改时间)导入到SFS Turbo文件系统中。只有元数据导入之后,您才可以在文件系统的联动子目录中去访问OBS存储桶中的数据。元数据导入功能仅会导入文件元数据,文件内容会在首次访问时从OBS存储桶中加载并缓存在SFS Turbo中,后续重复访问会直接命中,无需再从OBS存储桶中加载。 SFS Turbo文件系统提供快速导入和附加元数据导入两种元数据导入方式。元数据导入之后,您可以在联动子目录下看到导入的目录和文件列表。 快速导入:当您绑定的OBS桶中存储的数据不是来源于SFS Turbo导出时,可以选择快速导入方式,快速导入方式仅会导入OBS的元数据(名称、大小、最后修改时间),不会导入其它附加元数据(如uid、gid、mode),SFS Turbo会生成默认的附加元数据(uid:0、gid:0、目录权限:755、文件权限:644)。快速导入能够提供更快的元数据导入性能,推荐您使用快速导入。 附加元数据导入:当您绑定的OBS桶中存储的数据是来源于SFS Turbo导出时,可以使用附加元数据导入方式,附加元数据导入方式会导入OBS的元数据(名称、大小、最后修改时间)以及来源于SFS Turbo导出时的附加元数据(如uid、gid、mode)。 在绑定OBS桶之后,单击“元数据导入”选项。 图2 元数据导入 “导入前缀”请填写绑定OBS桶内对象的前缀,可以具体到某个对象名。如果要导入整个OBS桶内的所有对象,则不用填写。 勾选“附加元数据导入”将会采用附加元数据导入方式,不勾选“附加元数据导入”将采用快速导入方式。 单击“确定”,提交导入任务。 在OBS数据导入到SFS Turbo之后,若OBS桶中的数据发生新增或修改,需要重新导入到SFS Turbo中。
  • 数据导出功能 SFS Turbo文件系统绑定OBS桶后,可以使用数据导出功能。 当您在联动目录创建一些文件,或者对从OBS导入的文件进行修改后,需要将这些文件存储到OBS桶里,可以使用数据导出功能。数据导出支持指定前缀,只有满足指定前缀的目录和文件才会被导出到OBS桶里。 在绑定OBS桶之后,单击“导出”选项。 图4 数据导出 “导出文件前缀”请填写需要导出的目录和文件前缀(路径不包含联动目录),可以具体到某个文件。如果要导出整个联动目录到OBS桶,则不用填写。 单击“确定”,提交导出任务。 数据导出功能会启动异步任务对导出目录内的文件进行扫描并导出,若扫描时发现文件10s内发生过更新,则本次任务不会导出该文件。 对于一个文件的所有修改,导出到OBS桶之后,下次再提交该文件的导出任务时,若该文件未发生过变化,则该文件不会被再次导出,即使OBS桶里已经将导出的对象删掉了,也不会再导出该文件。 从SFS Turbo导出的对象,在OBS对象的自定义元数据里保存了一些SFS Turbo的元数据信息,名称以x-obs-meta-sfsturbo-st-开头。 不支持超长路径,可导出文件路径的最大长度为1023个字符。 文件系统内单个文件大小上限为320TB、可导出的单个文件大小上限为48.8TB。 大文件导出时OBS桶内x-obs-upload-sfsturbo-temp-part目录会存储大文件导出过程中产生的临时文件,导出完成后会自动删除该目录及临时文件。 导出数据时: 导入到SFS Turbo的对象,当在SFS Turbo里修改了,再从SFS Turbo导出这个对象时,若OBS桶里该对象没有发生过修改,则会覆盖OBS桶里的对象,若OBS桶里该对象发生过修改,则不会覆盖。 对象正在被导出时,上传同名对象可能会造成新上传的对象被覆盖。 开启WORM策略的OBS桶,无法从SFS Turbo导出数据到OBS桶。
  • 数据淘汰功能 SFS Turbo文件系统绑定OBS桶之后,可以使用数据淘汰功能。淘汰时会释放数据内容,仅保留元数据,释放后不占用SFS Turbo文件系统上的存储空间。再次访问该文件时,将重新从OBS中加载文件数据内容。 按时间淘汰 SFS Turbo文件系统绑定OBS桶之后,支持数据按时间淘汰功能。设定时间内没有被访问过的文件会被淘汰。 按时间淘汰功能支持设置(冷)数据淘汰时间,设置步骤请参考以下操作。 登录弹性文件服务管理控制台。 在文件系统列表中,单击创建的SFS Turbo文件系统名称,进入文件系统详情页面。 在“基本信息”页签,设置(冷)数据淘汰时间。 图5 设置冷数据淘汰时间 按容量淘汰 SFS Turbo文件系统绑定OBS桶后,支持数据按容量淘汰功能。 容量达到95%及以上按照30分钟淘汰时间进行淘汰,淘汰至容量低于85%。 淘汰规则:按时间淘汰和按容量淘汰哪个先达到就先按哪个淘汰。 数据淘汰默认开启,淘汰时间默认为60小时。设置(冷)数据淘汰时间的API请参考更新文件系统。 如果SFS Turbo文件系统存储空间写满,会影响业务运行,建议在云监控服务CES上配置SFS Turbo已用容量的监控告警。 当触发容量阈值告警时请手动缩短数据淘汰时间,例如从60小时配置成40小时,加速(冷)数据淘汰,或者对SFS Turbo存储空间进行扩容。
  • FAQ 什么情况下会发生数据淘汰? 从OBS导入到SFS Turbo的文件,当文件在设定数据淘汰时间内没有被访问时,会自动对该文件进行淘汰。 在SFS Turbo上创建的文件,只有已经导出到OBS并且满足数据淘汰时间,才会进行淘汰,如果还没有导出到OBS,则不会淘汰。 数据淘汰之后,怎么重新将数据导入到SFS Turbo文件系统? 对文件进行读写操作时会重新从OBS桶加载文件数据到SFS Turbo文件系统; 使用数据导入功能重新将数据从OBS桶加载到SFS Turbo文件系统。 什么场景下会发生数据导入失败? 当只导入了文件元数据,或者SFS Turbo中发生了数据淘汰,SFS Turbo中只剩下文件元数据,但OBS桶中的对象又被删除时,进行数据导入或访问文件内容时会发生失败。 导入/导出任务是同步的,还是异步的? 是异步的,任务提交后马上返回,您可以通过任务id查询异步任务完成状态。 删除SFS Turbo联动目录内的文件,OBS桶里对应的对象会删除吗? 不会。
  • 使用限制 支持存储联动的SFS Turbo文件系统规格有:20MB/s/TiB、40MB/s/TiB、125MB/s/TiB、250MB/s/TiB、500MB/s/TiB、1000MB/s/TiB。 SFS Turbo目录和OBS配置联动后不支持以下操作:硬链接、重命名和目录配额。 单个SFS Turbo文件系统最多可配置16个OBS联动目录。 数据淘汰只与数据淘汰时间有关,与SFS Turbo文件系统存储空间大小无关,用户需要根据实际业务场景评估文件系统存储空间用量,权衡数据淘汰时间。 创建 OBS 后端存储库,依赖的服务是对象存储服务 OBS。用户需要额外配置OBS Adminstrator权限。 同一层目录下不允许同样名称的文件和目录存在。 不支持超长路径,数据流动支持的路径最大长度是1023字符。 开启WORM策略的OBS桶,只能从OBS桶导入数据到SFS Turbo,无法从SFS Turbo导出数据到OBS桶。
  • 概述 AI训练和推理、高性能数据预处理、EDA、渲染、仿真等场景下,您可以通过SFS Turbo文件系统来加速OBS对象存储中的数据访问。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象。您可以指定SFS Turbo内的目录与OBS对象存储桶进行关联,然后通过创建导入导出任务实现数据同步。您可以在上层训练等任务开始前将OBS对象存储桶中的数据提前导入到SFS Turbo中,加速对OBS对象存储中的数据访问;上层任务产生的中间和结果等数据可以直接高速写入到SFS Turbo缓存中,中间缓存数据可被下游业务环节继续读取并处理,结果数据可以异步方式导出到关联的OBS对象存储中进行长期低成本存储。同时,您还可以配置缓存数据淘汰功能,及时将长期未访问的数据从SFS Turbo缓存中淘汰,释放SFS Turbo高性能缓存空间。
  • 绑定OBS桶 登录弹性文件服务管理控制台。 在文件系统列表中,单击创建的文件系统名称,进入文件系统详情页面。 进入“绑定后端存储”页签,单击“绑定OBS桶”。 图1 绑定OBS桶 在右侧弹窗“绑定OBS桶”中,填写如下参数。 表1 参数说明 参数 含义 限制 配置后可编辑 联动目录名称 SFS Turbo文件系统根目录下会以该名称创建一个子目录,该目录将绑定对应的OBS桶,且该目录名称不能和已有目录重名。 子目录名称不能重复。 子目录名称必须是文件系统根目录下不存在的目录名。 子目录名称不能是“.”或“..”。 不支持 桶名 OBS存储桶桶名。 无法绑定不存在的存储桶。 目前仅支持OBS存储桶,不支持OBS并行文件系统。 不支持 OBS区域域名 OBS区域域名,即OBS的终端节点。 OBS存储桶必须和SFS Turbo文件系统在同一个Region。 不支持 勾选“将OBS桶的读写权限通过桶策略授权给SFS Turbo云服务”,并单击“确定”,完成绑定。 目前仅支持OBS存储桶,不支持OBS并行文件系统。 绑定OBS桶时,会在OBS桶上添加名为"Sid": "PolicyAddedBySFSTurbo"的桶策略,请不要修改或删除该桶策略,否则可能导致联动功能异常。 绑定OBS桶后,OBS桶原有的桶策略会被名为"Sid": "PolicyAddedBySFSTurbo"的桶策略覆盖。
  • 网段类型 网段类型配置可以采用两种配置方式。 * : 代表任何ip地址 CIDR格式网段 : CIDR格式地址使用可变长度子网掩码来表示 IP 地址中网络地址位和主机地址位之间的比例。 CIDR IP地址在普通IP地址的基础上附加了一个后缀值,这个后缀值就是网络地址前缀位数。例如,192.1.1.0/24 是一个 IPv4 CIDR地址,其中前 24 位(即 192.1.1)是网络地址。 任何前24位与192.1.1.0相同的ip都适用于这一条鉴权规则,即192.1.1.1 与 192.1.1.1/32 表达的含义相同。
  • 权限类型 权限分为两部分:access权限和squash权限。 表1 access权限 权限 描述 rw 用户拥有读写权限 ro 用户拥有只读权限 none 用户无权限访问 表2 squash权限 权限 描述 all_squash 所有的用户访问时权限降为nobody root_squash root用户访问时权限降为nobody no_root_squash 包括root用户在内的任何用户访问时权限都不会降为nobody
  • Token认证 Token的有效期为24小时,需要使用一个Token鉴权时,可以先缓存起来,避免频繁调用。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头中,从而通过身份认证,获得操作API的权限。Token可通过调用获取用户Token接口获取。 调用本服务API需要项目级别的Token,即调用获取用户Token接口时,请求body中auth.scope的取值需要选择project,如下所示。 { "auth": { "identity": { "methods": [ "password" ], "password": { "user": { "name": "username", //IAM用户名 "password": "********", //IAM用户密码 "domain": { "name": "domainname" //IAM用户所属账号名 } } } }, "scope": { "project": { "name": "xxxxxxxx" //项目名称 } } } } 获取Token后,再调用其他接口时,您需要在请求消息头中添加“X-Auth-Token”,其值即为Token。例如Token值为“ABCDEFJ....”,则调用接口时将“X-Auth-Token: ABCDEFJ....”加到请求消息头即可,如下所示。 1 2 3 POST https://iam.cn-north-1.myhuaweicloud.com/v3/auth/projects Content-Type: application/json X-Auth-Token: ABCDEFJ.... 您还可以通过这个视频教程了解如何使用Token认证:https://bbs.huaweicloud.com/videos/101333。