检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在浏览器Console的“Filter”栏里输入“jobs”,过滤出jobs列表,单击该名称并选择“Preview”页签,在左侧列表选择本次操作对应的job,其中uid字段即为job的uid。 图5 获取job_id 父主题: 附录
如果有进阶的安装脚本使用需求,可以将脚本存放在OBS中,避免脚本字符数超限等问题,详情请参见创建节点时使用OBS桶实现自定义脚本注入。 注意事项 请避免使用执行耗时过长的安装前/后脚本。
如果有进阶的安装脚本使用需求,可以将脚本存放在OBS中,避免脚本字符数超限等问题,详情请参见创建节点时使用OBS桶实现自定义脚本注入。 注意事项 请避免使用执行耗时过长的安装前/后脚本。
bs:EVS云存储 nfs:SFS弹性文件存储 obs:OBS对象存储 efs:SFS Turbo极速文件存储 accessModes 是 Array of strings 指定volume应该具有的访问模式,列表中仅第一个配置参数有效。
obs:OBS对象存储,详情可参见使用对象存储卷。 efs:SFS Turbo极速文件存储,详情可参见使用极速文件存储卷。
在集群下添加一个对象存储卷。 数据预置 从https://github.com/zalandoresearch/fashion-mnist下载数据。 获取tensorflow的ML范例,加以简单的修改。
实现Kubernetes Flex Volume标准接口,提供容器使用EVS块存储、SFS文件存储、OBS 对象存储、SFS Turbo 极速文件存储的能力。通过安装升级云存储插件可以实现云存储功能的快速安装和更新升级。
存储:对接云存储,支持EVS、SFS和OBS,提供磁盘加密、快照和备份能力。 集群服务:支持购买集群、连接集群、升级集群、管理集群等一系列集群生命周期管理服务。
object:GetObject 获取对象内容、获取对象元数据 obs:bucket:HeadBucket 获取桶元数据 obs:bucket:CreateBucket 创建桶 obs:bucket:ListBucket 列举桶内对象 OBS:*:*:object:cost/daily_cost
创建存储库 这里的备份存储库是指 E-Backup 用于获取和检测后端对象存储服务相关信息的 K8s 资源对象。
设置云硬盘存储挂载参数 挂载参数(mountOptions)是在文件系统挂载过程中传递给内核的选项,用于控制存储设备(如云硬盘、SFS、OBS等)的访问方式、性能优化、安全策略等。
解决方案 问题场景:节点上存在不可访问的挂载点 节点存在不可访问的挂载点,通常是由于该节点或节点上的Pod使用了网络存储nfs(常见的nfs类型有obsfs、sfs等),且节点与远端nfs服务器断连,导致挂载点失效,所有访问该挂载点的进程均会出现D状态卡死。 登录节点。
在CCE Turbo分布式集群中使用边缘云资源 云资源根据部署位置、服务范围和功能特性,可以分为两种类型: 中心云资源:集群部署在大型数据中心,提供全局覆盖、高弹性、全功能的云计算服务,如ECS、OBS等。
操作流程 假设账号B在某种情况下需要访问和使用账号A的某个OBS桶,具体操作流程请参见图1和表1。 图1 跨账号挂载对象存储 表1 操作流程说明 操作流程 说明 步骤一:创建OBS桶策略和桶ACL 账户A对OBS配置桶策略和和桶ACL,授予账号B相应的权限(如读写权限)。
约束与限制 创建节点过程中依赖OBS等周边服务,因此节点所在子网的DNS配置不可修改。 集群开启IPv4/IPv6双栈时,所选节点子网不允许开启DHCP无限租约。
=/root/hadoop-obs/obs-cache spark.hadoop.fs.obs.impl=org.apache.hadoop.fs.obs.OBSFileSystem spark.hadoop.fs.obs.connection.ssl.enabled=false
访问对象存储服务OBS 使用spark-submit下发hdfs任务。请修改命令最后的参数为租户内实际的文件obs://bucket-name/filename。
find / -name "agentConfig" 查看cce-agent的配置文件,获取有效的OBS地址,如图中addr地址为正确的OBS地址。
使用OBS时,可参考获取访问密钥(AK/SK)获取AK/SK。 OBS_ACCESS_KEY=<Your AK> OBS_SECRET_KEY=<Your SK> 部署Velero服务端。注意其中--bucket参数需要修改为已创建的对象存储桶名称,本例中为velero。
创建默认租户OBS桶:创建名称为cce-cost-{region}-{domain_id}的默认OBS桶,该OBS桶用来存储从费用中心导出的账单数据。 订阅账单数据:订阅账单后,费用中心会定期将账单推送到OBS桶中,供成本洞察使用。