华为云首页用户手册

AI-开始使用:实现数据预热和数据异步留存功能

AI-开始使用:实现数据预热和数据异步留存功能

时间：2024-03-29 10:44:27

AI

实现数据预热和数据异步留存功能

实现数据预热功能。每次训练前需要读取OBS中的数据时，可以使用该功能将要用的数据提前上传到SFS Turbo中。

打开函数工作流functiongraph，打开带有preload-data前缀的函数。
图29 打开对应函数

配置空白测试事件，运行函数即可触发预热功能。
图30 配置空白测试事件，单击”配置测试事件”下拉框配置测试事件，选择空白模板创建即可

图31 运行函数成功

如果函数出现下面异常回显，原因是委托暂未生效，请重试。

图32 函数运行异常

数据预热完成后，可在Notebook上查看预热到SFS Turbo上的数据。

图33 查看预热数据

实现数据异步留存功能。当SFS Turbo内产生新文件后，可以使用该功能将新文件存到OBS中。每次训练完成后都可以用该功能存储模型，降低存储成本。

在notebook中可以在SFS Turbo内创建文件，以test文件夹中的文件为例。
图34 SFS Turbo内的数据
打开函数工作流functiongraph，打开带有export-data前缀的函数。

图35 打开对应函数

本函数中默认留存的文件夹名称为output，需要改变数据留存的文件夹可以在环境变量中修改相应的值（本示例中将该值改成了test）。

图36 需要修改的环境变量

配置空白测试事件，单击”测试”运行函数即可触发数据异步留存功能。
图37 配置空白测试事件，单击”配置测试事件”下拉框配置测试事件，选择空白模板创建即可

图38 单击测试按钮运行函数

函数运行成功后，可以成功将数据留存在OBS桶内。

图39 查看异步留存数据
如需要定时触发异步留存功能，可在函数内创建定时触发器实现。

图40 查看异步留存数据

触发器的触发频率可按照训练模型的周期设定，示例中为一小时。

上一篇：AI-开始使用:创建训练作业

下一篇：AI-开始使用:创建训练作业

AI-开始使用:实现数据预热和数据异步留存功能

意见反馈

0/200

提交成功！非常感谢您的反馈，我们会继续努力做到更好反馈提交失败！请稍后重试！

推荐文章

解决方案
相关专题