云服务器内容精选

  • 流式训练 流式训练接入用户行为数据,进行在线训练,以分钟级更新在线服务依赖的排序模型,减少排序模型的效果衰减。 前提条件 已存在运行成功的排序策略。建议“优化器类型”选择“ftrl”。 已存在运行成功的在线服务。该在线服务“排序方式”为“点击率预估”并且“模型文件路径”为1排序策略生成的模型存储路径。 流式训练仅支持2019年12月4日0点之后创建的排序策略和在线服务。 流式训练使用到的排序策略不支持“核函数特征交互神经网络-PIN”算法。 建议您定期“重新执行”条件1对应的离线排序任务。重新执行排序策略后,在线服务和流式训练作业将自动同步新产生的模型,无需重新配置或重新执行在线服务和流式训练作业。 在线服务可以减少排序模型的效果衰减,但仍需定期重新执行离线任务。 表5 流式训练参数说明 参数名称 说明 默认值 策略别名 策略显示名称,由中文、英文、数字、下划线、空格或者中划线组成,并且不能以空格开始和结束,长度为1~60个字符。 默认流式训练。 数据源 服务名:添加已经进行资源绑定的DIS资源。 输入流位置:行为数据流的输入配置。将实时近线任务需要的实时物品日志数据添加到输入流指定的DIS通道中,推荐系统通过读取该数据进行近线计算。 通道名称:DIS的数据通道名称,不同类型的数据需要创建不同的通道。 起始位置:读取DIS数据的起始位置,latest表示从最新的数据开始读取,earliest表示从最旧的数据开始读取。 输出流位置:行为数据流处理后的输出配置。选择对应的DIS通道名称进行存放。输出流存放的数据属于流式训练作业的中间数据,用户无需获取或发送数据到输出流绑定的数据通道,只需确保该通道仅供本作业作为输出流使用。 服务名默认DIS。 通道名无。 起始位置默认为latest。 窗口间隔(秒) 近线策略处理的窗口间隔,单位为秒,10代表每隔10s进行一次算。 10s。 算子参数 在线服务名:使用的在线服务的名称。该在线服务需满足前提条件的要求。 流程名:在线服务对应的在线流程名称。 异常数据输出路径:单击右侧的按钮,选择数据在OBS中的存放路径,此路径下会记录不符合任务要求的输入数据。 - 训练设置 计算节点规格:您可以根据业务需求选择节点规格,“8核|16GiB”、“8核|32GiB”、“8核|64GiB”、“16核|128GiB”。 模型更新间隔:模型更新时间间隔,更新模型文件。 默认“8核|16GiB” 时间间隔10min 优化策略相关参数 优化器类型:ftrl。适用于处理超大规模数据的,含大量稀疏特征的在线学习的常见优化算法 学习率:优化算法的参数,决定优化器在最优方向上前进步长的参数。默认0.1。 初始梯度累加和:梯度累加和用来调整学习步长。默认0.1。 L1正则项系数:叠加在模型的1范数之上,用来对模型值进行限制防止过拟合。默认0。 L2正则项系数:叠加在模型的2范数之上,用来对模型值进行限制防止过拟合。默认0。 -
  • 基于用户数据更新用户画像 基于用户数据更新候选集可以持续更新用户画像,更新频率可达秒级。以DIS中的实时用户数据为数据源,实时捕捉用户数据近线,持续更新或添加用户画像数据,使用户画像处于最新状态。 表3 基于用户数据更新用户画像参数说明 参数名称 说明 默认值 策略别名 策略显示名称,由中文、英文、数字、下划线、空格或者中划线组成,并且不能以空格开始和结束,长度为1~60个字符。 默认基于用户数据更新用户画像。 数据源 服务名:DIS。将实时近线任务需要的实时用户日志数据添加到DIS中,推荐系统通过读取该数据进行近线计算。 通道名称:数据通道名称,不同类型的数据需要创建不同的通道。 起始位置:读取DIS数据的起始位置,latest表示从最新的数据开始读取,earliest表示从最旧的数据开始读取。 服务名默认DIS。 通道名无。 起始位置默认为latest。 窗口间隔(秒) 近线策略处理的窗口间隔,单位为秒,10代表每隔10s进行一次算。 10s。 全局特征信息文件 用户在使用近线策略之前,需要提供全局特征信息文件,该文件为JSON格式,包含特征名、特征大类、特征值类型。当上传的数据中的特征有变化时,需要同步更新该文件。全局特征信息文件示例请参考全局特征信息文件。 - 异常数据输出路径 单击右侧的按钮,选择数据在OBS中的存放路径,此路径下会记录不符合任务要求的输入数据。 - 用户画像存储 指定存储用户画像的存储平台信息。 服务名:默认CloudTable,用于存储更新后的用户画像。 集群名称:指定对应的集群名称。 表名:选择对应表名称。您可以单击设置数据版本。RES的数据版本有两种,“V1”版本即数据按照原有格式存储,未做过分区处理。“V2”版本则会依照用户的分区设置做分区处理,当分区合理时,数据将均匀分布在各个节点,有效利用Cloudtable的高并发特性,提升读写效率。其中“预分区数量”和“索引分区数量”可以根据数据量进行设置,如果读写性能达不到要求,可以增加Cloudtable的RS单元数量提升性能。 -
  • 基于物品数据更新物品画像 基于物品数据更新物品画像可持续更新物品画像,更新频率可达秒级。以DIS中的实时物品日志为数据源,持续更新或添加物品画像数据,使物品画像处于最新的状态。 表4 基于物品数据更新物品画像参数说明 参数名称 说明 默认值 策略别名 策略显示名称,由中文、英文、数字、下划线、空格或者中划线组成,并且不能以空格开始和结束,长度为1~60个字符。 默认基于物品数据更新物品画像。 数据源 服务名:DIS。将实时近线任务需要的实时物品日志数据添加到DIS中,推荐系统通过读取该数据进行近线计算。 通道名称:数据通道名称,不同类型的数据需要创建不同的通道。 起始位置:读取DIS数据的起始位置,latest表示从最新的数据开始读取,earliest表示从最旧的数据开始读取。 服务名默认DIS。 通道名无。 起始位置默认为latest。 窗口间隔(秒) 近线策略处理的窗口间隔,单位为秒,10代表每隔10s进行一次算。 10s。 全局特征信息文件 用户在使用近线策略之前,需要提供全局特征信息文件,该文件为JSON格式,包含特征名、特征大类、特征值类型。当上传的数据中的特征有变化时,需要同步更新该文件。全局特征信息文件示例请参考全局特征信息文件。 - 异常数据输出路径 单击右侧的按钮,选择数据在OBS中的存放路径,此路径下会记录不符合任务要求的输入数据。 - 候选集 是否维护维新入库物品候选集。 时间特征名称:特征值为10位时间戳的特征名称。 候选集最大长度:维护的候选集的最大长度。 保留天数:保留时间为最近N天的候选集。 false 物品画像存储 指定存储物品画像的存储平台信息: 服务名:默认CloudTable,用于存储更新后的物品画像。 集群名称:指定对应的集群名称。 表名:选择对应表名称。您可以单击设置数据版本。RES的数据版本有两种,“V1”版本即数据按照原有格式存储,未做过分区处理。“V2”版本则会依照用户的分区设置做分区处理,当分区合理时,数据将均匀分布在各个节点,有效利用Cloudtable的高并发特性,提升读写效率。其中“预分区数量”和“索引分区数量”可以根据数据量进行设置,如果读写性能达不到要求,可以增加Cloudtable的RS单元数量提升性能。 -
  • 基于用户的标签搜索候选集 基于用户的标签搜索候选集可以持续为用户召回新的候选集,召回频率可达秒级。以DIS中的实时行为日志为数据源,分析用户喜好,并以此为依据为用户召回候选集。此任务包含两种召回方式: 根据兴趣标签召回候选集 根据实时标签召回候选集 表2 基于用户的兴趣标签搜索候选集参数说明 参数名称 说明 默认值 策略别名 策略显示名称,由中文、英文、数字、下划线、空格或者中划线组成,并且不能以空格开始和结束,长度为1~60个字符。 默认基于用户的标签搜索候选集。 数据源 服务名:DIS。将实时近线任务需要的实时行为日志数据添加到DIS中,推荐系统通过读取该数据进行近线计算。 通道名称:数据通道名称,不同类型的数据需要创建不同的通道。 起始位置:读取DIS数据的起始位置,latest表示从最新的数据开始读取,earliest表示从最旧的数据开始读取。 服务名默认DIS。 通道名无。 起始位置默认为latest。 行为类型 用户行为包含如下几种类型: view:物品曝光 click:用户点击物品 collect:用户收藏了某个物品 uncollect:用户取消收藏某个物品 search_click:用户点击搜索结果中的物品 comment:用户对物品的评论 share:分享 like:点赞 dislike:点衰 grade:评分 consume:消费 use:观看视频/听音乐/阅读。 默认选取所有行为。 窗口间隔(秒) 近线策略处理的窗口间隔,单位为秒,10代表每隔10s进行一次算。 10 过滤历史记录 生成的候选集中是否过滤历史记录,如需要过滤历史记录,则开启此项。 默认关闭。 候选集的排序策略 生成候选集的排列规则,其排列顺序包括: 随机排序:不对候选集排序。 热度排序:根据物品属性表里的物品热度排序,由基于行为数据的用户画像更新生成,热度越大排序越靠前。 时间排序:根据时间对候选集进行排序。时间排序需要指定特征名称和推荐天数。 特征名称:值为时间戳(10位)的特征的名称,任务会根据此特征对候选集进行排序。 推荐天数:推荐数据的时间段,该时间段从当前开始往前推N天,默认15天。 默认热度排序。 候选集最大长度 生成候选集的最大长度,每次计算更新的候选集中的个数不会超过最大值。 默认50。 候选集的召回策略 召回候选集的策略。 兴趣标签召回候选集:根据用户画像的兴趣标签召回候选集。 实时标签召回候选集:根据用户实时操作的物品的标签召回候选集。 默认兴趣标签召回候选集。 兴趣宽度 生成候选集中的兴趣宽度,值越小候选集中的类型越少。 说明: 选择兴趣宽度数量对应的,权重值最高的兴趣标签个数进行检索,得到与标签匹配的物品候选集。 默认3。 全局特征信息文件 用户在使用近线策略之前,需要提供全局特征信息文件,该文件为JSON格式,包含特征名、特征大类、特征值类型。当上传的数据中的特征有变化时,需要同步更新该文件。全局特征信息文件示例请参考全局特征信息文件。 - 异常数据输出路径 单击右侧的按钮,选择数据在OBS中的存放路径,此路径下会记录不符合任务要求的输入数据。 - 自定义搜索 改变默认搜索条件,按照所选自定义搜索规则进行搜索。自定义搜索的内容来自于全局特征信息文件。您可以单击添加自定义搜索,在下拉选项中选择用户的兴趣标签,单击转换为另外的标签体系进行召回。 说明: 存在不同标签体系时可使用此功能,自定义搜索条件。一般情况下不建议使用。 - 用户画像存储 指定存储用户画像的存储平台信息。服务名默认CloudTable,指定集群名称和表名用于存储更新后的用户画像。 不涉及。 物品画像存储 指定存储物品画像的存储平台信息。服务名默认CloudTable,指定集群名称和表名用于存储更新后的用户画像。 不涉及。 过滤存储 指定存储过滤集合的存储平台信息。服务名默认CloudTable,指定集群名称和表名用于存储更新后的用户画像。 不涉及 候选集存储 指定存储候选集的存储平台信息。服务名默认CloudTable,指定集群名称和表名用于存储更新后的用户画像。 不涉及。
  • 基于行为数据的用户画像更新 基于行为数据的用户画像更新可以对用户画像进行持续更新,更新频率可达秒级。以DIS中的实时行为日志为数据源,从中分析出用户画像更新信息,并实时更新用户画像,使用户画像随着用户行为的发生而不断变化。 通过此任务可以更新的用户画像内容有:用户标签等动态信息,以及用户年龄、位置、联系方式等上下文信息。 表1 基于行为数据的用户画像更新参数说明 参数名称 说明 默认值 策略别名 策略显示名称,由中文、英文、数字、下划线、空格或者中划线组成,并且不能以空格开始和结束,长度为1~60个字符。 默认基于行为数据的用户画像更新。 服务名 DIS。将实时近线任务需要的实时行为日志数据添加到DIS中,推荐系统通过读取该数据进行近线计算。 DIS。 通道名称 数据通道名称,不同类型的数据需要创建不同的通道。 无。 起始位置 读取DIS数据的起始位置,latest表示从最新的数据开始读取,earliest表示从通道中现存最旧的数据开始读取。 默认为latest。 行为类型 用户行为包含如下几种类型: view:物品曝光 click:用户点击物品 collect:用户收藏了某个物品 uncollect:用户取消收藏某个物品 search_click:用户点击搜索结果中的物品 comment:用户对物品的评论 share:分享 like:点赞 dislike:点衰 grade:评分 consume:消费 use:观看视频/听音乐/阅读。 默认选取所有行为。 窗口间隔(秒) 近线策略处理的窗口间隔,单位为秒,10代表每隔10s进行一次算。 10 结果保存路径 根据行为日志,及cloudtable中已存在的用户画像和物品画像实时构造出样本通用数据,以供其他功能使用。 - 更新上下文 用户操作行为表中的“context ”字段代表动作发生的上下文信息。更新上下文就是将这些信息写入到Cloudtable中进行实时的更新。 默认关闭。 是否更新物品的热度值 根据行为日志,计算物品的热度值。近线召回策略中(如利用兴趣标签搜索候选集),召回的候选集按何种顺序排列,如要选择根据热度排序,则需要打开该功能。 默认关闭。 是否保存历史记录 根据行为日志,统计用户的历史记录。近线召回策略中(如利用兴趣标签搜索候选集),召回的候选集中过滤掉用户的历史记录依赖于此项,保存了历史记录才可使用。 默认关闭。 兴趣标签衰减参数 兴趣标签的衰减参数,数值越小,衰减能力越强。数值越大,衰减能力越弱。如果值为0,则代表不衰减。 0.99 兴趣标签维护长度 各标签体系下,兴趣标签的最大长度。 20 全局特征信息文件 用户在使用近线策略之前,需要提供全局特征信息文件,该文件为JSON格式,包含特征名、特征大类、特征值类型。当上传的数据中的特征有变化时,需要同步更新该文件。全局特征信息文件示例请参考全局特征信息文件。 - 异常数据输出路径 单击右侧的按钮,选择数据在OBS中的存放路径,此路径下会记录不符合任务要求的输入数据。 - 用户画像存储 该数据来源于基于用户数据更新用户画像更新后的用户画像数据。服务名默认为绑定的CloudTable资源信息。指定集群名称和表名用于存储更新后的用户画像。 不涉及。 物品画像存储 该数据来源于基于物品数据更新物品画像更新后的物品画像数据。服务名默认为绑定的CloudTable资源信息。 不涉及。 过滤存储 过滤出用户发生过某行为的物品,并保存在此表中。例如,过滤出用户看过的物品,并存储在此表中。指定集群名称和表名用于存储更新后的用户画像。 不涉及。
  • 更改流量策略算法 流量策略设置完成后,支持更改流量策略算法。如将标准负载均衡的算法轮询转为随机(RANDOM)。 登录应用服务网格控制台,在左侧导航栏中选择“流量治理”。 在“流量治理”界面中选择并单击目标组件。 在“标准负载均衡算法”中,选择“RANDOM”算法,单击“保存”。 图4 负载均衡算法选择随机 重复先前的操作,在流量监控里观察请求分发情况。 可以发现流量分发没有什么固定规律,各个实例差距也比较大,说明随机算法已经生效。 图5 随机算法结果
  • 配置流量策略 登录应用服务网格控制台,在左侧导航栏中选择“流量治理”。 选择组件所在的集群和命名空间。 在拓扑图中,单击组件名称。在服务流量策略中,进行流量策略配置。 负载均衡算法 ROUND_ROBIN:轮询,默认负载均衡算法。 LEAST_CONN:随机选取两个健康的主机,再从所选取的两个主机中选择一个链接数较少的主机。 RANDOM:从所有健康的主机中,随机选取一个。 会话保持 根据HTTP头部中的内容获取哈希: 选择Cookie:将以HTTP请求中的所有Cookie计算哈希,哈希相同的请求将会转发至同一个实例进行处理。 选择User-Agent:将以HTTP请求中的User_agent来计算哈希,UA哈希值相同的请求将会转发至同一个实例进行处理。 流量治理也支持用户使用自定义Key来计算哈希,只需选择自定义模式并且输入键的名称。 根据Cookie键中的内容获取哈希:支持用户输入Cookie键的名称,转发方式则由设定的Cookie键对应的值来计算哈希,哈希相同的请求则会转发至同一个实例中。例如我们设定Cookie中的User为键,则通过计算User对应的值的哈希来确认转发规则。 根据Sourcelp中的内容获取哈希:流量将会按照请求源IP地址的哈希值进行会话保持。 连接池管理。 最大连接数 到目标主机HTTP或TCP连接的最大数量。 最大请求重试次数 在指定时间内对目标主机最大重试次数。 最大等待请求数 等待列队的长度,默认为1024。 每连接最大请求数 对后端连接中最大的请求数量如果设为1则会禁止keep alive特性。 连接超时时间 TCP连接超时时间。 最大请求数 后端服务处理的最大请求数,默认为1024。 熔断配置。 连续错误数 在一个检查周期内,连续出现500及以上错误的个数,例502、503状态码。 检查周期 将会对检查周期内的响应码进行筛选。 最大隔离实例比例(%) 上游实例中,允许被隔离的最大比例。采用向上取整,如果10个实例,设为13%则最多会隔离2个实例。 最短隔离时间 实例第一次被隔离的时间,之后每次隔离时间为隔离次数与最短隔离时间的乘积。 是否开启Mutual TLS。 开启Mutual TLS:组件仅会通过基于TLS建立的安全信道通信。 关闭Mutual TLS:组件之间通过明文通信。 故障注入。 在故障类型中选择时延故障或中断故障。当前版本仅支持基于请求内容策略。 故障版本 故障所作用的版本。 故障类型 不启用:取消故障注入。如果不需要继续触发故障,可单击故障类型中的“不启用”来删除已配置的故障。 时延故障:对通往组件的请求有延迟。 故障百分比:故障按比例发生。 延时:设定的时间延迟单位。 中断故障:会中断该组件的服务并返回预设状态码。 故障百分比:故障按比例发生。 Http状态码:终止故障时返回的http状态码,默认返回500。 访问鉴权。 开启访问鉴权:当前服务只能被指定的服务访问,并且自动开启Mutual TLS。 关闭访问鉴权:当前服务能够被所有服务访问。 访问鉴权会默认授权给网关实例(ingressgateway),通过网关间接访问当前服务不会受到访问授权配置的影响。
  • 查看流量监控 轮询算法为默认负载均衡算法。即当组件有多个实例时,访问基本接近于平均分配给每一个实例。组件流量策略设置完成后,通过连续不中断的访问应用,产生访问数据。 登录应用服务网格控制台,在左侧导航栏中选择“流量监控”。 在上侧时间轴区域选择对应的时间范围,在所需要查看的组件区域右键单击“展开”,将其展开为版本。 图1 选择时间轴并展开组件 右键单击展开的版本,选择“展开”,将其展开为实例。 Report模式下,不提供实例展开功能。 图2 展开组件为实例 在拓扑图区域,可以看到各个流量分发到各个实例的情况。 图3 轮询算法请求分发
  • 服务总览信息 您可以在RES管理控制台的总览页查看服务的最新动态、了解作业状态、快捷创建服务。 登录RES管理控制台,单击左侧导航栏上的“总览”,进入总览页面。 总览界面包括“最新动态”、“视频教程”和“常用链接”,如图1所示。其中,在最新动态可查看所创建“离线作业”、“近线作业”和“在线服务”的名称、状态和创建时间。 图1 总览 单击作业或服务名称,进入该详情页面,可以查看资源信息、策略信息和日志信息。您也可以通过页面快速创建作业或服务。单击“创建在线服务”,快速进入创建在线服务页面。 父主题: 用户指南(旧版)