检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
成长地图 | 华为云 数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现各种灵活的数据处理业务。 文档 立即体验 成长地图 由浅入深,带您玩转DWR 01 了解 了解华为云数据工坊DW
应用场景: 文本/图像检索:向量数据库对输入的图像和文本信息进行向量存储与检索,会找到最匹配输入信息的文本或图像结果。 大规模知识库:企业的私域数据存储在向量数据库中可构建外部知识库,帮助企业更好地管理和利用自己的数据资源。 问答系统:向量数据库会基于问题信息进行向量存储与检索,并返回最相关的问题与对应的答案。
算子市场介绍 算子市场即为DWR提供的算子库,提供方包括华为和第三方。 华为云自有算子的能力源是华为云数据处理相关的云服务,如媒体处理MPC、图像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。 第三方算子是基于DWR的算子注册能力,由第三
数据处理介绍 DWR如何实现数据处理 DWR提供的近数据处理能力,可以对OBS内存储的数据,按照用户编排的工作流进行自动化处理(如解析、转码、截图等)。 DWR基于函数工作流FunctionGraph的函数能力,将复杂的业务处理逻辑编排为工作流,通过事件触发器或API驱动,自动化
功能总览 功能总览 全部 算子市场 发布算子 创建工作流 启动工作流 API 算子市场 算子市场即DWR提供的算子库,提供方包括华为和第三方。 华为算子的能力源是华为云数据处理相关的云服务,如媒体处理MPC、图像识别Image等,DWR将云服务提供的各种数据处理能力通过函数生成算子并在算子市场发布。
Explorer能根据需要动态生成SDK代码功能,降低您使用SDK的难度,推荐使用。 SDK列表 表1提供了LMS服务支持的SDK列表,您可以在GitHub仓库查看SDK更新历史、获取安装包以及查看指导文档。 表1 SDK列表 编程语言 GitHub地址 参考文档 Python huaweicloud-sdk-python-v3
官方算子一览 本小节介绍华为云自有服务提供的各类算子的参数配置说明。 不同区域支持的算子可能不同,请以控制台实际为准。 表1 华为云官方算子一览 分类 模板名称 是否支持同步工作流 算子提供方 图像处理 图像标签 是 图像识别服务Image 人脸检测 是 人脸识别服务FRS 人脸搜索
使用前必读 欢迎使用知识湖存储(Long-term Memory Service)。知识湖存储是作为DWR特性,专门用于高效地存储、管理和检索千亿级向量数据,主要适用于将对象存储中数据转换成知识的场景,用于检索对象存储中的数据和向量场景。不仅能为大模型提供外部知识库,提高大模型回
权限管理 如果您需要对华为云上购买的DWR资源,为企业中的员工设置不同的访问权限,以达到不同员工之间的权限隔离,您可以使用统一身份认证服务(Identity and Access Management,简称IAM)进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功
算子管理 算子市场介绍 发布算子 官方算子一览
权限管理 创建用户并授权使用DWR DWR自定义策略
管理知识仓实例 创建知识仓实例 单个账号支持创建的知识仓实例数量不超过16个。 进入LMS控制台,单击“创建知识仓实例”。 如图1所示,根据界面提示配置参数,参数说明如表1所示。 图1 创建知识仓实例界面 表1 参数说明 参数 是否必选 说明 示例 计费模式 是 当前只支持按需计费模式。
发布算子 操作场景 所有开发者均可以创建用于数据处理的算子,审核通过后发布至DWR算子市场,开放给所有华为云用户使用。 当算子被华为云用户使用之后,算子发布者将会获得相应的收益,详情参见计费说明。 算子从API上线、开发、到发布的整个流程如图1所示,本节主要介绍如何使用DWR发布已开发好的算子到算子市场。
知识仓实例管理 知识仓实例介绍 管理知识仓实例
DWR自定义策略 如果系统预置的DWR权限,不满足您的授权要求,可以创建自定义策略。 目前华为云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。 JSON视图创建自定义策略:可
什么是知识湖存储 知识湖存储(Long-term Memory Service,LMS),是一款用于存储、检索、分析多维向量数据和标量数据的云原生服务。 知识湖存储服务支持多种索引类型和相似度计算方法,支持千亿向量规模和毫秒级查询时延。 知识湖存储不仅能为大模型提供外部知识库,提
创建用户并授权使用DWR 如果您需要对您所拥有的DWR服务进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),通过IAM,您可以: 根据企业的业务组织,在您的华为云账号中,给企业中不同职能部门的员工创建IAM
知识仓实例介绍 知识仓,简称仓,是LMS中用来组织、存储和管理数据的单位。 LMS自顶向下按照仓、集合、向量的结构存储数据。 仓中包含至少1个或多个集合,集合中包含至少1个或多个向量,集合中也可以包含标量。集合中的向量用于相似性查询。 父主题: 知识仓实例管理
什么是数据工坊 数据工坊(Data Workroom,DWR)是一款近数据处理服务,通过易用的数据处理工作流编排和开放生态的数据处理算子,能够在云上实现图像、视频、文档、图片等数据处理业务。 如图1所示,DWR主要对外提供开放的算子库和数据处理引擎。 算子库包含由DWR提供的华为
产品优势 知识湖存储作为一种存储和检索向量数据的服务提供给用户,在高性能、高可用、大规模、简单易用、安全可信等方面体现出显著优势。 高性能:知识湖存储支持千亿级向量数据规模及毫秒级查询延迟。 高可用:知识湖存储提供多副本高可用特性,其多可用区和分布式多节点的架构,可用性可达99.