Streamsets数据集成平台-

2025-02-08 10:57:49

适用于：Linux 商品简介：StreamSets是一种 数据集成平台 ，旨在帮助组织实时地移动、转换和处理数据。它提供了一种可视化、可扩展和易于使用的方式，用于构建数据流水线，将数据从不同来源提取、传输到目标系统，同时可以对数据进行必要的转换和处理。 商品亮点：一键部署,内置OBS 对象存储 作为数据源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-10-25 07:25:17 StreamSets的主要功能和特点包括： ①数据采集：StreamSets支持从各种数据源（例如 数据库 、日志文件、消息队列、 云存储 等）中提取数据。 ②数据转换：用户可以定义数据处理和转换规则，以确保数据在传输过程中得到适当的格式化和清洗。 ③可视化界面：StreamSets提供直观的可视化界面，使用户能够轻松地构建和管理数据流水线，而无需编写复杂的代码。 ④实时数据处理：它支持实时数据流，可以在数据到达时立即进行处理和传递，适用于实时分析和监控。 ⑤可扩展性：StreamSets是可扩展的，允许用户编写自定义插件和扩展，以满足特定的 数据集 成需求。 ⑥数据质量和监控：提供数据质量检查和监控功能，帮助用户确保数据的一致性和准确性。 ⑦安全性：具备安全控制功能，以确保数据的保密性和完整性。 StreamSets的主要目标是简化数据集成过程，使组织能够更轻松地管理和流动数据，从而支持数据驱动的决策和分析。 其中本商品新增了数据源OBS。 查看详情

Flink流数据分析工具-

2025-02-08 10:57:48

服务内容：如果一键部署出现异常，可寻求帮助 服务时间：周一至周六 9:00~11:50 14:00~18:00 服务电话：18362962787 服务邮箱：lsmforwork@outlook.com 服务微信：xnx3com 使用指南： Flink流数据分析工具 下载 查看商品详情 立即下载

Flink流数据分析工具-

2025-02-08 10:57:47

适用于：Linux 商品简介：Flink是一个分布式的流数据处理引擎，常用于实数数据的分析处理工作。本商品基于Huawei Cloud EulerOS 2.0 64bit系统，提供开箱即用的Flink服务。 商品亮点：提供开箱即用的Flink服务。可以免去用户下载Flink二进制文件，设置环境变量的过程。 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-02-06 07:35:04 Flink是一个流行的分布式的流数据处理引擎，常用于无边界和有边界数据流的分析处理工作。Flink有几大特点： 集成所有常见的集群资源管理器，例如Hadoop YARN、Kuebrnetes等，也支持独立集群运行 同时支持批处理和流处理两种数据处理方式 具有精准的时间控制，支持基于事件发生事件、事件处理事件等多种形式的时间窗口 具有状态托管机制，可以基于历史状态进行数据处理，支持将状态数据存放在内存中，所以具有极高的运行速度。 本商品基于Huawei Cloud EulerOS 2.0 64bit系统，提供开箱即用的Flink服务。可以免去用户下载Flink二进制文件，设置环境变量的过程。具体安装的软件及版本情况如下： 部署java JDK，部署openjdk，版本号为11.0.16 部署Flink，版本号为1.16.0，位于/opt/flink-1.16.0/路径下。 新增环境变量，修改路径位于/etc/profile 查看详情

Apache Hudi-

2025-02-08 10:57:46

适用于：Linux 商品简介：Apache Hudi是下一代流 数据湖 平台，它直接在数据湖中引入了核心的仓库和数据库功能。Hudi提供了两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。 商品亮点：内置OBS作为连接源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-11-07 02:10:46 Apache Hudi，也被发音为“hoodie”，是下一代流 数据湖 平台。它直接在数据湖中引入了核心的仓库和 数据库 功能。Hudi提供了两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。此外，Hudi还支持表、事务、高效的upserts/删除、高级索引、流式摄取服务、数据群集/压缩优化以及并发，同时保持数据以 开源 文件格式保留。 以下是Apache Hudi的一些主要特性： ①支持多种类型操作：Hudi表允许多种类型操作，包括非常常用的upsert。为了支持upsert，Hudi依赖索引机制来定位记录在哪些文件中。 ②支持分区和非分区 数据集 ：Hudi支持分区和非分区的数据集。分区数据集是将一组文件（数据）放在称为分区的桶中的数据集。 ③使用索引加快更删操作：对于Copy-On-Write表，索引能加快更删的操作，因为避免了通过连接整个数据集来决定哪些文件需要重写。对于Merge-On-Read表，这个设计，对于任意给定的基文件，能限定要读取的文件范围。 ④支持事务：Hudi支持事务，这使得在处理大量数据时可以确保数据的完整性和一致性。 ⑤高效的upserts/删除：Hudi提供高效的upserts和删除操作，这对于实时或近实时数据处理的场景非常有用。 ⑥高级索引：Hudi支持高级索引，这使得用户可以更快地查询和检索数据。 ⑦流式摄取服务：Hudi支持流式摄取服务，这使得用户可以实时将数据添加到数据湖中。 ⑧数据群集/压缩优化以及并发：Hudi支持数据群集、压缩优化以及并发，这使得它在处理大量数据时能够保持高效和可扩展性。 查看详情

Airbyte-OBS-

2025-02-08 10:57:44

适用于：Linux 商品简介：Airbyte 是一款开源的数据集成平台，旨在简化数据采集、同步和传输的工作流程。它的目标是使数据工程师和数据科学家能够轻松地从各种源头（例如数据库、API、日志文件等）收集和传输数据，以供进一步分析和处理。 商品亮点：内置OBS对象存储作为输入，输出数据源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-10-13 08:23:58 Airbyte 是一款 开源 的 数据集成平台 ，旨在简化数据采集、同步和传输的工作流程。它的目标是使数据工程师和数据科学家能够轻松地从各种源头（例如 数据库 、API、日志文件等）收集和传输数据，以供进一步分析和处理。 以下是 Airbyte 的一些主要特点和功能： 多源支持：Airbyte 支持从各种数据源中提取数据，包括数据库（如MySQL、PostgreSQL、MongoDB等）、API（如Google Analytics、Salesforce等）、文件（如CSV、JSON、Parquet等）、日志和许多其他数据源。 连接器生态系统：Airbyte 提供了一个连接器生态系统，其中包括多个连接器，可用于从不同源头获取数据。这些连接器可通过配置文件进行设置，从而轻松地连接到数据源并提取数据。 可扩展性：您可以编写自定义连接器，以满足特定的 数据集 成需求。Airbyte 提供了一套开发工具和文档，以支持连接器的开发和扩展。 简化配置：Airbyte 提供直观的用户界面，使用户能够轻松配置数据采集任务和数据同步工作流程，而无需深入了解数据集成的复杂性。 调度和监控：Airbyte 允许您安排数据同步任务的执行，以确保数据的定期更新。它还提供了监控和警报功能，以跟踪任务的运行状况。 开源和社区支持：Airbyte 是开源项目，拥有活跃的社区支持。这意味着您可以免费使用它，并且可以参与社区，共享和获取有关数据集成的最佳实践和 解决方案 。 数据转换和模式管理：Airbyte 支持对数据进行转换和清理，以满足目标 数据仓库 的要求。它还能够管理数据的模式，以确保数据的一致性。 多种目标数据仓库：Airbyte 支持将数据传输到各种目标数据仓库，包括 数据湖 、数据仓库（如Snowflake、Redshift、BigQuery等）和其他数据存储系统。 本商品利用Airbyte的数据源扩展机制，使Airbyte可以使用obs作为输入，输出数据源。 这里提供的是 镜像 部署方式 查看详情

jenkins-plugins持续集成工具-

2025-02-08 10:57:44

服务内容：如果一键部署出现异常，可寻求帮助 服务时间：周一至周六 9:00~11:50 14:00~18:00 服务电话：1737504510 服务邮箱：1441256632@qq.com 服务微信：xnx3com 使用指南： Jenkins-plugins持续集成工具使用指南 下载 查看商品详情 立即下载

jenkins-plugins持续集成工具-

2025-02-08 10:57:43

适用于：Linux 商品简介：Jenkins是一个开源的持续集成工具，用于监控持续重复的工作，旨在提供一个开放易用的软件平台，使软件项目可以进行持续集成。 商品亮点：一键部署,内置华为云OBS对象存储,内置华为云codeArts 部分产品,内置华为云web 漏洞扫描服务 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-05-19 03:27:17 Jenkins是一个 开源 的持续集成工具，用于监控持续重复的工作，具有 自动化 构建、测试和部署等功能，旨在提供一个开放易用的软件平台，使软件项目可以进行持续集成。Jenkins其中一大特点就是基于插件的高可扩展性，它的许多功能都是通过插件进行集成的。 本商品利用Jenkins的插件机制，集成OBS作为Jenkins构建文件的存储容器。集成codeArts codeCheck为代码仓进行代码检查，集成codeArts pipeline进行自动化测试，和VSS对Web 漏洞扫描 ，并且结果通过 SMN 服务进行消息发送，跟根据需求进行灵活配置 这里提供了两种部署方式， 镜像 部署方式跟 资源编排 的部署方式。推荐使用资源编排方式，一键自动创建服务器、安全组、VPC等相关资源。如果您想使用镜像部署的方式，云资源的配置如下图所示： 查看详情

Weaviate-OBS-

2025-02-08 10:57:41

适用于：Linux 商品简介：Weaviate 是一个开源的向量数据库，可以同时存储对象和向量，将向量搜索和结构化过滤相结合， 从而创建一个稳健、故障容许的搜索引擎。 商品亮点：一键部署,支持OBS对象存储 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-10-27 06:02:49 Weaviate 是一个 开源 的向量 数据库 ，可以同时存储对象和向量，将向量搜索和结构化过滤 (structured filtering) 相结合， 从而创建一个稳健、故障容许的搜索引擎。它能对不同媒体类型（文本、图像等）提供开箱即用的支持，并提供语义搜索、问答提取、分类、可定制模型 (PyTorch/TensorFlow/Keras) 等 Weaviate 可以轻松使用最先进的 AI 模型，同时提供向量数据库的可扩展性、易用性、安全性和成本效益。 Weaviate支持使用 对象存储 对数据进行备份和恢复，本商品在备份功能上提供了华为云 对象存储OBS 服务的扩展。 weaviate拥有以下特性： 1.速度：Weaviate可以在几毫秒内从数百万个对象中快速搜索出最近的10个邻居。 2.灵活性：使用Weaviate，可以在导入或上传自己的数据时对数据进行矢量化，可以利用与OpenAI, Cohere, HuggingFace等平台集成的模块。 3.快速部署：从原型到大规模生产，Weaviate都强调可伸缩性、复制和安全性。 4.搜索扩展:除了快速矢量搜索，Weaviate还提供推荐、摘要和神经搜索框架集成。 查看详情

Airflow编排调度平台-

2025-02-08 10:57:41

服务内容：如果一键部署出现异常，可寻求帮助 服务时间：周一至周六 9:00~11:50 14:00~18:00 服务电话：18362962787 服务邮箱：lsmforwork@outlook.com 服务微信：xnx3com 使用指南： Airflow编排调度平台 下载 查看商品详情 立即下载

Airflow编排调度平台-

2025-02-08 10:57:40

适用于：Linux 商品简介：Airflow是一个编排调度平台，用于以编程方式编写、计划和监控工作流，并提供Web界面，有助于管理工作流的状态。 商品亮点：提供开箱即用的Airflow服务，避免繁琐的环境变量配置和部署部分。,集成华为云OBS、DWS、 CDM 、DataArts、DLI、SMN服务。,图形化界面管理，高效清晰。 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-04-10 09:25:05 Airflow编排调度平台，用于开发、调度和监控面向批处理的工作流。Airflow的可扩展Python框架使您能够构建与几乎任何技术连接的工作流。并提供Web界面，有助于管理工作流的状态。 本商品基于Huawei Cloud EulerOS 2.0 64bit系统，提供开箱即用的Airflow服务，采用 镜像 部署的方式进行部署。使用Python代码实现管道的能力允许您使用Python中可以想象的任何东西创建任意复杂的管道。 Airflow工作流的主要特点是所有工作流都在 Python 代码中定义。“工作流即代码”有多种用途： 动态：Airflow 管道配置为 Python 代码，允许动态管道生成。 可扩展：Airflow 框架包含与众多技术连接的操作符。所有 Airflow 组件都是可扩展的，可以轻松适应您的环境。 灵活：工作流参数化是内置的，利用了Jinja模板引擎。 任务是基本的执行单位，包括从 数据库 中读取数据、处理数据、将数据存储在数据库中等。在Airflow中，有三种基本类型的任务： 运算符（Operator）：用于构建大多数任务（Tasks）的预定义模板。 传感器（Sensors）：一种特殊类型的Operator，旨在只做一件事——等待某事发生。它可以是基于时间的，或者等待一个文件，或者一个外部事件，但他们所做的只是等待，直到有事情发生，然后成功，这样他们的下游任务才能运行。 任务流（TaskFlow）：实现在数据管道中共享数据。 查看详情

Apache Drill-

2025-02-08 10:57:38

适用于：Linux 商品简介：Apache Drill是一个开源的分布式SQL查询引擎，旨在处理大规模数据集。 商品亮点：内置OBS对象存储作为数据源 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-10-20 06:03:53 以下是关于Apache Drill的一些重要信息： ①分布式SQL查询引擎：Apache Drill允许用户使用标准SQL查询结构化和半结构化数据，无论数据存储在何处，无需预定义模式。这使得它非常适合在 大数据 生态系统中查询和分析数据。 ②架构灵活性：Drill的架构设计非常灵活，可以查询各种数据存储系统，包括Hadoop Distributed File System (HDFS)，NoSQL 数据库 ，关系数据库， 云存储 （S3/Azure Blob/OBS等），以及本地文件系统。这使得它成为一个强大的数据访问工具。 ③支持半结构化数据：与传统关系数据库不同，Drill可以处理半结构化数据，如JSON、Parquet、Avro等。这使得它适用于处理多种数据格式。 ④分布式性能：Drill是一个分布式查询引擎，可以并行执行查询，从而提供高性能的数据处理。它可以利用集群中的多个节点来加速查询。 ⑤兼容性：Drill兼容标准SQL，因此用户可以使用熟悉的SQL查询语言来查询数据。它还支持多种客户端工具，如Tableau、Qlik、和Apache Superset等。 ⑥实时查询：Drill支持实时查询，这意味着用户可以与数据源保持连接，并根据数据的变化进行动态查询。 ⑦可扩展性：Drill可以轻松扩展以处理更多数据和更大的工作负载。用户可以根据需要添加新的节点。 ⑧ 开源 和活跃的社区：Apache Drill是一个开源项目，具有活跃的社区支持，因此它不断得到更新和改进。 总之，Apache Drill是一个强大的工具，用于查询和分析分布式数据存储中的大规模数据。它的灵活性、性能和SQL兼容性使其成为大数据处理和分析的有力工具。 查看详情

Trino-

2025-02-08 10:57:36

适用于：Linux 商品简介：Trino是一款开源的高性能、分布式SQL查询引擎，专门用于对各种异构数据源运行交互式分析查询，支持从GB到PB的数据量范围，可以对来自不同数据源的数据进行合并查询，并提供良好的自定义连接器编程扩展框架。 商品亮点：数据源新增OBS类型 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2024-07-24 03:01:25 Trino是一个 开源 的分布式SQL查询引擎，旨在处理大规模数据分析。 以下是关于Trino的一些主要特性： 分布式查询引擎：Trino被设计用于处理大规模 数据集 ，支持在分布式计算集群上执行复杂的SQL查询。 高性能：Trino专注于查询性能和低延迟，能够快速处理PB级别的数据。 灵活的数据源支持：Trino可以查询各种数据源，包括关系型 数据库 （如MySQL、PostgreSQL）、NoSQL数据库（如MongoDB、Cassandra）、以及各种文件格式（如Parquet、Avro、JSON等）。 多引擎查询：Trino支持跨多个数据源进行联合查询，这使得它特别适合于 数据湖 （Data Lake）和多云环境中的分析工作负载。 容错和高可用性：Trino具备容错机制，能够处理节点故障，并且支持高可用部署。 易用性：Trino提供了用户友好的SQL接口，使得开发者和数据分析师能够使用标准的SQL语法进行查询和分析。 社区活跃：Trino有一个活跃的开发社区，持续改进和更新功能，以适应不断变化的 大数据 生态系统和用户需求。 开源和企业支持：Trino是开源项目，基于Apache 许可证 发布，同时也有一些公司（如Starburst、Ahana等）提供了商业支持和增强版本。 总体来说，Trino作为一个高性能、灵活和易用的分布式SQL查询引擎，适合用于需要快速处理大数据集并且需要跨多个数据源进行复杂查询的场景。 查看详情

Thanos-OBS-

2025-02-08 10:57:36

服务内容：如果一键部署出现异常，可寻求帮助 服务时间：周一至周六 9:00~11:50 14:00~18:00 服务电话：1737504510 服务邮箱：1441256632@qq.com 服务微信：xnx3com 使用指南： Thanos-OBS使用指南 下载 查看商品详情 立即下载

Thanos-OBS-

2025-02-08 10:57:35

适用于：Linux 商品简介：Thanos是一个用于解决大规模Prometheus部署、增强Prometheus高可用的工具，Thanos支持将历史监控数据存储到对象存储中，提供监控数据的可靠性。 商品亮点：一键部署 ,内置华为云OBS对象存储 商品说明 版本: V1.0 交付方式: 镜像 适用于: Linux 上架日期: 2023-04-12 04:15:05 Thanos是主要用于解决大规模Prometheus部署、增强Prometheus高可用的工具。 Prometheus本身只支持单机部署，没有自带集群模式，所以大规模集群监控主要通过Prometheus联邦机制或者做监控指标服务拆分方式去实现，主要痛点是Prometheus对于监控历史数据的存储问题，本地存储数据量有限，只能通过远端存储接口，存储到支持Prometheus远端存储接口的 数据库 中。 Prometheus官方高可用的方式是通过部署多个Prometheus实例采集同一个target，前端通过LB设备做为统一入口，这带来的问题就是，两个prometheus实例内存储的数据会存在差异，特别是当其中一个Prometheus宕机后，另外一个prometheus接管服务，此时宕机的Prometheus就会丢失宕机期间的监控数据，当LB的请求转发过来会出现数据不一致情况。 Thanos能够解决上述问题，Thanos能够将多个Prometheus实例的数据进行聚合去重，来支持Prometheus横向扩展和提高Prometheus的高可用性，同时也支持将历史监控数据存储到 对象存储 中，提供监控数据的可靠性，降低运维难度。 本商品基于Thanos的扩展机制，提供针对华为云 对象存储OBS 服务的扩展。- 这里提供了两种部署方式， 镜像 部署方式跟Terraform 资源编排 的部署方式。推荐使用Terraform资源编排方式，一键自动创建服务器、安全组、VPC等相关资源。 查看详情

druid-OBS持续集成工具-

2025-02-08 10:57:34

服务内容：如果一键部署出现异常，可寻求帮助 服务时间：周一至周六 9:00~11:50 14:00~18:00 服务电话：15871724935 服务邮箱：dingxiang26@h-partners.com 使用指南： druid-obs集成工具 下载 查看商品详情 立即下载

共18961条
为您推荐
L实例 在线语音转文字 通用文字识别 对象存储OBS IoT全栈云服务 安全合规服务 文字语音识别 OCR图片文字识别 扫描图片识别文字 录音转文字
提示

您即将访问非华为云网站，请注意账号财产安全

取消 继续访问