[快速入门]云计算的核心技术
云数据库 TaurusDB

金融行业对于数据安全和可靠性有非常严格要求,RPO=0 和 RTO≈0 诉求一直以来都是商业数据库领地。TaurusDB 既拥有商业数据库稳定可靠性,又拥有开源数据库灵活性和低成本。 优势 100% 兼容 MySQL 完全兼容 MySQL,应用无需改造,平滑上 保证存储数据强一致性 RPO=0

数据仓库服务GaussDB(DWS)核心技术介绍

基于Shared-nothing/MPP对等并行计算模型可以充分利用CPU/IO/Mem等资源,获得极致运算性能和线性可扩展性,从而支持PB级数据规模。 分布式存储 GaussDB(DWS)采用水平分表方式,将数据表格元组按照一定分布策略分散存储到多个节点。查询时候可以通过查询条件过滤不必要数据,

云计算_云存储_云网络_云安全_云数据库_云管理与部署-华为云

Flexus智能数据洞察 支撑业务实时高效决策bi服务 Flexus会议 高性价比会议,高清、稳定、安全 Flexus云桌面 按需弹性,更适合中小企业办公 Flexus对象存储 成本最优,极致安全可靠数据底座 计算 弹性云服务器 ECS 可随时自动获取、弹性伸缩云服务器 Flexus云服务

专属计算集群

专属企业存储服务 DESS 专属分布式存储服务 DSS 功能描述 计算隔离 独享计算资源,部署在独立物理集群,确保云服务器资源运行在物理隔离专属主机内 独享计算资源,部署在独立物理集群,确保云服务器资源运行在物理隔离专属主机内 灵活创建 支持用户自行指定主机规划资源,合理部署业务

AI科学计算服务

满足科学研究诉求:提供澎湃昇腾算力+鲲鹏算力;且通过优化加速,使昇腾算力在针对科学计算领域运算上表现优异。 丰富资产 集成丰富AI4S领域模型、工作流、工具:面向科学计算领域典型场景,提供针对6+领域(生物医药、计算化学、地球科学、电磁学、流体仿真、量子力学)套件(模型/工具/工作流等), 集成80+ 开源

可信智能计算服务

主可控。 - 精细化数据隐私保护策略,确保分析结果中强制执行隐私数据脱敏。 使能数据交易 使能数据交易 传统数据交易方式,交易是数据所有权,交易完成后,数据被无限制拷贝和复制。采用可信交易方式,交易不是数据,而是数据使用权,卖家卖是对某个数据用法用量,不用担心数据被拷贝和复制。

盘古科学计算大模型

打造高精度、高分辨率、定制化区域基础大模型。 全球模型 提供高精度全球模型,无需定制和训练,直接订阅即可推理 多种部署形态 支持公有、混合、边缘多种形态,满足不同需求 文档与学习成长 盘古大模型 盘古大模型 什么是盘古大模型 盘古科学计算大模型能力与规格 盘古大模型用户指南

实时流计算服务

长计费 高吞吐低时延 采用Apache FlinkDataflow模型,完全实时计算框架。采用高性能计算资源,从用户自建Kafka、MRS-Kafka、DMS-Kafka消费数据,单SPU每秒吞吐1千~2万条消息,不同场景吞吐量有差异 主要功能 StreamingML 提

IoT边缘计算

0倍增长。通过货运车辆运行路线,获取实时街景,完成动态地图绘制,基于传统货运,打造新商业模式。 了解详情 西南首个智能网联车路协同测试场 基于华为IoT提供路网数字化服务,都汶高速采用摄像头、雷达等多维度数据采集,在不受雨雾遮挡影响、不新增路灯情况下,实现全天候实时感

[相关产品]云计算的核心技术
云计算入门级培训

共三节课程精髓入门级培训 培训内容:基于公有计算、存储、网络、数据库、安全、部署等服务场景,通过对典型场景需求和实现解析,配合实操帮助掌握各个服务正确使用方式,帮助学员熟练掌握最核心服务正确用法和基础操作,转变到计算思维方式,是深入学习其他华为技术基础。云原生入门级培训

华为云大赛服务(计算领域)

面向计算技术领域,提供平台、赛题、专家、运营、营销全流程办赛服务。实现以赛促产,以赛促学,以赛促建,提升品牌影响力。大赛活动特点及优势:1.技术创新人才聚集:一场竞赛可聚集领域众多技术创新人才进行共创2.特定场景应用领域:通过赛题,挖掘目标领域优秀创新人才及项目3.产业生态共建

景行仿真计算公有云平台

景行锐创携手全球合作伙伴基于计算、大数据、IoT等技术帮助制造行业客户重塑制造行业价值链,创新商业模式,实现新价值创造。景行仿真计算平台作为华为一项增值服务,您只需支付华为基础机器资源费用便可免费使用该增值服务平台。 服务背景:为实现景行仿真计算平台云端化,提供更高效便捷计算资源,

DASP半导体缺陷和杂质性质的第一性原理计算软件

功能包括分子发光性能以及电荷输运性能理论计算,广泛应用有机显示材料、有机照明材料、有机半导体材料、有机太阳能电池材料、有机光检测、生物传感材料、有机光通讯材料、有机光催化等领域。载流子动力学计算模块,缺陷(杂质)能量计算模块,缺陷(杂质)浓度计算模块,热力学稳定性计算模块

边缘计算盒子

备 上 , 用 来 采 集 客 户 现 场 设 备 上 数 据 或 者 反 向 发 送 数 据 , 一 般 用 来 实 现 数 据 汇 总 、 数 据 透 传 、 无 线 对 传 、 协 议 转 换 、 设 备 上 等 功 能 。 【 通 信 方 式 】 B / C 系 列

轩辕AI科学计算平台

。轩辕AI科学计算平台是基于华为“鲲鹏+昇腾”算力底座,围绕数据、算法,为科研团队提供智能预测、决策推理、文献共引分析、知识抽取、专利网络分析等功能,借助深度学习和知识图谱等AI分析技术,加快科研产出。(基础版含20账号及云服务器)  提供专业数据治理服务,资深AI专家团队支持

天冕隐私计算平台

据共享价值。2、多方安全计算:在不需要可信第三方情况下,多个参与方实现目标函数计算同时,不会泄漏自有数据,也无法推断出其他各参与方数据。3、可信执行环境:通过软硬件结合方法在CPU构建安全物理区域,实现高效程序执行与数据计算。二、天冕隐私计算平台功能1、联邦建模平台联

鲲鹏计算移植专家服务

植和数据迁移实战经验赋能服务应用数据迁移:通过一系列流程和方法,借助专业工具和手段,把支撑业务运营存储及IT系统中数据文件从源平台平滑迁移到目标鲲鹏平台。同时保证迁移过程对业务运行影响最小,迁移后业务稳定运行数据库迁移:完成鲲鹏迁移后,通过一系列流程和方法,借助专业

边缘计算盒

边缘计算盒Gnosis 100A搭载国产化计算芯片,具备高性能、低功耗、小体积、温度范围宽、环境适应性强、易于维护管理等特点。 通过搭配多样化深度学习算法,灵活应对城市治理、公共安全、电力能源、轨道交通等需求,实现边缘侧AI赋能。边缘计算盒Gonsis100A 场景丰富:支持城

[相似文章]云计算的核心技术
GaussDB的核心技术_GaussDB金融级高可用_高斯数据库核心技术-华为云

据库平滑迁移上。 华为数据复制服务在线迁移特性,通过增量迁移技术,能够最大限度允许迁移过程中业务继续对外提供使用,有效地将业务系统中断时间和业务影响最小化,让数据库平滑迁移上上安全灾备 华为数据复制服务可支持本地IDC作为业务中心,华为作为灾备中心数据同步。您可

什么是云计算_云计算介绍_云计算技术

度上说,带来了安全产品整体提升。 计算入门学习在线课程 华为入门 本课程从近年来行业痛点分析入手,层层揭开计算神秘面纱。介绍了技术特点和价值,以及华为云服务十几个典型产品。 课程目标:通过本课程学习,了解计算、华为云服务,并对华为使用有一定了解。 立即学习

云计算平台有什么特征_怎么搭建云计算平台

为游戏业务提供高可靠、高性能、高稳定,低时延高性能云服务器,给玩家顺畅游戏体验。根据游戏业务对资源需求快速弹性扩容,合理利用计算资源,节约成本 怎么搭建计算平台 计算服务实践 10分钟快速入门计算服务器 ECS 本实验指导用户体验华为弹性云服务器ECS配置创建、远程登录及服务器管理

云计算服务器_云服务器_云计算服务

本课程从近年来行业痛点分析入手,层层揭开计算神秘面纱。介绍了技术特点和价值,以及华为云服务十几个典型产品。 课程目标:通过本课程学习,了解计算、华为云服务,并对华为使用有一定了解。 立即学习 弹性云服务器ECS:轻松上第一步 时代已经到来,了解并学会使用弹性云服

云计算学习入门

在线课程 华为入门 本课程从近年来行业痛点分析入手,层层揭开计算神秘面纱。介绍了技术特点和价值,以及华为云服务十几个典型产品。 课程目标 通过本课程学习,了解计算、华为云服务,并对华为使用有一定了解。 立即学习 弹性云服务器ECS:轻松上第一步 时代已经到

云计算学习入门

计算学习入门 通过免费课程、在线实验、专业认证,了解什么是计算, 掌握计算概念及应用场景,入门华为 上华为学院,Get更多前沿技能! 在线课程 华为入门 本课程从近年来行业痛点分析入手,层层揭开计算神秘面纱。介绍了技术特点和价值,以及华为云服务十几个典型产品。

RPA AI_RPA有哪些_RPA核心技术

IFS智能财务商城亮点在于其精专业咨询团队协同研发,强联动PaaS和SaaS双层应用,高占比低代码交互操作,轻接入智能化效果快速呈现,以及多模块先进技术嵌入式增强。这些亮点使得IFS智能财务商城成为一款功能强大、操作简便财务智能化解决方案。 IFS智能财务商城产品优势主要

GaussDB计算性能_gaussdb递归_高斯数据库计算性能_华为云

3.吞吐量 使用系统吞吐量来定义处理数据整体能力。数据库吞吐量以每秒查询次数、每秒处理事务数量或平均响应时间来测量。数据库处理能力与底层系统(磁盘I/O,CPU速度,存储器带宽等)有密切关系,所以当设置数据库吞吐量目标时,需要提前了解硬件性能。 4.竞争 竞争是

专属计算集群是什么_DCC专属计算集群_专属云

规格 专属计算集群规格提供了对应物理服务器配置信息,您可以根据自己业务特性和规模,选择合适专属计算集群规格。 专属计算集群DCC - 查询专属信息 用户可以查看在不同云服务区已经申请成功专属。进入指定专属,还可以查看该专属内专属计算资源详情及云服务器等专属内基础服务的实例信息。

云计算的核心技术

简介

Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。

Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pipeline处理数据,时延毫秒级,且兼具可靠性。

Flink技术栈如图1所示。

图1 Flink技术栈

Flink在当前版本中重点构建如下特性,其他特性继承开源社区,不做增强。

  • DataStream
  • Checkpoint
  • 窗口
  • Job Pipeline
  • 配置表

架构

Flink架构如图2所示。

图2 Flink架构

Flink整个系统包含三个部分:

  • Client

    Flink Client主要给用户提供向Flink系统提交用户任务(流式作业)的能力。

  • TaskManager

    Flink系统的业务执行节点,执行具体的用户任务。TaskManager可以有多个,各个TaskManager都平等。

  • JobManager

    Flink系统的管理节点,管理所有的TaskManager,并决策用户任务在哪些Taskmanager执行。JobManager在HA模式下可以有多个,但只有一个主JobManager。

Flink系统提供的关键能力:

  • 低时延

    提供ms级时延的处理能力。

  • ExactlyOnce

    提供异步快照机制,保证所有数据真正只处理一次。

  • HA

    JobManager支持主备模式,保证无单点故障。

  • 水平扩展能力

    TaskManager支持手动水平扩展。

Flink开发接口简介

Flink DataStream API提供Scala和Java两种语言的开发方式,如表1所示。

表1 Flink DataStream API接口

功能

说明

Scala API

提供Scala语言的API,提供过滤、join、窗口、聚合等数据处理能力。由于Scala语言的简洁易懂,推荐用户使用Scala接口进行程序开发。

Java API

提供Java语言的API,提供过滤、join、窗口、聚合等数据处理能力。

基本概念

  • DataStream

    数据流,是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入,可以通过socket、Kafka和文件等形式导入,在Flink系统处理后,通过Socket、Kafka和文件等输出到外部系统,这是Flink的核心概念。

  • Data Transformation

    数据处理单元,会将一或多个DataStream转换成一个新的DataStream。

    具体可以细分如下几类:

    • 一对一的转换:如Map。
    • 一对0、1或多个的转换:如FlatMap。
    • 一对0或1的转换,如Filter。
    • 多对1转换,如Union。
    • 多个聚合的转换,如window、keyby。
  • CheckPoint

    CheckPoint是Flink数据处理高可靠、最重要的机制。该机制可以保证应用在运行过程中出现失败时,应用的所有状态能够从某一个检查点恢复,保证数据仅被处理一次(Exactly Once)。

  • SavePoint

    Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。

样例工程介绍

MRS 样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。

当前MRS提供以下Flink相关样例工程,安全模式路径为“flink-examples/flink-examples-security”,普通模式路径为“flink-examples/flink-examples-normal”:
表2 Flink相关样例工程

样例工程

描述

FlinkCheckpointJavaExample

异步Checkpoint机制程序的应用开发示例。

假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态,相关业务场景介绍请参见Flink开启Checkpoint样例程序

FlinkCheckpointScalaExample

FlinkKafkaJavaExample

向Kafka生产并消费数据程序的应用开发示例。

通过调用flink-connector-kafka模块的接口,生产并消费数据,相关业务场景介绍请参见Flink Kafka样例程序

FlinkKafkaScalaExample

FlinkPipelineJavaExample

Job Pipeline程序的应用开发示例。

相关业务场景介绍请参见Flink Job Pipeline样例程序

发布者Job自己每秒钟产生10000条数据,然后经由该job的NettySink算子向下游发送。另外两个Job作为订阅者,分别订阅一份数据并打印输出。

FlinkPipelineScalaExample

FlinkSqlJavaExample

使用客户端通过jar作业提交SQL作业的应用开发示例。

FlinkStreamJavaExample

DataStream程序的应用开发示例。

相关业务场景介绍请参见Flink DataStream样例程序

假定用户有某个网站周末网民网购停留时间的日志文本,另有一张网民个人信息的csv格式表,可通过Flink应用程序实现例如实时统计总计网购时间超过2个小时的女性网民信息,包含对应的个人详细信息的功能。

FlinkStreamScalaExample

FlinkStreamSqlJoinExample

Stream SQL Join程序的应用开发示例。

相关业务场景介绍请参见Flink Join样例程序

假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。实现实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询的功能。

云计算的核心技术常见问题

更多常见问题 >>
  • 云计算作为近年被热炒的概念,Google、Amazon、IBM等IT巨头们也以前所未有的速度和规模推动着其技术和产品的普及,那么究竟什么是云计算呢?

  • 云计算作为近年被热炒的概念,Google、Amazon、IBM等IT巨头们也以前所未有的速度和规模推动着其技术和产品的普及,那么究竟什么是云计算呢?

  • gaussdb免费数据库有哪些?华为gaussdb数据库基于华为云数据库团队10年+技术积淀,为您打造更高可用、更高可靠、更高安全、更高性能、即开即用、便捷运维、弹性伸缩的数据库服务,拥有容灾、备份、恢复、安防、监控、迁移等全面的解决方案。

  • SFS的常见问题解答。

  • 云计算作为近年被热炒的概念,Google、Amazon、IBM等IT巨头们也以前所未有的速度和规模推动着其技术和产品的普及,那么究竟什么是云计算呢?

  • 云计算的发展历程介绍。