云计算的核心技术
金融行业对于数据安全和可靠性有非常严格的要求,RPO=0 和 RTO≈0 的诉求一直以来都是商业数据库的领地。TaurusDB 既拥有商业数据库的稳定可靠性,又拥有开源数据库的灵活性和低成本。 优势 100% 兼容 MySQL 完全兼容 MySQL,应用无需改造,平滑上云 保证存储数据强一致性 RPO=0
基于Shared-nothing/MPP的对等并行计算模型可以充分利用CPU/IO/Mem等资源,获得极致的运算性能和线性的可扩展性,从而支持PB级数据规模。 分布式存储 GaussDB(DWS)采用水平分表的方式,将数据表格的元组按照一定的分布策略分散存储到多个节点。查询的时候可以通过查询条件过滤不必要的数据,
Flexus智能数据洞察 支撑业务实时高效决策的bi服务 Flexus云会议 高性价比的云会议,高清、稳定、安全 Flexus云桌面 按需弹性,更适合中小企业的云办公 Flexus对象存储 成本最优,极致安全可靠的数据底座 计算 弹性云服务器 ECS 可随时自动获取、弹性伸缩的云服务器 Flexus云服务
专属企业存储服务 DESS 专属分布式存储服务 DSS 功能描述 计算隔离 独享计算资源,部署在独立的物理集群,确保云服务器资源运行在物理隔离的专属主机内 独享计算资源,部署在独立的物理集群,确保云服务器资源运行在物理隔离的专属主机内 灵活创建 支持用户自行指定主机规划资源,合理部署业务
满足科学研究诉求:提供澎湃昇腾算力+鲲鹏算力;且通过优化加速,使昇腾算力在针对科学计算领域的运算上表现优异。 丰富资产 集成丰富的AI4S领域模型、工作流、工具:面向科学计算领域的典型场景,提供针对6+领域(生物医药、计算化学、地球科学、电磁学、流体仿真、量子力学)的套件(模型/工具/工作流等), 集成80+ 开源
主可控。 - 精细化的数据隐私保护策略,确保分析结果中强制执行隐私数据的脱敏。 使能数据交易 使能数据交易 传统数据交易方式,交易的是数据所有权,交易完成后,数据被无限制的拷贝和复制。采用可信交易方式,交易的不是数据,而是数据的使用权,卖家卖的是对某个数据的用法用量,不用担心数据被拷贝和复制。
打造高精度、高分辨率、定制化区域的基础大模型。 全球模型 提供高精度的全球模型,无需定制和训练,直接订阅即可推理 多种部署形态 支持公有云、混合云、边缘多种形态,满足不同需求 文档与学习成长 盘古大模型 盘古大模型 什么是盘古大模型 盘古科学计算大模型能力与规格 盘古大模型用户指南
长计费 高吞吐低时延 采用Apache Flink的Dataflow模型,完全的实时计算框架。采用高性能计算资源,从用户自建的Kafka、MRS-Kafka、DMS-Kafka消费数据,单SPU每秒吞吐1千~2万条消息,不同场景的吞吐量有差异 主要功能 StreamingML 提
0倍增长。通过货运车辆的运行路线,获取实时街景,完成动态地图的绘制,基于传统货运,打造新商业模式。 了解详情 西南首个智能网联的车路协同测试场 基于华为云IoT提供的路网数字化服务,都汶高速采用摄像头、雷达等多维度数据采集,在不受雨雾遮挡影响、不新增路灯的情况下,实现全天候实时感
共三节课程云精髓入门级培训 培训内容:基于公有云的计算、存储、网络、数据库、安全、部署等服务场景,通过对典型场景的需求和实现解析,配合实操帮助掌握各个服务正确的使用方式,帮助学员熟练掌握最核心服务的正确用法和基础的操作,转变到云计算的思维方式,是深入学习其他华为云技术的基础。云原生入门级培训
面向计算技术领域,提供平台、赛题、专家、运营、营销全流程办赛服务。实现以赛促产,以赛促学,以赛促建,提升品牌影响力。大赛活动特点及优势:1.技术创新人才聚集:一场竞赛可聚集领域众多技术创新人才进行共创2.特定场景应用领域:通过赛题,挖掘目标领域的优秀创新人才及项目3.产业生态共建
景行锐创携手全球合作伙伴基于云计算、大数据、IoT等技术帮助制造行业客户重塑制造行业价值链,创新商业模式,实现新的价值创造。景行云仿真计算平台作为华为云上的一项增值服务,您只需支付华为云的基础机器资源费用便可免费使用该增值服务平台。 服务背景:为实现景行仿真计算平台云端化,提供更高效便捷的云计算资源,
功能包括分子发光性能以及电荷输运性能的理论计算,广泛应用有机显示材料、有机照明材料、有机半导体材料、有机太阳能电池材料、有机光检测、生物传感材料、有机光通讯材料、有机光催化等领域。载流子动力学计算模块,缺陷(杂质)能量计算模块,缺陷(杂质)浓度计算模块,热力学稳定性计算模块
备 上 , 用 来 采 集 客 户 现 场 设 备 上 的 数 据 或 者 反 向 发 送 数 据 , 一 般 用 来 实 现 数 据 汇 总 、 数 据 透 传 、 无 线 对 传 、 协 议 转 换 、 设 备 上 云 等 功 能 。 【 通 信 方 式 】 B / C 系 列
。轩辕AI科学计算平台是基于华为“鲲鹏+昇腾”算力底座,围绕数据、算法,为科研团队提供智能预测、决策推理、文献共引分析、知识抽取、专利网络分析等功能,借助深度学习和知识图谱等AI分析技术,加快科研产出。(基础版含20账号及云服务器) 提供专业的数据治理服务,资深的AI专家团队支持
据共享价值。2、多方安全计算:在不需要可信第三方的情况下,多个参与方实现目标函数计算的同时,不会泄漏自有数据,也无法推断出其他各参与方的数据。3、可信执行环境:通过软硬件结合的方法在CPU构建安全的物理区域,实现高效的程序执行与数据计算。二、天冕隐私计算平台功能1、联邦建模平台联
植和数据迁移实战经验的赋能服务应用数据迁移:通过一系列的流程和方法,借助专业工具和手段,把支撑业务运营的存储及IT系统中的数据文件从源平台平滑迁移到目标鲲鹏平台。同时保证迁移过程对业务运行的影响最小,迁移后的业务稳定运行数据库迁移:完成鲲鹏迁移后,通过一系列的流程和方法,借助专业
边缘计算盒Gnosis 100A搭载国产化计算芯片,具备高性能、低功耗、小体积、温度范围宽、环境适应性强、易于维护管理等特点。 通过搭配多样化深度学习算法,灵活应对城市治理、公共安全、电力能源、轨道交通等需求,实现边缘侧的AI赋能。边缘计算盒Gonsis100A 场景丰富:支持城
据库平滑迁移上云。 华为云数据复制服务的在线迁移特性,通过增量迁移技术,能够最大限度允许迁移过程中业务继续对外提供使用,有效地将业务系统中断时间和业务影响最小化,让数据库平滑迁移上云。 云上安全灾备 华为数据复制服务可支持本地IDC作为业务中心,华为云作为灾备中心的数据同步。您可
度上说,云带来了安全产品的整体提升。 云计算入门学习在线课程 华为云入门 本课程从近年来的行业痛点分析入手,层层揭开云计算的神秘面纱。介绍了云技术的特点和价值,以及华为云服务十几个典型的产品。 课程目标:通过本课程的学习,了解云计算、华为云服务,并对华为云的使用有一定的了解。 立即学习
为游戏业务提供高可靠、高性能、高稳定,低时延的高性能云服务器,给玩家顺畅游戏体验。根据游戏业务对资源的需求快速弹性扩容,合理利用计算资源,节约成本 怎么搭建云计算平台 云计算服务实践 10分钟快速入门云计算服务器 ECS 本实验指导用户体验华为云弹性云服务器ECS的配置创建、远程登录及服务器管理
本课程从近年来的行业痛点分析入手,层层揭开云计算的神秘面纱。介绍了云技术的特点和价值,以及华为云服务十几个典型的产品。 课程目标:通过本课程的学习,了解云计算、华为云服务,并对华为云的使用有一定的了解。 立即学习 弹性云服务器ECS:轻松上云第一步 云时代已经到来,了解并学会使用弹性云服
在线课程 华为云入门 本课程从近年来的行业痛点分析入手,层层揭开云计算的神秘面纱。介绍了云技术的特点和价值,以及华为云服务十几个典型的产品。 课程目标 通过本课程的学习,了解云计算、华为云服务,并对华为云的使用有一定的了解。 立即学习 弹性云服务器ECS:轻松上云第一步 云时代已经到
云计算学习入门 通过免费课程、在线实验、专业认证,了解什么是云计算, 掌握云计算的概念及应用场景,入门华为云 上华为云学院,Get更多前沿技能! 在线课程 华为云入门 本课程从近年来的行业痛点分析入手,层层揭开云计算的神秘面纱。介绍了云技术的特点和价值,以及华为云服务十几个典型的产品。
IFS智能财务商城的亮点在于其精专业的咨询团队协同研发,强联动的PaaS和SaaS双层应用,高占比的低代码交互操作,轻接入的智能化效果快速呈现,以及多模块的先进技术嵌入式增强。这些亮点使得IFS智能财务商城成为一款功能强大、操作简便的财务智能化解决方案。 IFS智能财务商城的产品优势主要
3.吞吐量 使用系统的吞吐量来定义处理数据的整体能力。数据库的吞吐量以每秒的查询次数、每秒的处理事务数量或平均响应时间来测量。数据库的处理能力与底层系统(磁盘I/O,CPU速度,存储器带宽等)有密切的关系,所以当设置数据库吞吐量目标时,需要提前了解硬件的性能。 4.竞争 竞争是
规格 专属计算集群的规格提供了对应物理服务器的配置信息,您可以根据自己的业务特性和规模,选择合适的专属计算集群规格。 专属计算集群DCC - 查询专属云信息 用户可以查看在不同云服务区已经申请成功的专属云。进入指定的专属云,还可以查看该专属云内专属计算资源详情及云服务器等专属云内基础服务的实例信息。
云计算的核心技术
简介
Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。
Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pipeline处理数据,时延毫秒级,且兼具可靠性。
Flink技术栈如图1所示。
Flink在当前版本中重点构建如下特性,其他特性继承开源社区,不做增强。
- DataStream
- Checkpoint
- 窗口
- Job Pipeline
- 配置表
架构
Flink架构如图2所示。
Flink整个系统包含三个部分:
- Client
- TaskManager
- JobManager
Flink系统的管理节点,管理所有的TaskManager,并决策用户任务在哪些Taskmanager执行。JobManager在HA模式下可以有多个,但只有一个主JobManager。
Flink系统提供的关键能力:
Flink开发接口简介
Flink DataStream API提供Scala和Java两种语言的开发方式,如表1所示。
基本概念
- DataStream
数据流,是指Flink系统处理的最小数据单元。该数据单元最初由外部系统导入,可以通过socket、Kafka和文件等形式导入,在Flink系统处理后,通过Socket、Kafka和文件等输出到外部系统,这是Flink的核心概念。
- Data Transformation
数据处理单元,会将一或多个DataStream转换成一个新的DataStream。
具体可以细分如下几类:
- 一对一的转换:如Map。
- 一对0、1或多个的转换:如FlatMap。
- 一对0或1的转换,如Filter。
- 多对1转换,如Union。
- 多个聚合的转换,如window、keyby。
- CheckPoint
CheckPoint是Flink数据处理高可靠、最重要的机制。该机制可以保证应用在运行过程中出现失败时,应用的所有状态能够从某一个检查点恢复,保证数据仅被处理一次(Exactly Once)。
- SavePoint
Savepoint是指允许用户在持久化存储中保存某个checkpoint,以便用户可以暂停自己的任务进行升级。升级完后将任务状态设置为savepoint存储的状态开始恢复运行,保证数据处理的延续性。
样例工程介绍
MRS 样例工程获取地址为https://github.com/huaweicloud/huaweicloud-mrs-example,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。
样例工程 |
描述 |
---|---|
FlinkCheckpointJavaExample |
异步Checkpoint机制程序的应用开发示例。 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性,即:当应用出现异常并恢复后,各个算子的状态能够处于统一的状态,相关业务场景介绍请参见Flink开启Checkpoint样例程序。 |
FlinkCheckpointScalaExample |
|
FlinkKafkaJavaExample |
向Kafka生产并消费数据程序的应用开发示例。 通过调用flink-connector-kafka模块的接口,生产并消费数据,相关业务场景介绍请参见Flink Kafka样例程序。 |
FlinkKafkaScalaExample |
|
FlinkPipelineJavaExample |
Job Pipeline程序的应用开发示例。 相关业务场景介绍请参见Flink Job Pipeline样例程序。 发布者Job自己每秒钟产生10000条数据,然后经由该job的NettySink算子向下游发送。另外两个Job作为订阅者,分别订阅一份数据并打印输出。 |
FlinkPipelineScalaExample |
|
FlinkSqlJavaExample |
使用客户端通过jar作业提交SQL作业的应用开发示例。 |
FlinkStreamJavaExample |
DataStream程序的应用开发示例。 相关业务场景介绍请参见Flink DataStream样例程序。 假定用户有某个网站周末网民网购停留时间的日志文本,另有一张网民个人信息的csv格式表,可通过Flink应用程序实现例如实时统计总计网购时间超过2个小时的女性网民信息,包含对应的个人详细信息的功能。 |
FlinkStreamScalaExample |
|
FlinkStreamSqlJoinExample |
Stream SQL Join程序的应用开发示例。 相关业务场景介绍请参见Flink Join样例程序。 假定某个Flink业务1每秒就会收到1条消息记录,消息记录某个用户的基本信息,包括名字、性别、年龄。另有一个Flink业务2会不定时收到1条消息记录,消息记录该用户的名字、职业信息。实现实时的以根据业务2中消息记录的用户名字作为关键字,对两个业务数据进行联合查询的功能。 |
云计算的核心技术常见问题
更多常见问题 >>-
云计算作为近年被热炒的概念,Google、Amazon、IBM等IT巨头们也以前所未有的速度和规模推动着其技术和产品的普及,那么究竟什么是云计算呢?
-
云计算作为近年被热炒的概念,Google、Amazon、IBM等IT巨头们也以前所未有的速度和规模推动着其技术和产品的普及,那么究竟什么是云计算呢?
-
gaussdb免费数据库有哪些?华为gaussdb数据库基于华为云数据库团队10年+技术积淀,为您打造更高可用、更高可靠、更高安全、更高性能、即开即用、便捷运维、弹性伸缩的数据库服务,拥有容灾、备份、恢复、安防、监控、迁移等全面的解决方案。
-
SFS的常见问题解答。
-
云计算作为近年被热炒的概念,Google、Amazon、IBM等IT巨头们也以前所未有的速度和规模推动着其技术和产品的普及,那么究竟什么是云计算呢?
-
云计算的发展历程介绍。
更多相关专题
增值电信业务经营许可证:B1.B2-20200593 | 域名注册服务机构许可:黔D3-20230001 | 代理域名注册服务机构:新网、西数