- SQL API 是基于 SQL 标准的 Apache Calcite 框架实现的,可通过纯 SQL 来开发和运行一个Flink 任务。 SQL API 是基于 SQL 标准的 Apache Calcite 框架实现的,可通过纯 SQL 来开发和运行一个Flink 任务。
- 介绍 Flink 中的容错机制是如何保证故障后的恢复 介绍 Flink 中的容错机制是如何保证故障后的恢复
- 算子任务不仅需要当前流的数据,还需要其他数据来参与计算,这里的其他数据就是状态。 算子任务不仅需要当前流的数据,还需要其他数据来参与计算,这里的其他数据就是状态。
- AIOps|实时日志流处理:Kafka+Flink构建日志审计管道 日志流处理架构传统的日志分析模式是"先存储后查询"——日志通过Filebeat采集写入Elasticsearch,然后运维人员进行事后检索。这种模式适合排障和报表,但无法满足实时安全审计和即时告警的需求。当攻击者正在进行暴力破解、当系统正在发生雪崩故障,等到日志写入ES再被人发现往往已经错过了最佳响应窗口。实时日志流处理架... AIOps|实时日志流处理:Kafka+Flink构建日志审计管道 日志流处理架构传统的日志分析模式是"先存储后查询"——日志通过Filebeat采集写入Elasticsearch,然后运维人员进行事后检索。这种模式适合排障和报表,但无法满足实时安全审计和即时告警的需求。当攻击者正在进行暴力破解、当系统正在发生雪崩故障,等到日志写入ES再被人发现往往已经错过了最佳响应窗口。实时日志流处理架...
- 产线设备事件先进 Kafka,再由 Flink 按 5 分钟窗口统计产量和停机次数,最后写进下游宽表。平时跑得好好的,某天任务重启一次,复核时发现某个窗口的产量少了几十件,另一天重启后,同一个窗口又多出了一批重复计数。这种时丢时重的情况,第一反应往往是怀疑 Kafka 位点乱了,或者窗口触发器写错了。但在翻消费组位点之前,有一个更前置的问题值得先确认:这个任务到底开没开 checkpoint... 产线设备事件先进 Kafka,再由 Flink 按 5 分钟窗口统计产量和停机次数,最后写进下游宽表。平时跑得好好的,某天任务重启一次,复核时发现某个窗口的产量少了几十件,另一天重启后,同一个窗口又多出了一批重复计数。这种时丢时重的情况,第一反应往往是怀疑 Kafka 位点乱了,或者窗口触发器写错了。但在翻消费组位点之前,有一个更前置的问题值得先确认:这个任务到底开没开 checkpoint...
- 处理函数提供了一个“定时服务”(TimerService),可以通过它访问流中的事件(event)、时间戳(timestamp)、水位线(watermark),甚至可以注册“定时事件”。而且处理函数继承了AbstractRichFunction抽象类,所以拥有富函数类的所有特性,同样可以访问状态(state)和其他运行时信息。此外,处理函数还可以直接将数据输出到侧输出流(side output)中 处理函数提供了一个“定时服务”(TimerService),可以通过它访问流中的事件(event)、时间戳(timestamp)、水位线(watermark),甚至可以注册“定时事件”。而且处理函数继承了AbstractRichFunction抽象类,所以拥有富函数类的所有特性,同样可以访问状态(state)和其他运行时信息。此外,处理函数还可以直接将数据输出到侧输出流(side output)中
- Flink是一种流式计算引擎,主要是来处理无界数据流的,数据源源不断、无穷无尽。想要更加方便高效地处理无界流,一种方式就是将无限数据切割成有限的范围进行处理,这就是窗口计算。 Flink是一种流式计算引擎,主要是来处理无界数据流的,数据源源不断、无穷无尽。想要更加方便高效地处理无界流,一种方式就是将无限数据切割成有限的范围进行处理,这就是窗口计算。
- DataStream API 是 Flink 的核心层 API。一个 Flink 程序,其实就是对 DataStream 的各种转换。 DataStream API 是 Flink 的核心层 API。一个 Flink 程序,其实就是对 DataStream 的各种转换。
- Apache Flink 是一个分布式处理引擎和框架,用于对无界和有界数据流进行有状态的计算。 Apache Flink 是一个分布式处理引擎和框架,用于对无界和有界数据流进行有状态的计算。
- 针对云数据库(RDS for MySQL)在面对 ToB 业务复杂多条件组合查询与模糊搜索时,因索引失效导致 CPU 飙升、慢日志爆满的痛点,本文提供一套基于 Flink CDC 实时采集 Binlog 并无缝同步至 Elasticsearch 的工程化解法,彻底卸载底层关系型数据库的检索压力。 针对云数据库(RDS for MySQL)在面对 ToB 业务复杂多条件组合查询与模糊搜索时,因索引失效导致 CPU 飙升、慢日志爆满的痛点,本文提供一套基于 Flink CDC 实时采集 Binlog 并无缝同步至 Elasticsearch 的工程化解法,彻底卸载底层关系型数据库的检索压力。
- 实时同步这件事,正在从加分项变成基本功。几年前,企业做数据集成,批量抽取是主线,实时同步只是少数高时效场景(交易、大屏、风控)才需要的特殊能力。到了 2026 年,情况反过来了:业务系统越来越多,数据库类型越来越杂,数据要实时流动的场景从几个膨胀到几十个,实时同步的复杂度已经超过了批量同步。复杂度从哪来?表面看是数据源变多了,本质是三件事叠加:数据库异构(MySQL、Oracle、SQL S... 实时同步这件事,正在从加分项变成基本功。几年前,企业做数据集成,批量抽取是主线,实时同步只是少数高时效场景(交易、大屏、风控)才需要的特殊能力。到了 2026 年,情况反过来了:业务系统越来越多,数据库类型越来越杂,数据要实时流动的场景从几个膨胀到几十个,实时同步的复杂度已经超过了批量同步。复杂度从哪来?表面看是数据源变多了,本质是三件事叠加:数据库异构(MySQL、Oracle、SQL S...
- 摘要:在云原生实时计算场景下,随着业务数据量级突破每秒百万级(TPS),Apache Flink 作业常面临反压(Backpressure)、Checkpoint 超时失败以及大状态(Large State)恢复缓慢等生产痛点。本文从底层存储机制出发,结合云原生对象存储架构,系统拆解 Flink 状态后端选型、RocksDB 内存调优以及非对齐检查点(Unaligned Checkpoint... 摘要:在云原生实时计算场景下,随着业务数据量级突破每秒百万级(TPS),Apache Flink 作业常面临反压(Backpressure)、Checkpoint 超时失败以及大状态(Large State)恢复缓慢等生产痛点。本文从底层存储机制出发,结合云原生对象存储架构,系统拆解 Flink 状态后端选型、RocksDB 内存调优以及非对齐检查点(Unaligned Checkpoint...
- 告别Kafka+Flink拼装:用DolphinDB重构IoT数据分析平台 摘要做物联网数据分析的人大概都有过这样的体验:设备传感器每秒上报成百上千条数据,你想做个实时异常检测,结果数据要先从时序数据库导出来,用 Python 清洗一遍,再灌到 Flink 里做流处理——链路长、延迟高、维护成本大。更头疼的是,研究环境用 Python 写的检测逻辑,到了生产环境还得用 Java/C++ 重... 告别Kafka+Flink拼装:用DolphinDB重构IoT数据分析平台 摘要做物联网数据分析的人大概都有过这样的体验:设备传感器每秒上报成百上千条数据,你想做个实时异常检测,结果数据要先从时序数据库导出来,用 Python 清洗一遍,再灌到 Flink 里做流处理——链路长、延迟高、维护成本大。更头疼的是,研究环境用 Python 写的检测逻辑,到了生产环境还得用 Java/C++ 重...
- 别再堆机器了:无服务器流处理,才是实时数据的“降维打击” 别再堆机器了:无服务器流处理,才是实时数据的“降维打击”
- 随着大数据时代的深入发展,实时数据处理需求呈爆发式增长。作为实时计算领域的事实标准,Apache Flink在过去十年中不断演进,从最初的流式计算引擎发展为如今的流批一体计算平台。本文将深入探讨Flink未来的技术发展趋势,揭示流处理技术的下一个十年。 一、流处理技术演进历程Flink的发展历程反映了流处理技术的演进轨迹:2010-2015年:Lambda架构时代 - 批流分离架构,代码重复... 随着大数据时代的深入发展,实时数据处理需求呈爆发式增长。作为实时计算领域的事实标准,Apache Flink在过去十年中不断演进,从最初的流式计算引擎发展为如今的流批一体计算平台。本文将深入探讨Flink未来的技术发展趋势,揭示流处理技术的下一个十年。 一、流处理技术演进历程Flink的发展历程反映了流处理技术的演进轨迹:2010-2015年:Lambda架构时代 - 批流分离架构,代码重复...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家;李炎-华为云码道产品专家;彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战,从0到1打通消息通道;码道鸿蒙端云一体化实战,快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人;蒋春阳-华为云AI开发者案例开发专家
本期直播内容: AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了:看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签