- 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。图1 创建主题图2 添加订阅登录DLI控制台，创建Flink SQL作业，编写作业SQL后，配置“运行参数”。说明：Flink Jar作业可靠性配置与SQL作业相同... 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。图1 创建主题图2 添加订阅登录DLI控制台，创建Flink SQL作业，编写作业SQL后，配置“运行参数”。说明：Flink Jar作业可靠性配置与SQL作业相同...
- DLI Flink作业要如何配置才能稳定可靠，安心上生产环境呢？ DLI Flink作业要如何配置才能稳定可靠，安心上生产环境呢？
- Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptionflinkCaused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.Pathorg.apache.hadoop.ipc.RemoteException: org.ap... Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptionflinkCaused by: java.lang.ClassNotFoundException: org.apache.hadoop.fs.Pathorg.apache.hadoop.ipc.RemoteException: org.ap...
- Flink初学：读写HBase Flink初学：读写HBase
- Apache Flink的核心是一个用Java和Scala编写的分布式流式数据流引擎 Apache Flink的核心是一个用Java和Scala编写的分布式流式数据流引擎
- 本文主要利用Flink的ProcessFunction api、状态编程,实现传感器温度持续上升时发出告警的功能 本文主要利用Flink的ProcessFunction api、状态编程,实现传感器温度持续上升时发出告警的功能
- 简介RocksDB是一个高性能、可扩展、嵌入式、持久化、可靠、易用和可定制的键值存储库。它采用LSM树数据结构，支持高吞吐量的写入和快速的范围查询，可被嵌入到应用程序中，实现持久化存储，支持水平扩展，可以在多台服务器上部署，实现集群化存储，具有高度的可靠性和稳定性，易于使用并可以根据需求进行定制和优化。RocksDB主要使用到了下面知识： LSM树LSM树全称Log-Structured ... 简介RocksDB是一个高性能、可扩展、嵌入式、持久化、可靠、易用和可定制的键值存储库。它采用LSM树数据结构，支持高吞吐量的写入和快速的范围查询，可被嵌入到应用程序中，实现持久化存储，支持水平扩展，可以在多台服务器上部署，实现集群化存储，具有高度的可靠性和稳定性，易于使用并可以根据需求进行定制和优化。RocksDB主要使用到了下面知识： LSM树LSM树全称Log-Structured ...
- 内存设置 TaskManager 内存模型TaskManager的内存模型如下图所示(1.10之后版本内存模型)：Flink使用了堆上内存和堆外内存。Flink 框架内存使用了堆外内存和堆外内存，不计入slot资源。Task执行的内存使用了堆上内存和堆外内存。网络缓冲内存：网络数据交换所使用的内存大小，如网络数据交换缓冲区。框架堆外内存、Task堆外内存、网络缓冲内存都在堆外的直接内存里面... 内存设置 TaskManager 内存模型TaskManager的内存模型如下图所示(1.10之后版本内存模型)：Flink使用了堆上内存和堆外内存。Flink 框架内存使用了堆外内存和堆外内存，不计入slot资源。Task执行的内存使用了堆上内存和堆外内存。网络缓冲内存：网络数据交换所使用的内存大小，如网络数据交换缓冲区。框架堆外内存、Task堆外内存、网络缓冲内存都在堆外的直接内存里面...
- 设置空闲状态保留时间不设置空闲状态保留时间会导致状态爆炸。FlinkSQL 的 regular join inner 、 left 、 right ），左右表的数据都会一直保存在状态里，不会清理！要么设置TTL ，要么使用 Flink SQL 的 interval join 。使用 Top N 语法进行去重，重复数据的出现一般都位于特定区间内（例如一小时或一天内），过了这段时间之后，对应的... 设置空闲状态保留时间不设置空闲状态保留时间会导致状态爆炸。FlinkSQL 的 regular join inner 、 left 、 right ），左右表的数据都会一直保存在状态里，不会清理！要么设置TTL ，要么使用 Flink SQL 的 interval join 。使用 Top N 语法进行去重，重复数据的出现一般都位于特定区间内（例如一小时或一天内），过了这段时间之后，对应的...
- 简介反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦，消费端数据源是 pull-based 的，所以反压通常是从某个节点传导至数据源并降低数据源（比如 Kafkaconsumer）的摄入速率。简单来说... 简介反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦，消费端数据源是 pull-based 的，所以反压通常是从某个节点传导至数据源并降低数据源（比如 Kafkaconsumer）的摄入速率。简单来说...
- 10、如何排查 Flink Checkpoint 超时问题？ 答：在计算过程中，排查有没有访问性能比较弱的服务，导致程序计算能力被大大降低。 Flink的checkpont是一个轻量级的快照，如果发现你的快照大小不是很大，但是时间很长，可以排查一下是不是程序有访问慢服务的代码 导致计算延迟，从而使得无法快速计算，从而导致checkpoint无法完成，正常情况下，checkpoi... 10、如何排查 Flink Checkpoint 超时问题？ 答：在计算过程中，排查有没有访问性能比较弱的服务，导致程序计算能力被大大降低。 Flink的checkpont是一个轻量级的快照，如果发现你的快照大小不是很大，但是时间很长，可以排查一下是不是程序有访问慢服务的代码 导致计算延迟，从而使得无法快速计算，从而导致checkpoint无法完成，正常情况下，checkpoi...
- 由 Apache Flink Committer 执笔，四位 PMC 成员审核，将 Flink 9 大技术版块详细拆分，突出重点内容并搭配全面的学习素材。PDF 版本内含大量补充链接，点击即可跳转。 由 Apache Flink Committer 执笔，四位 PMC 成员审核，将 Flink 9 大技术版块详细拆分，突出重点内容并搭配全面的学习素材。PDF 版本内含大量补充链接，点击即可跳转。
- Flink是一款开源分布式流处理框架，在数字化浪潮中崭露头角。它具备真正实时的毫秒级响应、卓越的高吞吐与低延迟性能、强大的容错机制确保数据一致性、灵活的窗口操作适配多样业务场景、丰富的API易于开发，以及批流一体的数据处理能力。Flink在金融交易、电商、物联网等领域广泛应用，助力企业实时处理海量数据，抢占先机，创造更大价值。 Flink是一款开源分布式流处理框架，在数字化浪潮中崭露头角。它具备真正实时的毫秒级响应、卓越的高吞吐与低延迟性能、强大的容错机制确保数据一致性、灵活的窗口操作适配多样业务场景、丰富的API易于开发，以及批流一体的数据处理能力。Flink在金融交易、电商、物联网等领域广泛应用，助力企业实时处理海量数据，抢占先机，创造更大价值。
- Flink 操作 kafkaflink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafka 数据时，就可以通过 flink 内部去跟踪 offset 和设定 checkpoint 去实现 exactly-once 的语义。在 Flink 中，我们作为 Consumer 时需要用 Source Connectors 代... Flink 操作 kafkaflink 提供了一个特有的 kafka connector 去读写 kafka topic 的数据。这样在 flink 消费 kafka 数据时，就可以通过 flink 内部去跟踪 offset 和设定 checkpoint 去实现 exactly-once 的语义。在 Flink 中，我们作为 Consumer 时需要用 Source Connectors 代...
- Flik的应用场景， Flink的流处理特性、Flink的优势、 Flink与Spark的差异、 flink的四⼤基⽯、Flink架构体系、无界数据流与有界数据流、Flink的编程模型 Flik的应用场景， Flink的流处理特性、Flink的优势、 Flink与Spark的差异、 flink的四⼤基⽯、Flink架构体系、无界数据流与有界数据流、Flink的编程模型
上滑加载中
推荐直播
-
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中
热门标签