- Flink核心特性Flink具有先进的架构理念，拥有诸多的优秀特性以及完善的编程接口，Flink的优势有以下几点：一、批流一体化Flink可以在底层用同样的数据抽象和计算模型来进行批处理和流处理。事实上，Flink在设计理念上没有刻意强调批处理和流处理，而更多的强调数据的有界和无界，这就意味着Flink能够满足企业业务需求，无需用两种甚至多种框架分别实现批处理和流处理，这大大降低了架构设计、... Flink核心特性Flink具有先进的架构理念，拥有诸多的优秀特性以及完善的编程接口，Flink的优势有以下几点：一、批流一体化Flink可以在底层用同样的数据抽象和计算模型来进行批处理和流处理。事实上，Flink在设计理念上没有刻意强调批处理和流处理，而更多的强调数据的有界和无界，这就意味着Flink能够满足企业业务需求，无需用两种甚至多种框架分别实现批处理和流处理，这大大降低了架构设计、...
- Flink应用场景以及其他实时计算框架对比一、Flink应用场景在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、GPS定位数 据、传感器信号、移动终端产生的数据、通信信号数据等，以及我们熟悉的网络流量监控、服务器产生的日志数据，这些数据最大的共同点就是实时从不同的数据源中产生，然后再传输到下游的分析系统。针对这些数据类型主要包括实时智能推荐、复杂事件处理、实时欺诈... Flink应用场景以及其他实时计算框架对比一、Flink应用场景在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、GPS定位数 据、传感器信号、移动终端产生的数据、通信信号数据等，以及我们熟悉的网络流量监控、服务器产生的日志数据，这些数据最大的共同点就是实时从不同的数据源中产生，然后再传输到下游的分析系统。针对这些数据类型主要包括实时智能推荐、复杂事件处理、实时欺诈...
- Flink是分布式流数据处理引擎。 Flink是分布式流数据处理引擎。
- 本文通过阅读Kafka Connector代码的调用，分析了Kafka partition分配、Commit、线程模型等 本文通过阅读Kafka Connector代码的调用，分析了Kafka partition分配、Commit、线程模型等
- 《数据如何治理呢》 《数据如何治理呢》
- 本文目的是给自己备忘的，在后面的工作和学习中若想快速搭建Flink环境用于开发，可以照此进行 本文目的是给自己备忘的，在后面的工作和学习中若想快速搭建Flink环境用于开发，可以照此进行
- 本文主要介绍pyflink 1.14的一些特性 本文主要介绍pyflink 1.14的一些特性
- 一、准备环境1.根据产品文档安装Flink客户端；2.将sql-client-defaults.yaml放入/opt/client/Flink/flink/conf中3.将jaas.conf放入/opt/client/Flink/flink/conf中Client {com.sun.security.auth.module.Krb5LoginModule requireduseKeyTab=... 一、准备环境1.根据产品文档安装Flink客户端；2.将sql-client-defaults.yaml放入/opt/client/Flink/flink/conf中3.将jaas.conf放入/opt/client/Flink/flink/conf中Client {com.sun.security.auth.module.Krb5LoginModule requireduseKeyTab=...
- 1.1.1 开启checkpoint并且自定义目录后任务运行24小时后checkpoint全部失败问题现象 Flink选择使用对接ES的任务在运行一段时间后checkpoint全部失败，而对接kafka能够正常运行。可能原因ES的认证模式跟其它场景不同，在运行一段时间后，票据信息会超时需要重新认证，此时ES中缓存的票据信息没有更新，导致跟HDFS中指定的目录无法正常认证。解决方案1.需要在... 1.1.1 开启checkpoint并且自定义目录后任务运行24小时后checkpoint全部失败问题现象 Flink选择使用对接ES的任务在运行一段时间后checkpoint全部失败，而对接kafka能够正常运行。可能原因ES的认证模式跟其它场景不同，在运行一段时间后，票据信息会超时需要重新认证，此时ES中缓存的票据信息没有更新，导致跟HDFS中指定的目录无法正常认证。解决方案1.需要在...
- 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ... 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ...
- 以flink1.10开源代码未例子。梳理flink client提交作业的源码流程 1、/bin/flink run xxx用户通过flink client的命令行工具提交作业flink只是个shell脚本，原理就是调用如下类 org.apache.flink.client.cli.CliFrontend “$@” 2、CliFrontend的main()函数内部逻辑getConfigura... 以flink1.10开源代码未例子。梳理flink client提交作业的源码流程 1、/bin/flink run xxx用户通过flink client的命令行工具提交作业flink只是个shell脚本，原理就是调用如下类 org.apache.flink.client.cli.CliFrontend “$@” 2、CliFrontend的main()函数内部逻辑getConfigura...
- 随着金融科技的快速发展，金融行业对实时数据处理的需求日益增长。传统的批处理方式已无法满足现代金融风控系统对时效性的严格要求，特别是在反欺诈、实时授信、交易监控等关键业务场景中，毫秒级的响应时间往往是决定风险控制效果的关键因素。Apache Flink 作为一款领先的流处理框架，凭借其独特的架构设计和强大的实时处理能力，在金融风控领域展现出了巨大的应用价值。 金融风控系统的挑战与需求金融风控系... 随着金融科技的快速发展，金融行业对实时数据处理的需求日益增长。传统的批处理方式已无法满足现代金融风控系统对时效性的严格要求，特别是在反欺诈、实时授信、交易监控等关键业务场景中，毫秒级的响应时间往往是决定风险控制效果的关键因素。Apache Flink 作为一款领先的流处理框架，凭借其独特的架构设计和强大的实时处理能力，在金融风控领域展现出了巨大的应用价值。 金融风控系统的挑战与需求金融风控系...
- 实时数据处理的挑战与机遇在当今数字化商业时代，电商平台面临着前所未有的数据处理挑战。每天数以亿计的用户行为数据、商品信息更新、价格变动等实时数据流需要被及时处理和分析，以提供精准的个性化推荐服务。传统的批处理方式已经无法满足现代电商对实时性的要求，用户期望在点击、浏览、购买等行为发生后立即获得相关的推荐内容。 传统推荐系统的局限性传统的推荐系统通常采用离线批处理的方式，每天或每小时更新一次... 实时数据处理的挑战与机遇在当今数字化商业时代，电商平台面临着前所未有的数据处理挑战。每天数以亿计的用户行为数据、商品信息更新、价格变动等实时数据流需要被及时处理和分析，以提供精准的个性化推荐服务。传统的批处理方式已经无法满足现代电商对实时性的要求，用户期望在点击、浏览、购买等行为发生后立即获得相关的推荐内容。 传统推荐系统的局限性传统的推荐系统通常采用离线批处理的方式，每天或每小时更新一次...
- 集群资源配置与基础调优策略Apache Flink 作为现代流处理框架，在大规模集群环境中面临着复杂的性能挑战。随着数据量的不断增长和实时处理需求的日益严格，如何有效调优 Flink 应用程序以达到最佳性能成为开发人员和运维团队必须面对的重要课题。 内存配置优化Flink 的内存管理是性能调优的核心要素之一。在大规模集群中，合理配置 TaskManager 的内存至关重要。Flink 将内... 集群资源配置与基础调优策略Apache Flink 作为现代流处理框架，在大规模集群环境中面临着复杂的性能挑战。随着数据量的不断增长和实时处理需求的日益严格，如何有效调优 Flink 应用程序以达到最佳性能成为开发人员和运维团队必须面对的重要课题。 内存配置优化Flink 的内存管理是性能调优的核心要素之一。在大规模集群中，合理配置 TaskManager 的内存至关重要。Flink 将内...
- Flink 最近又“进化”了：状态后端与 Savepoint，真不是背概念那么简单 Flink 最近又“进化”了：状态后端与 Savepoint，真不是背概念那么简单
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签