- 欢迎来到本文，今天我们将探讨如何构建一个可扩展的实时数据分析系统，并重点介绍了一个强大的工具——Apache Flink。Apache Flink是一个流式处理引擎，它提供了一种高效、可靠且可扩展的方式来处理实时数据分析任务。什么是实时数据分析？ 实时数据分析是指对流式数据进行即时处理和分析的过程。与传统的批处理方式相比，实时数据分析可以实时地获取数据并立即对其进行处理，从而帮助企业做出即时... 欢迎来到本文，今天我们将探讨如何构建一个可扩展的实时数据分析系统，并重点介绍了一个强大的工具——Apache Flink。Apache Flink是一个流式处理引擎，它提供了一种高效、可靠且可扩展的方式来处理实时数据分析任务。什么是实时数据分析？ 实时数据分析是指对流式数据进行即时处理和分析的过程。与传统的批处理方式相比，实时数据分析可以实时地获取数据并立即对其进行处理，从而帮助企业做出即时...
- 背景今天同事找我帮忙看一个Flink的问题，现象是前几天还能提交的客户端，就在今天突然提交不了作业了，报错提示大概如下（公司的东西涉密）Caused by: org.apache.flink.api.common.InvalidProgramException: The LocalStreamEnvironment cannot be used when submitting a prog... 背景今天同事找我帮忙看一个Flink的问题，现象是前几天还能提交的客户端，就在今天突然提交不了作业了，报错提示大概如下（公司的东西涉密）Caused by: org.apache.flink.api.common.InvalidProgramException: The LocalStreamEnvironment cannot be used when submitting a prog...
- Flink核心特性Flink具有先进的架构理念，拥有诸多的优秀特性以及完善的编程接口，Flink的优势有以下几点：一、批流一体化Flink可以在底层用同样的数据抽象和计算模型来进行批处理和流处理。事实上，Flink在设计理念上没有刻意强调批处理和流处理，而更多的强调数据的有界和无界，这就意味着Flink能够满足企业业务需求，无需用两种甚至多种框架分别实现批处理和流处理，这大大降低了架构设计、... Flink核心特性Flink具有先进的架构理念，拥有诸多的优秀特性以及完善的编程接口，Flink的优势有以下几点：一、批流一体化Flink可以在底层用同样的数据抽象和计算模型来进行批处理和流处理。事实上，Flink在设计理念上没有刻意强调批处理和流处理，而更多的强调数据的有界和无界，这就意味着Flink能够满足企业业务需求，无需用两种甚至多种框架分别实现批处理和流处理，这大大降低了架构设计、...
- Flink应用场景以及其他实时计算框架对比一、Flink应用场景在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、GPS定位数 据、传感器信号、移动终端产生的数据、通信信号数据等，以及我们熟悉的网络流量监控、服务器产生的日志数据，这些数据最大的共同点就是实时从不同的数据源中产生，然后再传输到下游的分析系统。针对这些数据类型主要包括实时智能推荐、复杂事件处理、实时欺诈... Flink应用场景以及其他实时计算框架对比一、Flink应用场景在实际生产的过程中，大量数据在不断地产生，例如金融交易数据、互联网订单数据、GPS定位数 据、传感器信号、移动终端产生的数据、通信信号数据等，以及我们熟悉的网络流量监控、服务器产生的日志数据，这些数据最大的共同点就是实时从不同的数据源中产生，然后再传输到下游的分析系统。针对这些数据类型主要包括实时智能推荐、复杂事件处理、实时欺诈...
- Flink是分布式流数据处理引擎。 Flink是分布式流数据处理引擎。
- 本文通过阅读Kafka Connector代码的调用，分析了Kafka partition分配、Commit、线程模型等 本文通过阅读Kafka Connector代码的调用，分析了Kafka partition分配、Commit、线程模型等
- 《数据如何治理呢》 《数据如何治理呢》
- 本文目的是给自己备忘的，在后面的工作和学习中若想快速搭建Flink环境用于开发，可以照此进行 本文目的是给自己备忘的，在后面的工作和学习中若想快速搭建Flink环境用于开发，可以照此进行
- 本文主要介绍pyflink 1.14的一些特性 本文主要介绍pyflink 1.14的一些特性
- 一、准备环境1.根据产品文档安装Flink客户端；2.将sql-client-defaults.yaml放入/opt/client/Flink/flink/conf中3.将jaas.conf放入/opt/client/Flink/flink/conf中Client {com.sun.security.auth.module.Krb5LoginModule requireduseKeyTab=... 一、准备环境1.根据产品文档安装Flink客户端；2.将sql-client-defaults.yaml放入/opt/client/Flink/flink/conf中3.将jaas.conf放入/opt/client/Flink/flink/conf中Client {com.sun.security.auth.module.Krb5LoginModule requireduseKeyTab=...
- 1.1.1 开启checkpoint并且自定义目录后任务运行24小时后checkpoint全部失败问题现象 Flink选择使用对接ES的任务在运行一段时间后checkpoint全部失败，而对接kafka能够正常运行。可能原因ES的认证模式跟其它场景不同，在运行一段时间后，票据信息会超时需要重新认证，此时ES中缓存的票据信息没有更新，导致跟HDFS中指定的目录无法正常认证。解决方案1.需要在... 1.1.1 开启checkpoint并且自定义目录后任务运行24小时后checkpoint全部失败问题现象 Flink选择使用对接ES的任务在运行一段时间后checkpoint全部失败，而对接kafka能够正常运行。可能原因ES的认证模式跟其它场景不同，在运行一段时间后，票据信息会超时需要重新认证，此时ES中缓存的票据信息没有更新，导致跟HDFS中指定的目录无法正常认证。解决方案1.需要在...
- 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ... 【问题描述】Flink对接消费Kafka数据时，任务超时失败，Flink的JobManager日志上报“org.apache.kafka.common.errors.TimeoutException: Timeout of 60000ms expired before the position for partition trafficgo_realtime_traffic-0 could ...
- 以flink1.10开源代码未例子。梳理flink client提交作业的源码流程 1、/bin/flink run xxx用户通过flink client的命令行工具提交作业flink只是个shell脚本，原理就是调用如下类 org.apache.flink.client.cli.CliFrontend “$@” 2、CliFrontend的main()函数内部逻辑getConfigura... 以flink1.10开源代码未例子。梳理flink client提交作业的源码流程 1、/bin/flink run xxx用户通过flink client的命令行工具提交作业flink只是个shell脚本，原理就是调用如下类 org.apache.flink.client.cli.CliFrontend “$@” 2、CliFrontend的main()函数内部逻辑getConfigura...
- 一、Flink介绍 Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引... 一、Flink介绍 Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引...
- 照片拍摄于2014年夏，北京王府井附近 大家好，我是一哥，今天分享一篇数据实时入湖的干货文章。 在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术，来解决业务数据实时入湖相关的问题。 01 Flink CDC介... 照片拍摄于2014年夏，北京王府井附近 大家好，我是一哥，今天分享一篇数据实时入湖的干货文章。 在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术，来解决业务数据实时入湖相关的问题。 01 Flink CDC介...
上滑加载中
推荐直播
-
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中
热门标签