- 一、引言通过对用户行为的深入分析，企业能够更好地了解用户需求、优化产品体验、提升营销效果。用户行为分析的关键在于构建完善的埋点体系，准确采集用户在各个环节的行为数据，并借助实时计算技术对这些数据进行高效处理和分析。点击流数据作为用户行为的重要体现，记录了用户在页面上的点击、浏览、搜索等操作。结合页面停留时间、搜索关键词等数据，企业可以勾勒出用户的行为轨迹，洞察用户的兴趣偏好。同时，漏斗分析能... 一、引言通过对用户行为的深入分析，企业能够更好地了解用户需求、优化产品体验、提升营销效果。用户行为分析的关键在于构建完善的埋点体系，准确采集用户在各个环节的行为数据，并借助实时计算技术对这些数据进行高效处理和分析。点击流数据作为用户行为的重要体现，记录了用户在页面上的点击、浏览、搜索等操作。结合页面停留时间、搜索关键词等数据，企业可以勾勒出用户的行为轨迹，洞察用户的兴趣偏好。同时，漏斗分析能...
- 基于 Flink 的实时推荐系统引言 (Foreword/Motivation)传统的推荐系统通常依赖于离线批量处理用户行为数据，每天或每周更新一次推荐结果。然而，用户的兴趣和行为是实时变化的。用户刚刚产生的行为（如点击、浏览、购买）往往是预测其当前兴趣的最有力信号。将这些实时行为数据纳入推荐计算过程，可以显著提高推荐的新鲜度和相关性，为用户提供更及时、更个性化的推荐体验。这就是实时推荐系统... 基于 Flink 的实时推荐系统引言 (Foreword/Motivation)传统的推荐系统通常依赖于离线批量处理用户行为数据，每天或每周更新一次推荐结果。然而，用户的兴趣和行为是实时变化的。用户刚刚产生的行为（如点击、浏览、购买）往往是预测其当前兴趣的最有力信号。将这些实时行为数据纳入推荐计算过程，可以显著提高推荐的新鲜度和相关性，为用户提供更及时、更个性化的推荐体验。这就是实时推荐系统...
- Apache Flink 作为一个分布式流批一体处理框架，其数据处理流程始于数据源(Data Source)。Data Source 是Flink程序中负责读取原始数据的组件，决定了数据如何进入Flink系统。Flink提供了丰富的数据源连接器，支持从各种存储系统和消息队列中读取数据。一、内置 Data SourceFlink Data Source 用于定义 Flink 程序的数据来源，F... Apache Flink 作为一个分布式流批一体处理框架，其数据处理流程始于数据源(Data Source)。Data Source 是Flink程序中负责读取原始数据的组件，决定了数据如何进入Flink系统。Flink提供了丰富的数据源连接器，支持从各种存储系统和消息队列中读取数据。一、内置 Data SourceFlink Data Source 用于定义 Flink 程序的数据来源，F...
- 一、安装 Scala 插件Flink 分别提供了基于 Java 语言和 Scala 语言的 API ，如果想要使用 Scala 语言来开发 Flink 程序，可以通过在 IDEA 中安装 Scala 插件来提供语法提示，代码高亮等功能。打开 IDEA , 依次点击 File => settings => plugins 打开插件安装页面，搜索 Scala 插件并进行安装，安装完成后，重启 I... 一、安装 Scala 插件Flink 分别提供了基于 Java 语言和 Scala 语言的 API ，如果想要使用 Scala 语言来开发 Flink 程序，可以通过在 IDEA 中安装 Scala 插件来提供语法提示，代码高亮等功能。打开 IDEA , 依次点击 File => settings => plugins 打开插件安装页面，搜索 Scala 插件并进行安装，安装完成后，重启 I...
- Flink集群是一个基于Apache Flink框架构建的分布式处理系统，它专为无界和有界数据流上的有状态计算而设计。Flink集群能够在各种常见的集群环境中运行，如YARN、Mesos、Kubernetes等，并具备高吞吐量、低延迟以及强大的状态管理能力。2. Flink集群的组成部分Flink集群主要由以下几个关键组件组成：JobManager：Flink集群的主节点，负责管理集群中... Flink集群是一个基于Apache Flink框架构建的分布式处理系统，它专为无界和有界数据流上的有状态计算而设计。Flink集群能够在各种常见的集群环境中运行，如YARN、Mesos、Kubernetes等，并具备高吞吐量、低延迟以及强大的状态管理能力。2. Flink集群的组成部分Flink集群主要由以下几个关键组件组成：JobManager：Flink集群的主节点，负责管理集群中...
- Apache Flink是一款开源流处理框架，由Apache软件基金会进行维护和开发，专为实时数据处理、批处理以及流批一体的大规模数据处理场景而设计。Flink的核心理念是提供了一种统一的数据处理模型，使得无论是实时流处理还是批量处理，都可以在同一个系统中以一致的方式高效执行。Flink的设计基于数据流编程模型，其核心特性包括事件时间处理（Event Time Processing）、精确一... Apache Flink是一款开源流处理框架，由Apache软件基金会进行维护和开发，专为实时数据处理、批处理以及流批一体的大规模数据处理场景而设计。Flink的核心理念是提供了一种统一的数据处理模型，使得无论是实时流处理还是批量处理，都可以在同一个系统中以一致的方式高效执行。Flink的设计基于数据流编程模型，其核心特性包括事件时间处理（Event Time Processing）、精确一...
- 一、Flink介绍 Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引... 一、Flink介绍 Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引...
- 照片拍摄于2014年夏，北京王府井附近 大家好，我是一哥，今天分享一篇数据实时入湖的干货文章。 在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术，来解决业务数据实时入湖相关的问题。 01 Flink CDC介... 照片拍摄于2014年夏，北京王府井附近 大家好，我是一哥，今天分享一篇数据实时入湖的干货文章。 在构建实时数仓的过程中，如何快速、正确的同步业务数据是最先面临的问题，本文主要讨论一下如何使用实时处理引擎Flink和数据湖Apache Iceberg两种技术，来解决业务数据实时入湖相关的问题。 01 Flink CDC介...
- IEDA开发环境 1、安装java环境 参考上一篇文章Flink的这些事（一）——Flink部署 2、安装maven 参考博客Maven安装与配置 3、配置IDEA 参考博客如何使用IntelliJ IDEA 配置Maven 4、pom文件设置 <?xml version="1.0" encoding="UTF-8... IEDA开发环境 1、安装java环境 参考上一篇文章Flink的这些事（一）——Flink部署 2、安装maven 参考博客Maven安装与配置 3、配置IDEA 参考博客如何使用IntelliJ IDEA 配置Maven 4、pom文件设置 <?xml version="1.0" encoding="UTF-8...
- DML：窗口聚合 大家好我是老羊，由于窗口涉及到的知识内容比较多，所以博主先为大家说明介绍下面内容时的思路，大家跟着思路走。思路如下： ⭐ 先介绍 Flink SQL 支持的 4 种时间窗口⭐ 分别详细介绍上述的 4 种时间窗口的功能及 SQL 语法⭐ 结合实际案例介绍 4 种时间窗口 首先来看看 Flink SQL 中支持... DML：窗口聚合 大家好我是老羊，由于窗口涉及到的知识内容比较多，所以博主先为大家说明介绍下面内容时的思路，大家跟着思路走。思路如下： ⭐ 先介绍 Flink SQL 支持的 4 种时间窗口⭐ 分别详细介绍上述的 4 种时间窗口的功能及 SQL 语法⭐ 结合实际案例介绍 4 种时间窗口 首先来看看 Flink SQL 中支持...
- 一、flink介绍 Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引擎，原生支持了迭代计算、内存管理和程序优化。 二、部署环境 操作系统环境： flink支持Linux, Mac OS X, 和 ... 一、flink介绍 Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引擎，原生支持了迭代计算、内存管理和程序优化。 二、部署环境 操作系统环境： flink支持Linux, Mac OS X, 和 ...
- 文章目录 Hudi与Flink整合 一、maven pom.xml导入如下包 二、Flink 写入数据到Hudi代码 Hudi与Flink整合 Hudi0.8.0版本与Flink1.12.x之上版本兼容，目前经过测试，Hudi0.8.0版本开始支持Flink，通过Flink写数据到Hudi时，必须开启checkpoi... 文章目录 Hudi与Flink整合 一、maven pom.xml导入如下包 二、Flink 写入数据到Hudi代码 Hudi与Flink整合 Hudi0.8.0版本与Flink1.12.x之上版本兼容，目前经过测试，Hudi0.8.0版本开始支持Flink，通过Flink写数据到Hudi时，必须开启checkpoi...
- 文章目录 完整的报错如下图所示提取有用的信息分析错误原因 完整的报错 Exception in thread “main” org.apach... 文章目录 完整的报错如下图所示提取有用的信息分析错误原因 完整的报错 Exception in thread “main” org.apach...
- 文章目录 Apache Flink 入门，了解 Apache Flink 1、如何通俗易懂的解释 Fl... 文章目录 Apache Flink 入门，了解 Apache Flink 1、如何通俗易懂的解释 Fl...
- 1、exactly once 要保证flink 端到端需要满足以下三点 1、flink要开启checkpoint 2、source支持数据重发 3、sink端幂等性写入、事务性写入。我们常使用事务性写入... 1、exactly once 要保证flink 端到端需要满足以下三点 1、flink要开启checkpoint 2、source支持数据重发 3、sink端幂等性写入、事务性写入。我们常使用事务性写入...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
去报名 -
苏州工业园区“华为云杯”2025人工智能应用创新大赛赛中直播2025/08/21 周四 16:00-17:00
Vz 华为云AIoT技术布道师
本期直播将与您一起探讨如何基于华为云IoT平台全场景云服务，结合AI、鸿蒙、大数据等技术，打造有创新性，有竞争力的方案和产品。
即将直播
热门标签