- 本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即“实时数据平台”。 在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。 在下篇技术篇中，我们会进一步给出实时数据平台的技术选型和相关组件介绍，并探讨不同模式适用哪些应用场景。 本文将会分上下两篇对一个重要且常见的大数据基础设施平台展开讨论，即“实时数据平台”。 在上篇设计篇中，我们首先从两个维度介绍实时数据平台：从现代数仓架构角度看待实时数据平台，从典型数据处理角度看待实时数据处理；接着我们会探讨实时数据平台整体设计架构、对具体问题的考量以及解决思路。 在下篇技术篇中，我们会进一步给出实时数据平台的技术选型和相关组件介绍，并探讨不同模式适用哪些应用场景。
- 玩数据的人都知道数据是非常有价值的，然后这些数据是保存在各个系统的数据库中，如何让需要数据的使用方得到一致性、实时的数据呢？ 过去的通用做法有几种，分别是：DBA开放各个系统的备库；公司统一的大数据平台；基于trigger的方式获取增量变更。 这些方案都不算完美。我们在了解考虑了不同实现方式并且借鉴了 linkedin的思想，认为要想同时解决数据一致性和实时性，比较合理的方法应该是来自于log。 玩数据的人都知道数据是非常有价值的，然后这些数据是保存在各个系统的数据库中，如何让需要数据的使用方得到一致性、实时的数据呢？ 过去的通用做法有几种，分别是：DBA开放各个系统的备库；公司统一的大数据平台；基于trigger的方式获取增量变更。 这些方案都不算完美。我们在了解考虑了不同实现方式并且借鉴了 linkedin的思想，认为要想同时解决数据一致性和实时性，比较合理的方法应该是来自于log。
- 随着近些年来，开源、自动化、云化的兴起，DBA职业也正悄然发生一些变化。经常有朋友咨询我，职业发展规划；特别是近期Oracle的大幅裁员之后，针对DBA这一职业未来该如何发展？本文是个人对此问题的一些看法，仅供各位参考！ 随着近些年来，开源、自动化、云化的兴起，DBA职业也正悄然发生一些变化。经常有朋友咨询我，职业发展规划；特别是近期Oracle的大幅裁员之后，针对DBA这一职业未来该如何发展？本文是个人对此问题的一些看法，仅供各位参考！
- 以前做的电商系统，很久了，前几天有朋友问当初设计，就找文章大家一起学习下；要考虑：对现有业务剥离，对用户界面响应，促销数量控制，数据库压力； 以前做的电商系统，很久了，前几天有朋友问当初设计，就找文章大家一起学习下；要考虑：对现有业务剥离，对用户界面响应，促销数量控制，数据库压力；
- 【Docker项目实战】使用Docker部署Grist关系型电子表格工具 【Docker项目实战】使用Docker部署Grist关系型电子表格工具
- 背景去年下半年，我在微信书架里加入了许多技术书籍，各种类别的都有，断断续续的读了一部分。没有计划的阅读，收效甚微。新年伊始，我准备尝试一下其他方式，比如阅读周。每月抽出1~2个非连续周，完整阅读一本书籍。这个“玩法”虽然常见且板正，但是有效，已经坚持阅读十二个月。已读完书籍：《架构简洁之道》、《深入浅出的Node.js》、《你不知道的JavaScript（上卷）》、《你不知道的JavaScr... 背景去年下半年，我在微信书架里加入了许多技术书籍，各种类别的都有，断断续续的读了一部分。没有计划的阅读，收效甚微。新年伊始，我准备尝试一下其他方式，比如阅读周。每月抽出1~2个非连续周，完整阅读一本书籍。这个“玩法”虽然常见且板正，但是有效，已经坚持阅读十二个月。已读完书籍：《架构简洁之道》、《深入浅出的Node.js》、《你不知道的JavaScript（上卷）》、《你不知道的JavaScr...
- 🏆本文收录于「滚雪球学SpringBoot」专栏，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！@TOC环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 📝 前言：Spring Data JPA 让数据操作更简单！作为 Java... 🏆本文收录于「滚雪球学SpringBoot」专栏，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！@TOC环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 📝 前言：Spring Data JPA 让数据操作更简单！作为 Java...
- 背景去年下半年，我在微信书架里加入了许多技术书籍，各种类别的都有，断断续续的读了一部分。没有计划的阅读，收效甚微。新年伊始，我准备尝试一下其他方式，比如阅读周。每月抽出1~2个非连续周，完整阅读一本书籍。这个“玩法”虽然常见且板正，但是有效，已经坚持阅读十二个月。已读完书籍：《架构简洁之道》、《深入浅出的Node.js》、《你不知道的JavaScript（上卷）》、《你不知道的JavaScr... 背景去年下半年，我在微信书架里加入了许多技术书籍，各种类别的都有，断断续续的读了一部分。没有计划的阅读，收效甚微。新年伊始，我准备尝试一下其他方式，比如阅读周。每月抽出1~2个非连续周，完整阅读一本书籍。这个“玩法”虽然常见且板正，但是有效，已经坚持阅读十二个月。已读完书籍：《架构简洁之道》、《深入浅出的Node.js》、《你不知道的JavaScript（上卷）》、《你不知道的JavaScr...
- 背景去年下半年，我在微信书架里加入了许多技术书籍，各种类别的都有，断断续续的读了一部分。没有计划的阅读，收效甚微。新年伊始，我准备尝试一下其他方式，比如阅读周。每月抽出1~2个非连续周，完整阅读一本书籍。这个“玩法”虽然常见且板正，但是有效，已经坚持阅读十二个月。已读完书籍：《架构简洁之道》、《深入浅出的Node.js》、《你不知道的JavaScript（上卷）》、《你不知道的JavaScr... 背景去年下半年，我在微信书架里加入了许多技术书籍，各种类别的都有，断断续续的读了一部分。没有计划的阅读，收效甚微。新年伊始，我准备尝试一下其他方式，比如阅读周。每月抽出1~2个非连续周，完整阅读一本书籍。这个“玩法”虽然常见且板正，但是有效，已经坚持阅读十二个月。已读完书籍：《架构简洁之道》、《深入浅出的Node.js》、《你不知道的JavaScript（上卷）》、《你不知道的JavaScr...
- 🏆本文收录于「滚雪球学SpringBoot」专栏，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！@TOC环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 📜 前言：如何让Spring Boot和数据库成为好伙伴？大家好！👋 今... 🏆本文收录于「滚雪球学SpringBoot」专栏，手把手带你零基础入门Spring Boot，从入门到就业，助你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！@TOC环境说明：Windows 10 + IntelliJ IDEA 2021.3.2 + Jdk 1.8 📜 前言：如何让Spring Boot和数据库成为好伙伴？大家好！👋 今...
- Node-帮助中心模块 Node-帮助中心模块
- 本文我们将详细介绍如何使用SpringBoot构建后端服务，包括数据的获取、处理和存储。同时，我们将探讨如何使用Leaflet在前端构建地图，并实现与后端服务的交互。 本文我们将详细介绍如何使用SpringBoot构建后端服务，包括数据的获取、处理和存储。同时，我们将探讨如何使用Leaflet在前端构建地图，并实现与后端服务的交互。
- 在安装RHEL时，用户常常需要选择磁盘分区的类型。系统提供了两种分区方式：标准分区和 LVM 分区，选择不同的分区方式会对后续系统管理、扩展和性能产生不同的影响。本文将介绍标准分区（Standard Partition）和 LVM 分区的区别，并讨论它们各自的优缺点。 在安装RHEL时，用户常常需要选择磁盘分区的类型。系统提供了两种分区方式：标准分区和 LVM 分区，选择不同的分区方式会对后续系统管理、扩展和性能产生不同的影响。本文将介绍标准分区（Standard Partition）和 LVM 分区的区别，并讨论它们各自的优缺点。
- 🏆本文收录于「滚雪球学SpringBoot」专栏，专业攻坚指数级提升持续更新中，up！up！up！！欢迎点赞&&收藏&&订阅。@TOC 前言在 Java 中，要判断事务是否提交成功，主要依赖事务的管理机制，比如 Spring 的事务管理 或 JDBC 的事务管理。以下是几种判断事务提交成功的方法： 1️⃣ Spring 声明式事务在 Spring 的声明式事务中，通过 @Transacti... 🏆本文收录于「滚雪球学SpringBoot」专栏，专业攻坚指数级提升持续更新中，up！up！up！！欢迎点赞&&收藏&&订阅。@TOC 前言在 Java 中，要判断事务是否提交成功，主要依赖事务的管理机制，比如 Spring 的事务管理 或 JDBC 的事务管理。以下是几种判断事务提交成功的方法： 1️⃣ Spring 声明式事务在 Spring 的声明式事务中，通过 @Transacti...
- 🏆本文收录于「滚雪球学SpringBoot」专栏，专业攻坚指数级提升持续更新中，up！up！up！！欢迎点赞&&收藏&&订阅。@TOC ✨ 前言在现代业务系统中，异步并发处理已成为高效处理海量数据的关键手段。然而，当涉及数据库事务（Transaction）时，异步并发处理会引发许多挑战和问题，比如脏读、幻读、死锁等。本文通过一个实战案例，深入分析如何在 Java 异步并发场景下排查和解决事... 🏆本文收录于「滚雪球学SpringBoot」专栏，专业攻坚指数级提升持续更新中，up！up！up！！欢迎点赞&&收藏&&订阅。@TOC ✨ 前言在现代业务系统中，异步并发处理已成为高效处理海量数据的关键手段。然而，当涉及数据库事务（Transaction）时，异步并发处理会引发许多挑战和问题，比如脏读、幻读、死锁等。本文通过一个实战案例，深入分析如何在 Java 异步并发场景下排查和解决事...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
去报名
热门标签