- 1、背景介绍页（Page）是 InnoDB 中管理存储空间的基本单位，大小默认是16KB。表中的数据都是存放在页中的，当要查询的数据不在缓冲池（Buffer Pool）中时，InnoDB 会将数据对应记录所在的整个页加载到 Buffer Pool 中；同理，将 Buffer Pool 中的脏页刷入磁盘时，也是以页为单位刷盘的。本文主要介绍最常见的索引数据页面以及相关的操作，下文中数据页都指索... 1、背景介绍页（Page）是 InnoDB 中管理存储空间的基本单位，大小默认是16KB。表中的数据都是存放在页中的，当要查询的数据不在缓冲池（Buffer Pool）中时，InnoDB 会将数据对应记录所在的整个页加载到 Buffer Pool 中；同理，将 Buffer Pool 中的脏页刷入磁盘时，也是以页为单位刷盘的。本文主要介绍最常见的索引数据页面以及相关的操作，下文中数据页都指索...
- Planet 是一家全球领先的金融科技企业，在零售、酒店和旅游行业的支付与税务数字化服务领域深耕近四十年。为了应对日益增长的数据分析需求并优化成本效益，Planet 数据团队近期主导完成了一项重要的数据仓库升级，将系统从 Snowflake 迁移至开源的 Apache Doris。 Planet 是一家全球领先的金融科技企业，在零售、酒店和旅游行业的支付与税务数字化服务领域深耕近四十年。为了应对日益增长的数据分析需求并优化成本效益，Planet 数据团队近期主导完成了一项重要的数据仓库升级，将系统从 Snowflake 迁移至开源的 Apache Doris。
- 一、autovacuum 是干什么的？—— PostgreSQL 的 “自动清洁工 + 优化师”PostgreSQL 基于 MVCC（多版本并发控制） 机制工作，这个机制会导致两个关键问题，而 autovacuum 就是专门解决这两个问题的后台进程：1. 核心功能 1：清理 “死元组”（垃圾数据）当你执行 DELETE 或 UPDATE 时，PostgreSQL 不会直接删除旧数据：DELE... 一、autovacuum 是干什么的？—— PostgreSQL 的 “自动清洁工 + 优化师”PostgreSQL 基于 MVCC（多版本并发控制） 机制工作，这个机制会导致两个关键问题，而 autovacuum 就是专门解决这两个问题的后台进程：1. 核心功能 1：清理 “死元组”（垃圾数据）当你执行 DELETE 或 UPDATE 时，PostgreSQL 不会直接删除旧数据：DELE...
- 前面两篇文章讲了FORCE INDEX的基础理论和实战应用，这篇文章聊聊更复杂的场景——大规模物联网平台的分布式查询优化。当数据量达到TB甚至PB级别，传统的单机优化方法就不够用了。这些经验来自真实项目的实践，每个坑都踩过。 1. 物联网平台的查询优化到底有多难？ 1.1 数据规模带来的真实挑战物联网项目的数据量级远超传统业务系统。我们之前做过一个工业园区的项目，3000台设备，每台设备每秒... 前面两篇文章讲了FORCE INDEX的基础理论和实战应用，这篇文章聊聊更复杂的场景——大规模物联网平台的分布式查询优化。当数据量达到TB甚至PB级别，传统的单机优化方法就不够用了。这些经验来自真实项目的实践，每个坑都踩过。 1. 物联网平台的查询优化到底有多难？ 1.1 数据规模带来的真实挑战物联网项目的数据量级远超传统业务系统。我们之前做过一个工业园区的项目，3000台设备，每台设备每秒...
- 在物联网项目的实践中，数据库性能问题往往是最大的挑战。随着设备数量的增长，数据量呈指数级上升，传统的手工调优方式已经无法满足需求。经过大半年的技术攻关，我们团队开发了一套自动化调优系统，在多个生产环境中取得了良好的效果。本文将分享这套系统的核心技术和实践经验，为面临类似挑战的技术团队提供参考。 1 索引优化：让系统自己找到最优解传统的索引优化依赖DBA手工分析慢查询，逐个建立索引。但物联网项... 在物联网项目的实践中，数据库性能问题往往是最大的挑战。随着设备数量的增长，数据量呈指数级上升，传统的手工调优方式已经无法满足需求。经过大半年的技术攻关，我们团队开发了一套自动化调优系统，在多个生产环境中取得了良好的效果。本文将分享这套系统的核心技术和实践经验，为面临类似挑战的技术团队提供参考。 1 索引优化：让系统自己找到最优解传统的索引优化依赖DBA手工分析慢查询，逐个建立索引。但物联网项...
- 物联网设备消息推送系统的数据库设计方案，专门解决海量设备通知的存储和查询问题。 1 数据库表结构设计我们的物联网平台需要处理大量设备消息，包括设备告警、系统通知、固件升级提醒等。经过实际项目验证，采用4张表的分离设计最为合适。 1.1 设备用户表（device_users）这张表存放所有注册用户的基本信息，可以直接复用现有的用户系统。字段名类型说明索引idBIGINT用户编号主键userna... 物联网设备消息推送系统的数据库设计方案，专门解决海量设备通知的存储和查询问题。 1 数据库表结构设计我们的物联网平台需要处理大量设备消息，包括设备告警、系统通知、固件升级提醒等。经过实际项目验证，采用4张表的分离设计最为合适。 1.1 设备用户表（device_users）这张表存放所有注册用户的基本信息，可以直接复用现有的用户系统。字段名类型说明索引idBIGINT用户编号主键userna...
- 1 物联网项目中的数据库事务优化实践 1.1 从一次生产故障说起去年我们的智能工厂监控系统出了个问题。当时需要批量更新几万台设备的状态信息，结果一个大事务直接把数据库给锁死了，整个车间的设备监控界面都卡住不动。事务本质上就是把多个数据库操作打包在一起，要么全成功，要么全失败。MySQL的事务有四个特点：原子性、一致性、隔离性、持久性，简称ACID。这些特性保证了数据不会乱套。但是当事务变得... 1 物联网项目中的数据库事务优化实践 1.1 从一次生产故障说起去年我们的智能工厂监控系统出了个问题。当时需要批量更新几万台设备的状态信息，结果一个大事务直接把数据库给锁死了，整个车间的设备监控界面都卡住不动。事务本质上就是把多个数据库操作打包在一起，要么全成功，要么全失败。MySQL的事务有四个特点：原子性、一致性、隔离性、持久性，简称ACID。这些特性保证了数据不会乱套。但是当事务变得...
- 前段时间在做一个智慧园区项目，数据库查询慢得让人抓狂。当时想着用 FORCE INDEX 强制指定索引，应该能解决问题吧？结果越改越慢，最后发现是自己挖了个坑把自己埋了。这种事估计不少人都遇到过。明明觉得某个索引应该最快，强制让 MySQL 用它，结果查询时间从几百毫秒变成了几秒钟。今天就把这个踩坑经历分享出来，看看 FORCE INDEX 到底哪些地方容易翻车。 1. 物联网平台的数据挑战... 前段时间在做一个智慧园区项目，数据库查询慢得让人抓狂。当时想着用 FORCE INDEX 强制指定索引，应该能解决问题吧？结果越改越慢，最后发现是自己挖了个坑把自己埋了。这种事估计不少人都遇到过。明明觉得某个索引应该最快，强制让 MySQL 用它，结果查询时间从几百毫秒变成了几秒钟。今天就把这个踩坑经历分享出来，看看 FORCE INDEX 到底哪些地方容易翻车。 1. 物联网平台的数据挑战...
- 基于Sermant实现小游戏出海场景的微服务治理；华为云在昆明理工津桥学院的 “课堂 + 社团” 双场景破圈之路... 基于Sermant实现小游戏出海场景的微服务治理；华为云在昆明理工津桥学院的 “课堂 + 社团” 双场景破圈之路...
- MySQL优化视图在数据库管理中，性能优化是一个永恒的话题。MySQL作为最流行的开源关系型数据库管理系统之一，其性能优化方法多样且深入。本文将探讨如何通过优化视图来提升MySQL的性能。1. 视图的基本概念视图（View）是存储在数据库中的SQL查询，它提供了一种封装复杂查询逻辑的方式，使得用户可以像操作普通表一样操作这些预定义的查询结果。视图并不存储实际的数据，而是存储查询语句。当通过视... MySQL优化视图在数据库管理中，性能优化是一个永恒的话题。MySQL作为最流行的开源关系型数据库管理系统之一，其性能优化方法多样且深入。本文将探讨如何通过优化视图来提升MySQL的性能。1. 视图的基本概念视图（View）是存储在数据库中的SQL查询，它提供了一种封装复杂查询逻辑的方式，使得用户可以像操作普通表一样操作这些预定义的查询结果。视图并不存储实际的数据，而是存储查询语句。当通过视...
- Planet 是一家全球领先的金融科技企业，在零售、酒店和旅游行业的支付与税务数字化服务领域深耕近四十年。公司业务广泛，覆盖支付处理、免税退税及行业软件等，致力于通过一体化的解决方案提升全球商户的运营效率与顾客体验。为了应对日益增长的数据分析需求并优化成本效益，Planet 数据团队近期主导完成了一项重要的数据仓库升级，将系统从 Snowflake 迁移至开源的 Apache Doris。这... Planet 是一家全球领先的金融科技企业，在零售、酒店和旅游行业的支付与税务数字化服务领域深耕近四十年。公司业务广泛，覆盖支付处理、免税退税及行业软件等，致力于通过一体化的解决方案提升全球商户的运营效率与顾客体验。为了应对日益增长的数据分析需求并优化成本效益，Planet 数据团队近期主导完成了一项重要的数据仓库升级，将系统从 Snowflake 迁移至开源的 Apache Doris。这...
- 概述对于 Apache Doris 这样的高性能分析型数据库而言，高效、稳定的数据导入是保障实时分析能力的生命线。然而，在海量数据持续写入的场景下，如何平衡导入延迟与吞吐、如何避免性能瓶颈，是开发者面临的核心挑战。Apache Doris 本文将深入剖析 Doris 数据导入的核心原理，涵盖关键流程、组件、事务管理等，探讨影响导入性能的因素，并提供实用的优化方法和最佳实践，有助于用户选择合适... 概述对于 Apache Doris 这样的高性能分析型数据库而言，高效、稳定的数据导入是保障实时分析能力的生命线。然而，在海量数据持续写入的场景下，如何平衡导入延迟与吞吐、如何避免性能瓶颈，是开发者面临的核心挑战。Apache Doris 本文将深入剖析 Doris 数据导入的核心原理，涵盖关键流程、组件、事务管理等，探讨影响导入性能的因素，并提供实用的优化方法和最佳实践，有助于用户选择合适...
- 以MySQL8.0.22代码为基准，对SELECT COUNT(*)操作在InnoDB层的并行查询过程的基本原理和代码进行解析；KubeEdge 1.22.0版本发布！边缘资源管理能力提升；华为云"柔性计算"应运而生，重新定义新一代算力供给模式... 以MySQL8.0.22代码为基准，对SELECT COUNT(*)操作在InnoDB层的并行查询过程的基本原理和代码进行解析；KubeEdge 1.22.0版本发布！边缘资源管理能力提升；华为云"柔性计算"应运而生，重新定义新一代算力供给模式...
- 服务器保持与MySQL的连接在开发和运维领域中，服务器与数据库的稳定连接是确保应用性能和用户体验的关键因素之一。本文将探讨如何保持服务器与MySQL数据库的稳定连接，包括常见的问题、解决方案以及最佳实践。常见问题连接超时MySQL默认设置下，如果一个连接长时间没有活动，将会被自动断开。这可能导致应用程序在尝试执行查询时遇到错误。网络波动网络不稳定或服务器间的网络延迟也可能导致连接中断，尤其是... 服务器保持与MySQL的连接在开发和运维领域中，服务器与数据库的稳定连接是确保应用性能和用户体验的关键因素之一。本文将探讨如何保持服务器与MySQL数据库的稳定连接，包括常见的问题、解决方案以及最佳实践。常见问题连接超时MySQL默认设置下，如果一个连接长时间没有活动，将会被自动断开。这可能导致应用程序在尝试执行查询时遇到错误。网络波动网络不稳定或服务器间的网络延迟也可能导致连接中断，尤其是...
- 1、引言MySQL凭借其卓越的高并发事务处理能力和丰富的生态系统，不仅在互联网行业广泛应用，也持续向传统行业渗透。然而在OLAP场景下，MySQL面临显著挑战：其单线程执行模型在处理复杂大查询时存在天然瓶颈，单个SQL语句最多只能利用一个CPU核心，无法充分发挥现代多核服务器的硬件潜力。随着数据量增长，这一问题日益凸显——全表扫描类查询耗时随数据规模线性增加。为突破这一限制，MySQL社区在... 1、引言MySQL凭借其卓越的高并发事务处理能力和丰富的生态系统，不仅在互联网行业广泛应用，也持续向传统行业渗透。然而在OLAP场景下，MySQL面临显著挑战：其单线程执行模型在处理复杂大查询时存在天然瓶颈，单个SQL语句最多只能利用一个CPU核心，无法充分发挥现代多核服务器的硬件潜力。随着数据量增长，这一问题日益凸显——全表扫描类查询耗时随数据规模线性增加。为突破这一限制，MySQL社区在...
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程：工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合，展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎，仓颉语言为载体，带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中 -
一个AI团队帮你写代码：华为云码道Agent Space实战2026/06/25 周四 19:00-21:00
张翰文-华为云码道工程师/郭英旭-青软创新科技集团股份有限公司 软件架构师
本场直播聚焦华为云码道Agent Space两大模式：研发办公、代码开发，亲身体验从需求到代码的AI自动化能力。实操演示基于华为 CodeArts CLI，依托 OpenSpec 规格体系从零搭建业务项目。
回顾中
热门标签