- 1 物联网项目中的数据库事务优化实践 1.1 从一次生产故障说起去年我们的智能工厂监控系统出了个问题。当时需要批量更新几万台设备的状态信息，结果一个大事务直接把数据库给锁死了，整个车间的设备监控界面都卡住不动。事务本质上就是把多个数据库操作打包在一起，要么全成功，要么全失败。MySQL的事务有四个特点：原子性、一致性、隔离性、持久性，简称ACID。这些特性保证了数据不会乱套。但是当事务变得... 1 物联网项目中的数据库事务优化实践 1.1 从一次生产故障说起去年我们的智能工厂监控系统出了个问题。当时需要批量更新几万台设备的状态信息，结果一个大事务直接把数据库给锁死了，整个车间的设备监控界面都卡住不动。事务本质上就是把多个数据库操作打包在一起，要么全成功，要么全失败。MySQL的事务有四个特点：原子性、一致性、隔离性、持久性，简称ACID。这些特性保证了数据不会乱套。但是当事务变得...
- Hadoop MapReduce实现从海量数字信息中获取最大值在大数据处理领域，Hadoop是一个非常重要的工具。它通过MapReduce编程模型来处理和生成大规模数据集。本文将介绍如何利用Hadoop的MapReduce框架从海量数字信息中找出最大值。1. 环境准备1.1 安装Hadoop确保你的环境中已经安装了Hadoop。如果还没有安装，可以参考官方文档进行安装配置：下载地址：Ap... Hadoop MapReduce实现从海量数字信息中获取最大值在大数据处理领域，Hadoop是一个非常重要的工具。它通过MapReduce编程模型来处理和生成大规模数据集。本文将介绍如何利用Hadoop的MapReduce框架从海量数字信息中找出最大值。1. 环境准备1.1 安装Hadoop确保你的环境中已经安装了Hadoop。如果还没有安装，可以参考官方文档进行安装配置：下载地址：Ap...
- 4 操作速度和渲染速度优化前端性能优化不只是减少资源体积那么简单。当用户点击按钮、滚动页面时，如果响应慢半拍，再小的文件也救不了糟糕的体验。这次我们聊聊如何让页面操作更流畅，让渲染更快速。 4.1 一次性操作大量DOMDOM操作就像搬家，一件一件搬肯定比打包一起搬要累得多。浏览器每次重排（reflow）和重绘（repaint）都要消耗不少资源，所以批量处理是王道。 批量DOM操作很多人写代... 4 操作速度和渲染速度优化前端性能优化不只是减少资源体积那么简单。当用户点击按钮、滚动页面时，如果响应慢半拍，再小的文件也救不了糟糕的体验。这次我们聊聊如何让页面操作更流畅，让渲染更快速。 4.1 一次性操作大量DOMDOM操作就像搬家，一件一件搬肯定比打包一起搬要累得多。浏览器每次重排（reflow）和重绘（repaint）都要消耗不少资源，所以批量处理是王道。 批量DOM操作很多人写代...
- Hadoop命令行运行时指定参数在大数据处理领域，Hadoop是一个广泛使用的开源框架，它允许用户轻松地处理和分析大量数据。Hadoop的核心是HDFS（Hadoop分布式文件系统）和MapReduce编程模型。本文将重点介绍如何在Hadoop命令行中通过指定参数来优化作业的执行。1. 基本命令结构Hadoop命令行工具提供了丰富的命令集来管理HDFS、提交MapReduce作业等。基本的命... Hadoop命令行运行时指定参数在大数据处理领域，Hadoop是一个广泛使用的开源框架，它允许用户轻松地处理和分析大量数据。Hadoop的核心是HDFS（Hadoop分布式文件系统）和MapReduce编程模型。本文将重点介绍如何在Hadoop命令行中通过指定参数来优化作业的执行。1. 基本命令结构Hadoop命令行工具提供了丰富的命令集来管理HDFS、提交MapReduce作业等。基本的命...
- 内核调度与性能权衡的艺术 内核调度与性能权衡的艺术
- 在大数据领域，流处理与批处理长期处于割裂状态：实时场景依赖Kafka Streams等工具处理动态数据流，而离线分析则需借助Hive或Spark进行批量计算。这种双轨制不仅增加了开发复杂度，更导致维护成本激增——同一业务逻辑往往需要编写两套代码。Apache Flink 的 Table API 正是为弥合这一鸿沟而生。它通过统一的声明式接口，让开发者无需区分流与批，仅需关注数据逻辑本身，从而... 在大数据领域，流处理与批处理长期处于割裂状态：实时场景依赖Kafka Streams等工具处理动态数据流，而离线分析则需借助Hive或Spark进行批量计算。这种双轨制不仅增加了开发复杂度，更导致维护成本激增——同一业务逻辑往往需要编写两套代码。Apache Flink 的 Table API 正是为弥合这一鸿沟而生。它通过统一的声明式接口，让开发者无需区分流与批，仅需关注数据逻辑本身，从而...
- Hadoop下配置文件说明Hadoop 是一个开源框架，用于处理大规模数据集的存储和计算。它主要由两个核心组件组成：HDFS（Hadoop Distributed File System）和 MapReduce。Hadoop 的配置文件对于集群的正确运行至关重要。本文将详细介绍 Hadoop 中几个重要的配置文件及其用途。1. core-site.xmlcore-site.xml... Hadoop下配置文件说明Hadoop 是一个开源框架，用于处理大规模数据集的存储和计算。它主要由两个核心组件组成：HDFS（Hadoop Distributed File System）和 MapReduce。Hadoop 的配置文件对于集群的正确运行至关重要。本文将详细介绍 Hadoop 中几个重要的配置文件及其用途。1. core-site.xmlcore-site.xml...
- 本文记录开放世界生存游戏“迷雾森林”场景3D植被建模的技术攻坚过程。初期因静态烘焙方案，出现近景纹理拉伸、中景阴影脱节、显存过载闪退等问题，后转向“动态层级实例化”，按空间、模型、材质三维度拆分植被资源，搭建层级参数库。面对实例化数量过载，通过材质分组批处理与GPU实例化优化，将Draw Call从3200次降至210次，帧率回升至58帧。 本文记录开放世界生存游戏“迷雾森林”场景3D植被建模的技术攻坚过程。初期因静态烘焙方案，出现近景纹理拉伸、中景阴影脱节、显存过载闪退等问题，后转向“动态层级实例化”，按空间、模型、材质三维度拆分植被资源，搭建层级参数库。面对实例化数量过载，通过材质分组批处理与GPU实例化优化，将Draw Call从3200次降至210次，帧率回升至58帧。
- Hadoop MapReduce实战前言在大数据处理领域，Hadoop是一个非常重要的开源框架，它能够支持在廉价的硬件上运行大型分布式数据处理应用。Hadoop的核心组件之一是MapReduce，这是一种编程模型，用于大规模数据集（大于1TB）的并行处理。本文将通过一个具体的例子来介绍如何使用Hadoop MapReduce进行数据处理。什么是MapReduce？MapReduce是一种编程... Hadoop MapReduce实战前言在大数据处理领域，Hadoop是一个非常重要的开源框架，它能够支持在廉价的硬件上运行大型分布式数据处理应用。Hadoop的核心组件之一是MapReduce，这是一种编程模型，用于大规模数据集（大于1TB）的并行处理。本文将通过一个具体的例子来介绍如何使用Hadoop MapReduce进行数据处理。什么是MapReduce？MapReduce是一种编程...
- Hadoop HBase 结合 MapReduce 批量导入数据在大数据处理领域，Hadoop 和 HBase 是两个非常重要的工具。Hadoop 提供了分布式存储和计算的框架，而 HBase 则是在 Hadoop 之上构建的一个高可靠性、高性能、面向列的分布式数据库。MapReduce 是 Hadoop 的核心组件之一，用于处理大规模数据集。本文将介绍如何利用 Hadoop 的 MapRe... Hadoop HBase 结合 MapReduce 批量导入数据在大数据处理领域，Hadoop 和 HBase 是两个非常重要的工具。Hadoop 提供了分布式存储和计算的框架，而 HBase 则是在 Hadoop 之上构建的一个高可靠性、高性能、面向列的分布式数据库。MapReduce 是 Hadoop 的核心组件之一，用于处理大规模数据集。本文将介绍如何利用 Hadoop 的 MapRe...
- Hadoop MapReduce Job的几种启动方式在大数据处理领域，Hadoop是一个广泛使用的开源框架，它支持数据密集型分布式应用程序。MapReduce是Hadoop的核心组件之一，用于并行处理大规模数据集。本文将介绍如何通过不同的方法启动Hadoop MapReduce Job。1. 使用Hadoop命令行工具最直接和常用的方法是通过Hadoop提供的命令行工具来提交MapRedu... Hadoop MapReduce Job的几种启动方式在大数据处理领域，Hadoop是一个广泛使用的开源框架，它支持数据密集型分布式应用程序。MapReduce是Hadoop的核心组件之一，用于并行处理大规模数据集。本文将介绍如何通过不同的方法启动Hadoop MapReduce Job。1. 使用Hadoop命令行工具最直接和常用的方法是通过Hadoop提供的命令行工具来提交MapRedu...
- 在当今大数据技术飞速演进的时代，企业面临的不再是简单的数据存储问题，而是如何高效、统一地处理海量数据流。作为一名深耕大数据领域五年的开发者，我曾多次在项目中遭遇这样的困境：离线批处理作业（如每日用户行为分析）与实时流处理任务（如秒级风控预警）各自为政，导致集群资源利用率低下、数据一致性难以保障，甚至运维成本成倍增加。这促使我深入思考：Hadoop生态能否打破批流割裂的壁垒，实现真正的融合？ ... 在当今大数据技术飞速演进的时代，企业面临的不再是简单的数据存储问题，而是如何高效、统一地处理海量数据流。作为一名深耕大数据领域五年的开发者，我曾多次在项目中遭遇这样的困境：离线批处理作业（如每日用户行为分析）与实时流处理任务（如秒级风控预警）各自为政，导致集群资源利用率低下、数据一致性难以保障，甚至运维成本成倍增加。这促使我深入思考：Hadoop生态能否打破批流割裂的壁垒，实现真正的融合？ ...
- Hadoop自定义排序算法实现排序功能在大数据处理领域，Hadoop是一个广泛使用的开源框架，它能够高效地处理和存储大规模数据集。Hadoop的核心组件之一是MapReduce，一种编程模型，用于大规模数据集的并行处理。本文将介绍如何在Hadoop中实现自定义排序算法，以满足特定的数据处理需求。1. Hadoop排序基础Hadoop中的排序是通过MapReduce框架自动完成的。在Map阶段... Hadoop自定义排序算法实现排序功能在大数据处理领域，Hadoop是一个广泛使用的开源框架，它能够高效地处理和存储大规模数据集。Hadoop的核心组件之一是MapReduce，一种编程模型，用于大规模数据集的并行处理。本文将介绍如何在Hadoop中实现自定义排序算法，以满足特定的数据处理需求。1. Hadoop排序基础Hadoop中的排序是通过MapReduce框架自动完成的。在Map阶段...
- 某内部MRS集群Hive对接，服务器上部署了Spark，连接云端的Hive，参考的样例代码为mrs-example-mrs-3.3.0中的hive-jdbc-example，通过获取连接url，用spark.read().format("jdbc").options(xxxx)的方式；现在报错内容是：①unable to read HiveServer2 configs from ZooKe... 某内部MRS集群Hive对接，服务器上部署了Spark，连接云端的Hive，参考的样例代码为mrs-example-mrs-3.3.0中的hive-jdbc-example，通过获取连接url，用spark.read().format("jdbc").options(xxxx)的方式；现在报错内容是：①unable to read HiveServer2 configs from ZooKe...
- 在即将发布的华为云MRS 3.6.0-LTS版本中，湖仓一体高性能交互式分析引擎HetuEngine的性能预计提升明显。1TB TPCDS总时长优化1倍（1225s->629s）。 在即将发布的华为云MRS 3.6.0-LTS版本中，湖仓一体高性能交互式分析引擎HetuEngine的性能预计提升明显。1TB TPCDS总时长优化1倍（1225s->629s）。
上滑加载中
推荐直播
-
用码道，让你的AI作品三步上朋友圈2026/08/04 周二 19:00-20:00
林华鼎-华为云AI开发者运营负责人
从入门 · 到做AI应用 · 到企业级开发。不教编程，只教用AI · 零代码、有产出、能带走、可炫耀 · 每课人人动手实操
回顾中 -
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
基于华为云码道，构建你的定制化AI搭子2026/08/14 周五 09:00-11:30
明亮-华为云开发者发展与支持部部长
本期直播将向您全面介绍华为云码道产品，并基于码道手把手教你部署自己的定制化AI陪伴搭子。
回顾中
热门标签