- ClickHouse是一款专注于OLAP（联机分析处理）的列式存储数据库，以其极致的查询性能、高压缩率和实时分析能力著称。它通过列式存储、向量化查询引擎及分布式架构，满足大规模数据复杂聚合需求，适用于实时日志分析、用户行为分析等场景。然而，ClickHouse不支持事务（ACID），JOIN性能较弱，且对单行更新/删除效率低，不适合OLTP场景。其丰富的表引擎（如MergeTree系列）和数据类型 ClickHouse是一款专注于OLAP（联机分析处理）的列式存储数据库，以其极致的查询性能、高压缩率和实时分析能力著称。它通过列式存储、向量化查询引擎及分布式架构，满足大规模数据复杂聚合需求，适用于实时日志分析、用户行为分析等场景。然而，ClickHouse不支持事务（ACID），JOIN性能较弱，且对单行更新/删除效率低，不适合OLTP场景。其丰富的表引擎（如MergeTree系列）和数据类型
- Hadoop生态系统如同一座工业城市，包含HDFS、MapReduce、YARN等核心组件，协同处理海量数据。SQL作为经典数据语言，在Hadoop中通过Hive等工具发挥重要作用，降低使用门槛、提升查询效率，并助力数据集成与治理。二者的结合推动了大数据技术发展，未来将在AI、物联网等领域展现更大潜力，持续优化数据处理与分析能力，为科学决策提供有力支持。 Hadoop生态系统如同一座工业城市，包含HDFS、MapReduce、YARN等核心组件，协同处理海量数据。SQL作为经典数据语言，在Hadoop中通过Hive等工具发挥重要作用，降低使用门槛、提升查询效率，并助力数据集成与治理。二者的结合推动了大数据技术发展，未来将在AI、物联网等领域展现更大潜力，持续优化数据处理与分析能力，为科学决策提供有力支持。
- Flume配置多个Sink源Apache Flume是一个分布式的、可靠的、高可用的系统，用于有效地收集、聚合和移动大量日志数据。它具有简单灵活的架构，基于流式数据流模型设计，可以将数据从多个来源收集并传输到指定的目标存储系统。在实际应用中，我们经常需要将数据发送到不同的目的地，例如HDFS、HBase或Kafka等。为了实现这一需求，Flume支持配置多个Sink来同时处理数据流。本文将详... Flume配置多个Sink源Apache Flume是一个分布式的、可靠的、高可用的系统，用于有效地收集、聚合和移动大量日志数据。它具有简单灵活的架构，基于流式数据流模型设计，可以将数据从多个来源收集并传输到指定的目标存储系统。在实际应用中，我们经常需要将数据发送到不同的目的地，例如HDFS、HBase或Kafka等。为了实现这一需求，Flume支持配置多个Sink来同时处理数据流。本文将详...
- 导读：拉卡拉早期基于 Lambda 架构构建数据系统面临存储成本高、实时写入性能差、复杂查询耗时久、组件维护复杂等问题。为此，拉卡拉选择使用 Apache Doris 替换 Elasticsearch、Hive、Hbase、TiDB、Oracle / MySQL 等组件，实现了 OLAP 引擎的统一、查询性能提升 15 倍、资源减少 52% 的显著成效。拉卡拉（股票代码 300773）是国内... 导读：拉卡拉早期基于 Lambda 架构构建数据系统面临存储成本高、实时写入性能差、复杂查询耗时久、组件维护复杂等问题。为此，拉卡拉选择使用 Apache Doris 替换 Elasticsearch、Hive、Hbase、TiDB、Oracle / MySQL 等组件，实现了 OLAP 引擎的统一、查询性能提升 15 倍、资源减少 52% 的显著成效。拉卡拉（股票代码 300773）是国内...
- Hadoop生态系统：从小白到老司机的入门指南 Hadoop生态系统：从小白到老司机的入门指南
- 从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路 从“笨重大象”到“敏捷火花”：Hadoop与Spark的大数据技术进化之路
- 从零开始搭建大数据平台：屌丝逆袭指南 从零开始搭建大数据平台：屌丝逆袭指南
- 本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容，并通过互联网广告和物流行业案例分析，展示其实际应用。具有专业性、可操作性和参考价值。 本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容，并通过互联网广告和物流行业案例分析，展示其实际应用。具有专业性、可操作性和参考价值。
- 基于3台服务器搭建Hadoop3.x集群概述Hadoop是一个由Apache基金会开发的分布式计算框架，它能够处理大规模数据集。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce。本文将介绍如何在三台服务器上搭建Hadoop 3.x集群。环境准备硬件要求3台服务器，建议配置：CPU: 4核及以上内存: 8GB及以上磁盘: 1... 基于3台服务器搭建Hadoop3.x集群概述Hadoop是一个由Apache基金会开发的分布式计算框架，它能够处理大规模数据集。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce。本文将介绍如何在三台服务器上搭建Hadoop 3.x集群。环境准备硬件要求3台服务器，建议配置：CPU: 4核及以上内存: 8GB及以上磁盘: 1...
- Spark Executor 内存分配原理与调优 介绍Apache Spark 是一个用于大数据处理的集群计算框架，具备快速、通用和可扩展的特点。Executor 是 Spark Job 在工作节点上实际执行任务的进程，负责运行 Task 并存储阶段中间结果。合理配置和调优 Executor 的内存参数至关重要，以便高效利用资源并优化性能。 应用使用场景大规模数据分析：Spark 被广泛应... Spark Executor 内存分配原理与调优 介绍Apache Spark 是一个用于大数据处理的集群计算框架，具备快速、通用和可扩展的特点。Executor 是 Spark Job 在工作节点上实际执行任务的进程，负责运行 Task 并存储阶段中间结果。合理配置和调优 Executor 的内存参数至关重要，以便高效利用资源并优化性能。 应用使用场景大规模数据分析：Spark 被广泛应...
- 从Excel到Hadoop：数据规模的进化之路 从Excel到Hadoop：数据规模的进化之路
- 使用原生Python编写Hadoop MapReduce程序在大数据处理领域，Hadoop MapReduce是一个广泛使用的框架，用于处理和生成大规模数据集。它通过将任务分解成多个小任务（映射和归约），并行地运行在集群上，从而实现高效的数据处理。尽管Hadoop主要支持Java编程语言，但通过Hadoop Streaming功能，我们可以使用其他语言如Python来编写MapReduce程... 使用原生Python编写Hadoop MapReduce程序在大数据处理领域，Hadoop MapReduce是一个广泛使用的框架，用于处理和生成大规模数据集。它通过将任务分解成多个小任务（映射和归约），并行地运行在集群上，从而实现高效的数据处理。尽管Hadoop主要支持Java编程语言，但通过Hadoop Streaming功能，我们可以使用其他语言如Python来编写MapReduce程...
- 搭建单机hive环境本文假设搭建的路径在**/opt/sh**路径，并已经下载hive安装包及hadoop安装包https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gzhttps://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.... 搭建单机hive环境本文假设搭建的路径在**/opt/sh**路径，并已经下载hive安装包及hadoop安装包https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gzhttps://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3....
- 本篇文章《大数据基础学习五：Hadoop 实验——熟悉常用的 HDFS 操作》是完全针对HDFS文件系统的，目的即理解 HDFS 在 Hadoop 体系结构中的角色，熟练使用 HDFS 操作常用的 Shell 命令，熟悉 HDFS 操作常用的 Java API。大数据系列文章请移步本人大数据专栏查看。 本篇文章《大数据基础学习五：Hadoop 实验——熟悉常用的 HDFS 操作》是完全针对HDFS文件系统的，目的即理解 HDFS 在 Hadoop 体系结构中的角色，熟练使用 HDFS 操作常用的 Shell 命令，熟悉 HDFS 操作常用的 Java API。大数据系列文章请移步本人大数据专栏查看。
- MapReduce是Hadoop平台的基础组件之一，它是一个分布式的计算框架，用于大数据的离线计算，和HDFS、YARN搭配使用。MapReduce主要分为切片File、Map 、shuffle和Reduce四个阶段，数据导入——首先是将数据上传到HDFS上进行切片（一般默认分片是64M）、存储Map阶段——然后会由YARN进行资源的协调与分配，启动job，进行分片操作，一般默认HDFS的一... MapReduce是Hadoop平台的基础组件之一，它是一个分布式的计算框架，用于大数据的离线计算，和HDFS、YARN搭配使用。MapReduce主要分为切片File、Map 、shuffle和Reduce四个阶段，数据导入——首先是将数据上传到HDFS上进行切片（一般默认分片是64M）、存储Map阶段——然后会由YARN进行资源的协调与分配，启动job，进行分片操作，一般默认HDFS的一...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签