- 本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容，并通过互联网广告和物流行业案例分析，展示其实际应用。具有专业性、可操作性和参考价值。 本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容，并通过互联网广告和物流行业案例分析，展示其实际应用。具有专业性、可操作性和参考价值。
- 基于3台服务器搭建Hadoop3.x集群概述Hadoop是一个由Apache基金会开发的分布式计算框架，它能够处理大规模数据集。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce。本文将介绍如何在三台服务器上搭建Hadoop 3.x集群。环境准备硬件要求3台服务器，建议配置：CPU: 4核及以上内存: 8GB及以上磁盘: 1... 基于3台服务器搭建Hadoop3.x集群概述Hadoop是一个由Apache基金会开发的分布式计算框架，它能够处理大规模数据集。Hadoop的核心组件包括HDFS（Hadoop Distributed File System）和MapReduce。本文将介绍如何在三台服务器上搭建Hadoop 3.x集群。环境准备硬件要求3台服务器，建议配置：CPU: 4核及以上内存: 8GB及以上磁盘: 1...
- Spark Executor 内存分配原理与调优 介绍Apache Spark 是一个用于大数据处理的集群计算框架，具备快速、通用和可扩展的特点。Executor 是 Spark Job 在工作节点上实际执行任务的进程，负责运行 Task 并存储阶段中间结果。合理配置和调优 Executor 的内存参数至关重要，以便高效利用资源并优化性能。 应用使用场景大规模数据分析：Spark 被广泛应... Spark Executor 内存分配原理与调优 介绍Apache Spark 是一个用于大数据处理的集群计算框架，具备快速、通用和可扩展的特点。Executor 是 Spark Job 在工作节点上实际执行任务的进程，负责运行 Task 并存储阶段中间结果。合理配置和调优 Executor 的内存参数至关重要，以便高效利用资源并优化性能。 应用使用场景大规模数据分析：Spark 被广泛应...
- 从Excel到Hadoop：数据规模的进化之路 从Excel到Hadoop：数据规模的进化之路
- 使用原生Python编写Hadoop MapReduce程序在大数据处理领域，Hadoop MapReduce是一个广泛使用的框架，用于处理和生成大规模数据集。它通过将任务分解成多个小任务（映射和归约），并行地运行在集群上，从而实现高效的数据处理。尽管Hadoop主要支持Java编程语言，但通过Hadoop Streaming功能，我们可以使用其他语言如Python来编写MapReduce程... 使用原生Python编写Hadoop MapReduce程序在大数据处理领域，Hadoop MapReduce是一个广泛使用的框架，用于处理和生成大规模数据集。它通过将任务分解成多个小任务（映射和归约），并行地运行在集群上，从而实现高效的数据处理。尽管Hadoop主要支持Java编程语言，但通过Hadoop Streaming功能，我们可以使用其他语言如Python来编写MapReduce程...
- 搭建单机hive环境本文假设搭建的路径在**/opt/sh**路径，并已经下载hive安装包及hadoop安装包https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gzhttps://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.... 搭建单机hive环境本文假设搭建的路径在**/opt/sh**路径，并已经下载hive安装包及hadoop安装包https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gzhttps://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3....
- 本篇文章《大数据基础学习五：Hadoop 实验——熟悉常用的 HDFS 操作》是完全针对HDFS文件系统的，目的即理解 HDFS 在 Hadoop 体系结构中的角色，熟练使用 HDFS 操作常用的 Shell 命令，熟悉 HDFS 操作常用的 Java API。大数据系列文章请移步本人大数据专栏查看。 本篇文章《大数据基础学习五：Hadoop 实验——熟悉常用的 HDFS 操作》是完全针对HDFS文件系统的，目的即理解 HDFS 在 Hadoop 体系结构中的角色，熟练使用 HDFS 操作常用的 Shell 命令，熟悉 HDFS 操作常用的 Java API。大数据系列文章请移步本人大数据专栏查看。
- MapReduce是Hadoop平台的基础组件之一，它是一个分布式的计算框架，用于大数据的离线计算，和HDFS、YARN搭配使用。MapReduce主要分为切片File、Map 、shuffle和Reduce四个阶段，数据导入——首先是将数据上传到HDFS上进行切片（一般默认分片是64M）、存储Map阶段——然后会由YARN进行资源的协调与分配，启动job，进行分片操作，一般默认HDFS的一... MapReduce是Hadoop平台的基础组件之一，它是一个分布式的计算框架，用于大数据的离线计算，和HDFS、YARN搭配使用。MapReduce主要分为切片File、Map 、shuffle和Reduce四个阶段，数据导入——首先是将数据上传到HDFS上进行切片（一般默认分片是64M）、存储Map阶段——然后会由YARN进行资源的协调与分配，启动job，进行分片操作，一般默认HDFS的一...
- 一、负责收集数据的工具：Sqoop（关系型数据导入Hadoop）Flume（日志数据导入Hadoop，支持数据源广泛）Kafka（支持数据源有限，但吞吐大）二、负责存储数据的工具：HBaseMongoDBCassandraAccumuloMySqlOracleDB2HDFS（Hadoop Distribut File System）2.0三、底层组件Apache Common（通用模块）、A... 一、负责收集数据的工具：Sqoop（关系型数据导入Hadoop）Flume（日志数据导入Hadoop，支持数据源广泛）Kafka（支持数据源有限，但吞吐大）二、负责存储数据的工具：HBaseMongoDBCassandraAccumuloMySqlOracleDB2HDFS（Hadoop Distribut File System）2.0三、底层组件Apache Common（通用模块）、A...
- 论文来自：[Tracking Political Elections on Social Media: Applications and Experience](http://xueshu.baidu.com/usercenter/paper/show?paperid=648f55b88bfb691787d23f947a77137b&site=xueshu_se)摘要近年来，社交媒体已经成为... 论文来自：[Tracking Political Elections on Social Media: Applications and Experience](http://xueshu.baidu.com/usercenter/paper/show?paperid=648f55b88bfb691787d23f947a77137b&site=xueshu_se)摘要近年来，社交媒体已经成为...
- 什么是Hadoop？Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/va... 什么是Hadoop？Hadoop是一个开源的框架，可编写和运行分布式应用处理大规模数据，是专为离线和大规模数据分析而设计的，Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理），Hadoop的数据来源可以是任何形式，在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/va...
- 学习hadoop，必不可少的就是编写 MapReduce 程序。当然，对于简单的分析程序，我们只需一个MapReduce任务就能搞定，然而对于比较复杂的分析程序，我们可能需要多个Job或者多个Map或者Reduce进行分析计算。 本次主要说明的是多个 Job 或者多个 MapReduce 的编程形式。 学习hadoop，必不可少的就是编写 MapReduce 程序。当然，对于简单的分析程序，我们只需一个MapReduce任务就能搞定，然而对于比较复杂的分析程序，我们可能需要多个Job或者多个Map或者Reduce进行分析计算。 本次主要说明的是多个 Job 或者多个 MapReduce 的编程形式。
- 创建RDD 创建RDD
- Apache Spark™ is a fast and general engine for large-scale data processing. Apache Spark™ is a fast and general engine for large-scale data processing.
- Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 Kafka是由LinkedIn开发的一个分布式的消息系统，使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签