- 一、RDD的基本概念接下来我们来学习RDD的一些核心概念：RDD是Spark中最重要的概念之一，全称叫弹性分布式数据集，我们可以简单的把它理解为提供了很多操作接口的数据集合。但是它跟我们一般使用的数据集不同的点在哪里呢？比如平时我们用Python或java开发程序时，操作的数据集合都是存放在我们单台的计算机上的，但是RDD实际上是把数据以分布式的方式存储在一批机器的内存或磁盘当中，这个概念跟... 一、RDD的基本概念接下来我们来学习RDD的一些核心概念：RDD是Spark中最重要的概念之一，全称叫弹性分布式数据集，我们可以简单的把它理解为提供了很多操作接口的数据集合。但是它跟我们一般使用的数据集不同的点在哪里呢？比如平时我们用Python或java开发程序时，操作的数据集合都是存放在我们单台的计算机上的，但是RDD实际上是把数据以分布式的方式存储在一批机器的内存或磁盘当中，这个概念跟...
- 一、Spark开发环境配置-scala项目1. 确认已安装scala插件2. 创建一个新的scala工程（在已有的scala工程中配置也可以）：3. 配置Spark开发依赖包(1) 点击菜单栏中的“File”->“Project Structure” ，选择“Libraries”。(2) 单击“+”按钮，选择“Java”选项。(3) 在弹出的界面中找到Spark安装包下的“jars”文件夹，... 一、Spark开发环境配置-scala项目1. 确认已安装scala插件2. 创建一个新的scala工程（在已有的scala工程中配置也可以）：3. 配置Spark开发依赖包(1) 点击菜单栏中的“File”->“Project Structure” ，选择“Libraries”。(2) 单击“+”按钮，选择“Java”选项。(3) 在弹出的界面中找到Spark安装包下的“jars”文件夹，...
- 在当今数据驱动的时代，大数据处理技术如Apache Spark已经成为企业数据湖和数据分析的核心组件。然而，在处理海量数据时，数据倾斜问题成为了一个难以忽视的挑战，它不仅会显著降低数据处理效率，甚至可能导致任务失败。本文将深入探讨数据倾斜的概念、产生原因、识别方法，并通过一个现实案例分析，介绍如何在Apache Spark中有效解决数据倾斜问题，辅以代码示例，帮助读者在实践中应对这一挑战。数... 在当今数据驱动的时代，大数据处理技术如Apache Spark已经成为企业数据湖和数据分析的核心组件。然而，在处理海量数据时，数据倾斜问题成为了一个难以忽视的挑战，它不仅会显著降低数据处理效率，甚至可能导致任务失败。本文将深入探讨数据倾斜的概念、产生原因、识别方法，并通过一个现实案例分析，介绍如何在Apache Spark中有效解决数据倾斜问题，辅以代码示例，帮助读者在实践中应对这一挑战。数...
- 想像阅读书本一样阅读数据流？这只有在电影中才有可能发生。 在现实世界中，企业必须使用数据可视化工具来读取原始数据的趋势和模式。大数据可视化是进行各种大数据分析解决的最重要组成部分之一。 一旦原始数据流被以图像形式表示时，以此做决策就变得容易多了。 为了满足并超越客户的期望，大数据可视化工具应该具备这些特征：能够处理不同种类型的传入数据能够应用不同种类的过滤器来调整结果能够在分析过程中与数据集... 想像阅读书本一样阅读数据流？这只有在电影中才有可能发生。 在现实世界中，企业必须使用数据可视化工具来读取原始数据的趋势和模式。大数据可视化是进行各种大数据分析解决的最重要组成部分之一。 一旦原始数据流被以图像形式表示时，以此做决策就变得容易多了。 为了满足并超越客户的期望，大数据可视化工具应该具备这些特征：能够处理不同种类型的传入数据能够应用不同种类的过滤器来调整结果能够在分析过程中与数据集...
- MRSDLIDWSCSS简述半托管式Hadoop全家桶，包含hadoop core、hive、spark、flink、kafka、hbase等主要hadoop生态组件。Hadoop生态Serverless化批(Spark)/流(Flink)/交互式(Presto)融合的云原生大数据处理分析服务。高性能关系型分布式数据仓库。基于开源ES自研改进的搜索服务对标服务/产品A1EMRAthena/... MRSDLIDWSCSS简述半托管式Hadoop全家桶，包含hadoop core、hive、spark、flink、kafka、hbase等主要hadoop生态组件。Hadoop生态Serverless化批(Spark)/流(Flink)/交互式(Presto)融合的云原生大数据处理分析服务。高性能关系型分布式数据仓库。基于开源ES自研改进的搜索服务对标服务/产品A1EMRAthena/...
- 【网络类】从友商搬到华为云需要拉专线，专线的时延和成本怎么保障答：选择从最近的Region拉专线，将时延控制在ms级别不影响正常的使用，带宽的成本可以被存算分离的成本优势cover 【资源类】如何保证AZ内资源充足答：华为云的资源有多种形式来保障可用度，比如AZ内会设置阈值，使用率达到阈值后会进行扩容，始终保持AZ的可用资源在一定范围，可供客户使用；同时，如果AZ的可用空间预计已经不能支持... 【网络类】从友商搬到华为云需要拉专线，专线的时延和成本怎么保障答：选择从最近的Region拉专线，将时延控制在ms级别不影响正常的使用，带宽的成本可以被存算分离的成本优势cover 【资源类】如何保证AZ内资源充足答：华为云的资源有多种形式来保障可用度，比如AZ内会设置阈值，使用率达到阈值后会进行扩容，始终保持AZ的可用资源在一定范围，可供客户使用；同时，如果AZ的可用空间预计已经不能支持...
- 【通用】华为云在大数据社区、内核的投入如何？答：华为有100+人（大部分在印度）专门在社区，发华为的内核版本，提交华为的特性功能，这部分人员专职社区贡献。因此华为在hadoop及其生态社区的贡献一直居于国内首位。 【数据采集&接入】在华为云上，关系数据库实时同步到hadoop的hive表里用什么方案？答：一般使用DRS+DMS（Kafka云服务）+MRS-Flink. DRS... 【通用】华为云在大数据社区、内核的投入如何？答：华为有100+人（大部分在印度）专门在社区，发华为的内核版本，提交华为的特性功能，这部分人员专职社区贡献。因此华为在hadoop及其生态社区的贡献一直居于国内首位。 【数据采集&接入】在华为云上，关系数据库实时同步到hadoop的hive表里用什么方案？答：一般使用DRS+DMS（Kafka云服务）+MRS-Flink. DRS...
- 如何把数据治理的方法论贯彻到公司的各个部门？答：1、首先数据治理是需要是一个自顶向下的推动，也就是公司的一把手需要明确数据治理的战略，这样才好推动 2、成立数据管理部这样的虚拟组织，来拉通各个部门进行统一的数据管理和标准建设 3、对于有自己独特需求或难以拉通的部门，可以考虑从统一的数据平台取数给他，他们自己进行数据分析和应用，但不能污染公司级统一的数据中台。 如何来... 如何把数据治理的方法论贯彻到公司的各个部门？答：1、首先数据治理是需要是一个自顶向下的推动，也就是公司的一把手需要明确数据治理的战略，这样才好推动 2、成立数据管理部这样的虚拟组织，来拉通各个部门进行统一的数据管理和标准建设 3、对于有自己独特需求或难以拉通的部门，可以考虑从统一的数据平台取数给他，他们自己进行数据分析和应用，但不能污染公司级统一的数据中台。 如何来...
- CarbonData是什么？跟存算分离有关系吗？CarbonData可对接多引擎是什么意思？答：carbondata则首先是一种数据格式，它对标的是parquet、orc这样的大数据领域常用文件格式，至于它存储的地方可以是本地盘hdfs，也可以是存算分离的OBS。 carbondata其次也是指基于这种格式之上的一套数据存储引擎（其实就是一堆jar包），它强绑定的是spark生态... CarbonData是什么？跟存算分离有关系吗？CarbonData可对接多引擎是什么意思？答：carbondata则首先是一种数据格式，它对标的是parquet、orc这样的大数据领域常用文件格式，至于它存储的地方可以是本地盘hdfs，也可以是存算分离的OBS。 carbondata其次也是指基于这种格式之上的一套数据存储引擎（其实就是一堆jar包），它强绑定的是spark生态...
- hudi的高并发查询能力不足,怎么办？答：lookup直接点查hudi,hudi并发量不够,可以通过在hudi前加入Gaussdb数据库,将原本hudi中,频繁更新,业务复杂,高并发查询的表放入其中查询hudi的cow表和row怎么选？答：cow表是写放大,写入是性能压力比较大,mor是读放大在读取新数据放在log上在读得过程中与老数据进行合并,写性能不受影响hudi选择mor表,主键太多会... hudi的高并发查询能力不足,怎么办？答：lookup直接点查hudi,hudi并发量不够,可以通过在hudi前加入Gaussdb数据库,将原本hudi中,频繁更新,业务复杂,高并发查询的表放入其中查询hudi的cow表和row怎么选？答：cow表是写放大,写入是性能压力比较大,mor是读放大在读取新数据放在log上在读得过程中与老数据进行合并,写性能不受影响hudi选择mor表,主键太多会...
- 什么是存算分离大数据？ 华为云存算分离方案相对于传统本地盘方案有什么优势？ 存算分离能节省多少成本？ 用了存算分离方案是不是必须使用华为 什么是存算分离大数据？ 华为云存算分离方案相对于传统本地盘方案有什么优势？ 存算分离能节省多少成本？ 用了存算分离方案是不是必须使用华为
- 《吊打面试官》- 大数据工程师50道中大厂面试真题保姆级详解 《吊打面试官》- 大数据工程师50道中大厂面试真题保姆级详解
- Apache Kylin，作为一款开源的大数据分析平台，以其独特的预计算技术，为用户提供亚秒级的OLAP查询体验。无论是数据分析师还是大数据工程师，掌握Kylin的使用技巧，都将极大地提升数据洞察力和决策效率。本文将从Kylin的基本概念出发，深入解析其工作原理，分享我在使用过程中的常见问题及解决方案，同时附上实战代码示例，帮助你更有效地驾驭这一强大的分析工具。 Kylin核心概念与原理 1... Apache Kylin，作为一款开源的大数据分析平台，以其独特的预计算技术，为用户提供亚秒级的OLAP查询体验。无论是数据分析师还是大数据工程师，掌握Kylin的使用技巧，都将极大地提升数据洞察力和决策效率。本文将从Kylin的基本概念出发，深入解析其工作原理，分享我在使用过程中的常见问题及解决方案，同时附上实战代码示例，帮助你更有效地驾驭这一强大的分析工具。 Kylin核心概念与原理 1...
- 在大数据处理领域，Apache Storm是一个实时计算系统，专为处理海量数据流而设计。它提供了分布式、容错、高可用的实时计算解决方案，让开发者能够轻松构建复杂的数据处理管道。本文将深入浅出地介绍Storm的核心概念、工作原理、常见问题及其解决方案，并通过一个简单的代码示例来展示如何使用Storm进行实时数据处理。 核心概念与原理 1. Topology（拓扑）在Storm中，一个Topol... 在大数据处理领域，Apache Storm是一个实时计算系统，专为处理海量数据流而设计。它提供了分布式、容错、高可用的实时计算解决方案，让开发者能够轻松构建复杂的数据处理管道。本文将深入浅出地介绍Storm的核心概念、工作原理、常见问题及其解决方案，并通过一个简单的代码示例来展示如何使用Storm进行实时数据处理。 核心概念与原理 1. Topology（拓扑）在Storm中，一个Topol...
- 本文详细介绍了JINQ（Java Integrated Query），一种强化Java中数据查询能力的库，提供类SQL的查询语法和类型安全的操作。文章首先解释了JINQ的基本功能和应用，随后通过具体示例展示了如何使用JINQ进行数据过滤、投影、连接、分组等操作。接着，与Java Stream API、Google Guava等其他热门集合处理包进行了比较，突出了JINQ的类型安全和查询直观性。 本文详细介绍了JINQ（Java Integrated Query），一种强化Java中数据查询能力的库，提供类SQL的查询语法和类型安全的操作。文章首先解释了JINQ的基本功能和应用，随后通过具体示例展示了如何使用JINQ进行数据过滤、投影、连接、分组等操作。接着，与Java Stream API、Google Guava等其他热门集合处理包进行了比较，突出了JINQ的类型安全和查询直观性。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签