- 一、Spark介绍1、什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不... 一、Spark介绍1、什么是SparkApache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行计算框架，Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不...
- 在生产中，如果登录yarn页面，查看application任务日志，发现日志查看不了，该怎么办问题报错:问题原因:去显示的任务节点上查看nodemanager日志，发现是当前存储yarn日志的hdfs单个目录下文件数量已经达到最大值1048576，所以yarn日志聚合不了，导致查看不了yarn日志聚合:由于NodeManager将所有Container的运行日志保存到本地磁盘上，因此，随着时... 在生产中，如果登录yarn页面，查看application任务日志，发现日志查看不了，该怎么办问题报错:问题原因:去显示的任务节点上查看nodemanager日志，发现是当前存储yarn日志的hdfs单个目录下文件数量已经达到最大值1048576，所以yarn日志聚合不了，导致查看不了yarn日志聚合:由于NodeManager将所有Container的运行日志保存到本地磁盘上，因此，随着时...
- 谷歌这个名字就是“大规模"的同义词。Google正是改写自数学术语googol，意思是1后面带100个0。不论是关系数据库这种传统的存储系统，还是传统的命令式编程，都没有能力满足谷歌构建和搜索全网索引文档的超大规模需求。这种需求最终孕育出了谷歌文件系统（GFS)、MapReduce(MR)编程框架，以及Bigtable数据存储。GFS使用大量的标准硬件服务器来搭建集群，提供容错的分布式文件系... 谷歌这个名字就是“大规模"的同义词。Google正是改写自数学术语googol，意思是1后面带100个0。不论是关系数据库这种传统的存储系统，还是传统的命令式编程，都没有能力满足谷歌构建和搜索全网索引文档的超大规模需求。这种需求最终孕育出了谷歌文件系统（GFS)、MapReduce(MR)编程框架，以及Bigtable数据存储。GFS使用大量的标准硬件服务器来搭建集群，提供容错的分布式文件系...
- 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间 1. 引言在现代的软件开发中，为了提高代码的可维护性、可扩展性以及降低代码的耦合度，使用设计模式和面向切面编程（AOP）成为了程序员们常用的技术手段。Spring作为一个优秀的Java开发框架，提供了I... 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间 1. 引言在现代的软件开发中，为了提高代码的可维护性、可扩展性以及降低代码的耦合度，使用设计模式和面向切面编程（AOP）成为了程序员们常用的技术手段。Spring作为一个优秀的Java开发框架，提供了I...
- 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间文章字数统计：共3072字。阅读预计10分钟 1. 引言在多线程编程中，为了保证线程间的共享变量的可见性和正确性，我们需要使用同步机制来进行线程间的通信和数据同步。而Java中的Volatile关键字就... 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间文章字数统计：共3072字。阅读预计10分钟 1. 引言在多线程编程中，为了保证线程间的共享变量的可见性和正确性，我们需要使用同步机制来进行线程间的通信和数据同步。而Java中的Volatile关键字就...
- 「java、python面试题」来自UC网盘app分享，打开手机app，额外获得1T空间https://drive.uc.cn/s/2aeb6c2dcedd4AIGC资料包https://drive.uc.cn/s/6077fc42116d4https://pan.xunlei.com/s/VN_qC7kwpKFgKLto4KgP4Do_A1?pwd=7kbv#https://yv4kfv1... 「java、python面试题」来自UC网盘app分享，打开手机app，额外获得1T空间https://drive.uc.cn/s/2aeb6c2dcedd4AIGC资料包https://drive.uc.cn/s/6077fc42116d4https://pan.xunlei.com/s/VN_qC7kwpKFgKLto4KgP4Do_A1?pwd=7kbv#https://yv4kfv1...
- 引言在互联网时代，数据量的爆炸增长给数据处理带来了巨大的挑战。本文将介绍如何高效地处理10个每个文件大小为1G的文件，其中每个文件的每一行存放的都是用户的查询(query)。我们的目标是按照查询的频度对这些查询进行排序。为了解决这个问题，我们将借助大数据处理技术，并给出代码示例。 准备工作在开始之前，我们需要准备一些工具和环境：Hadoop：分布式计算框架，用于处理大规模数据。Hadoop... 引言在互联网时代，数据量的爆炸增长给数据处理带来了巨大的挑战。本文将介绍如何高效地处理10个每个文件大小为1G的文件，其中每个文件的每一行存放的都是用户的查询(query)。我们的目标是按照查询的频度对这些查询进行排序。为了解决这个问题，我们将借助大数据处理技术，并给出代码示例。 准备工作在开始之前，我们需要准备一些工具和环境：Hadoop：分布式计算框架，用于处理大规模数据。Hadoop...
- 数据湖（datalake）通常指的是一个巨大的HDFS或类似的分布式对象存储系统，在数据被转储到这些存储系统时，并没有特别考虑接下来应如何访问它们。Presto可以使它们成为有用的数据仓库。实际上，Facebook开发的目的就是对一个非常大的Hadoop数据仓库进行更快和更强大的查询，提供Hive和其他工具无法提供的能力。这也是Hive连接器的起源。Facebook于2008年开源了Hive... 数据湖（datalake）通常指的是一个巨大的HDFS或类似的分布式对象存储系统，在数据被转储到这些存储系统时，并没有特别考虑接下来应如何访问它们。Presto可以使它们成为有用的数据仓库。实际上，Facebook开发的目的就是对一个非常大的Hadoop数据仓库进行更快和更强大的查询，提供Hive和其他工具无法提供的能力。这也是Hive连接器的起源。Facebook于2008年开源了Hive...
- Google公司2003年开始陆续发表的关于GFS、MapReduce和BigTable的三篇技术论文，成为大数据发展的重要基石。大数据、数据仓库、数据湖。这是三个不同的概念。若不使用数据仓库，就无法使用查询合并来自不同系统的数据。大数据的特性，是4V+1O。Volume, Variety, Value, Velocity, OnlineApache Hadoop 允许用户在不了解分布式系统... Google公司2003年开始陆续发表的关于GFS、MapReduce和BigTable的三篇技术论文，成为大数据发展的重要基石。大数据、数据仓库、数据湖。这是三个不同的概念。若不使用数据仓库，就无法使用查询合并来自不同系统的数据。大数据的特性，是4V+1O。Volume, Variety, Value, Velocity, OnlineApache Hadoop 允许用户在不了解分布式系统...
- 目前支持将 TSFile（包括 TSFile 和相关数据文件）存储在本地文件系统和 Hadoop分布式文件系统 （HDFS） 中。配置TSFile的存储文件系统非常容易。 目前支持将 TSFile（包括 TSFile 和相关数据文件）存储在本地文件系统和 Hadoop分布式文件系统 （HDFS） 中。配置TSFile的存储文件系统非常容易。
- TsFile-Hadoop-Connector 实现了 Hadoop 对 Tsfile 类型的外部数据源的支持。这使用户能够通过Hadoop读取，写入和查询Tsfile。 TsFile-Hadoop-Connector 实现了 Hadoop 对 Tsfile 类型的外部数据源的支持。这使用户能够通过Hadoop读取，写入和查询Tsfile。
- 什么是数据湖数据湖（Data Lake） 是一个用于存储大规模原始和未处理数据的存储系统。与传统的数据库和数据仓库不同，数据湖接受各种类型和格式的数据，包括结构化、半结构化和非结构化数据，而不需要对数据进行事先的转换或预处理。数据湖的目标是为数据科学家、分析师和其他数据使用者提供更灵活、可扩展且可访问的数据存储方式。数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。但... 什么是数据湖数据湖（Data Lake） 是一个用于存储大规模原始和未处理数据的存储系统。与传统的数据库和数据仓库不同，数据湖接受各种类型和格式的数据，包括结构化、半结构化和非结构化数据，而不需要对数据进行事先的转换或预处理。数据湖的目标是为数据科学家、分析师和其他数据使用者提供更灵活、可扩展且可访问的数据存储方式。数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。但...
- 引言在互联网时代，数据量的爆炸增长给数据处理带来了巨大的挑战。本文将介绍如何高效地处理10个每个文件大小为1G的文件，其中每个文件的每一行存放的都是用户的查询(query)。我们的目标是按照查询的频度对这些查询进行排序。为了解决这个问题，我们将借助大数据处理技术，并给出代码示例。 准备工作在开始之前，我们需要准备一些工具和环境：Hadoop：分布式计算框架，用于处理大规模数据。Hadoop... 引言在互联网时代，数据量的爆炸增长给数据处理带来了巨大的挑战。本文将介绍如何高效地处理10个每个文件大小为1G的文件，其中每个文件的每一行存放的都是用户的查询(query)。我们的目标是按照查询的频度对这些查询进行排序。为了解决这个问题，我们将借助大数据处理技术，并给出代码示例。 准备工作在开始之前，我们需要准备一些工具和环境：Hadoop：分布式计算框架，用于处理大规模数据。Hadoop...
- 【Hadoop】【Yarn】Yarn命令实现 【Hadoop】【Yarn】Yarn命令实现
- 【Hadoop】【Yarn】ResourceManager中的web服务 【Hadoop】【Yarn】ResourceManager中的web服务
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签