- 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间文章字数统计：共3072字。阅读预计10分钟 1. 引言在多线程编程中，为了保证线程间的共享变量的可见性和正确性，我们需要使用同步机制来进行线程间的通信和数据同步。而Java中的Volatile关键字就... 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间文章字数统计：共3072字。阅读预计10分钟 1. 引言在多线程编程中，为了保证线程间的共享变量的可见性和正确性，我们需要使用同步机制来进行线程间的通信和数据同步。而Java中的Volatile关键字就...
- 「java、python面试题」来自UC网盘app分享，打开手机app，额外获得1T空间https://drive.uc.cn/s/2aeb6c2dcedd4AIGC资料包https://drive.uc.cn/s/6077fc42116d4https://pan.xunlei.com/s/VN_qC7kwpKFgKLto4KgP4Do_A1?pwd=7kbv#https://yv4kfv1... 「java、python面试题」来自UC网盘app分享，打开手机app，额外获得1T空间https://drive.uc.cn/s/2aeb6c2dcedd4AIGC资料包https://drive.uc.cn/s/6077fc42116d4https://pan.xunlei.com/s/VN_qC7kwpKFgKLto4KgP4Do_A1?pwd=7kbv#https://yv4kfv1...
- 引言在互联网时代，数据量的爆炸增长给数据处理带来了巨大的挑战。本文将介绍如何高效地处理10个每个文件大小为1G的文件，其中每个文件的每一行存放的都是用户的查询(query)。我们的目标是按照查询的频度对这些查询进行排序。为了解决这个问题，我们将借助大数据处理技术，并给出代码示例。 准备工作在开始之前，我们需要准备一些工具和环境：Hadoop：分布式计算框架，用于处理大规模数据。Hadoop... 引言在互联网时代，数据量的爆炸增长给数据处理带来了巨大的挑战。本文将介绍如何高效地处理10个每个文件大小为1G的文件，其中每个文件的每一行存放的都是用户的查询(query)。我们的目标是按照查询的频度对这些查询进行排序。为了解决这个问题，我们将借助大数据处理技术，并给出代码示例。 准备工作在开始之前，我们需要准备一些工具和环境：Hadoop：分布式计算框架，用于处理大规模数据。Hadoop...
- 数据湖（datalake）通常指的是一个巨大的HDFS或类似的分布式对象存储系统，在数据被转储到这些存储系统时，并没有特别考虑接下来应如何访问它们。Presto可以使它们成为有用的数据仓库。实际上，Facebook开发的目的就是对一个非常大的Hadoop数据仓库进行更快和更强大的查询，提供Hive和其他工具无法提供的能力。这也是Hive连接器的起源。Facebook于2008年开源了Hive... 数据湖（datalake）通常指的是一个巨大的HDFS或类似的分布式对象存储系统，在数据被转储到这些存储系统时，并没有特别考虑接下来应如何访问它们。Presto可以使它们成为有用的数据仓库。实际上，Facebook开发的目的就是对一个非常大的Hadoop数据仓库进行更快和更强大的查询，提供Hive和其他工具无法提供的能力。这也是Hive连接器的起源。Facebook于2008年开源了Hive...
- Google公司2003年开始陆续发表的关于GFS、MapReduce和BigTable的三篇技术论文，成为大数据发展的重要基石。大数据、数据仓库、数据湖。这是三个不同的概念。若不使用数据仓库，就无法使用查询合并来自不同系统的数据。大数据的特性，是4V+1O。Volume, Variety, Value, Velocity, OnlineApache Hadoop 允许用户在不了解分布式系统... Google公司2003年开始陆续发表的关于GFS、MapReduce和BigTable的三篇技术论文，成为大数据发展的重要基石。大数据、数据仓库、数据湖。这是三个不同的概念。若不使用数据仓库，就无法使用查询合并来自不同系统的数据。大数据的特性，是4V+1O。Volume, Variety, Value, Velocity, OnlineApache Hadoop 允许用户在不了解分布式系统...
- 目前支持将 TSFile（包括 TSFile 和相关数据文件）存储在本地文件系统和 Hadoop分布式文件系统 （HDFS） 中。配置TSFile的存储文件系统非常容易。 目前支持将 TSFile（包括 TSFile 和相关数据文件）存储在本地文件系统和 Hadoop分布式文件系统 （HDFS） 中。配置TSFile的存储文件系统非常容易。
- TsFile-Hadoop-Connector 实现了 Hadoop 对 Tsfile 类型的外部数据源的支持。这使用户能够通过Hadoop读取，写入和查询Tsfile。 TsFile-Hadoop-Connector 实现了 Hadoop 对 Tsfile 类型的外部数据源的支持。这使用户能够通过Hadoop读取，写入和查询Tsfile。
- 什么是数据湖数据湖（Data Lake） 是一个用于存储大规模原始和未处理数据的存储系统。与传统的数据库和数据仓库不同，数据湖接受各种类型和格式的数据，包括结构化、半结构化和非结构化数据，而不需要对数据进行事先的转换或预处理。数据湖的目标是为数据科学家、分析师和其他数据使用者提供更灵活、可扩展且可访问的数据存储方式。数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。但... 什么是数据湖数据湖（Data Lake） 是一个用于存储大规模原始和未处理数据的存储系统。与传统的数据库和数据仓库不同，数据湖接受各种类型和格式的数据，包括结构化、半结构化和非结构化数据，而不需要对数据进行事先的转换或预处理。数据湖的目标是为数据科学家、分析师和其他数据使用者提供更灵活、可扩展且可访问的数据存储方式。数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。但...
- 引言在互联网时代，数据量的爆炸增长给数据处理带来了巨大的挑战。本文将介绍如何高效地处理10个每个文件大小为1G的文件，其中每个文件的每一行存放的都是用户的查询(query)。我们的目标是按照查询的频度对这些查询进行排序。为了解决这个问题，我们将借助大数据处理技术，并给出代码示例。 准备工作在开始之前，我们需要准备一些工具和环境：Hadoop：分布式计算框架，用于处理大规模数据。Hadoop... 引言在互联网时代，数据量的爆炸增长给数据处理带来了巨大的挑战。本文将介绍如何高效地处理10个每个文件大小为1G的文件，其中每个文件的每一行存放的都是用户的查询(query)。我们的目标是按照查询的频度对这些查询进行排序。为了解决这个问题，我们将借助大数据处理技术，并给出代码示例。 准备工作在开始之前，我们需要准备一些工具和环境：Hadoop：分布式计算框架，用于处理大规模数据。Hadoop...
- 【Hadoop】【Yarn】Yarn命令实现 【Hadoop】【Yarn】Yarn命令实现
- 【Hadoop】【Yarn】ResourceManager中的web服务 【Hadoop】【Yarn】ResourceManager中的web服务
- 【Hadoop】【Yarn】Yarn的web 接口实现 【Hadoop】【Yarn】Yarn的web 接口实现
- Hadoop中所有的进程的主线程都会被添加到ShutdownHook中。其作用是当进程的jvm退出可以让进程以一种比较优雅的方式退出。根据注册的shudownhook（线程）的顺序来决定以一种特定的顺序退出。下面是java doc中对shutdown hook官方解释。A shutdown hook is simply an initialized but unstarted thread.... Hadoop中所有的进程的主线程都会被添加到ShutdownHook中。其作用是当进程的jvm退出可以让进程以一种比较优雅的方式退出。根据注册的shudownhook（线程）的顺序来决定以一种特定的顺序退出。下面是java doc中对shutdown hook官方解释。A shutdown hook is simply an initialized but unstarted thread....
- 【Hadoop】【Yarn】NodeManager启动源码分析 【Hadoop】【Yarn】NodeManager启动源码分析
- ContainerManagerImpl作为nodemanger中的一个Service，主要用来管理container的资源隔离。 ContainerManagerImpl作为nodemanger中的一个Service，主要用来管理container的资源隔离。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签