- Hadoop作为大数据的支撑，那么我们会有一些疑问，什么是Hadoop，Hadoop能够做些什么，它的优点是什么，它是如何进行海量数据的操作的。相信这些疑问，一定在此时困扰着你，不要担心，下面我们一步一步的去认识Hadoop这个神奇的的小象！ 起源 从1946年开始计算机的诞生，再到如今的2020年人工智能大数据时代，我们的数据一直在呈现级数似的增长，在过去的十几年... Hadoop作为大数据的支撑，那么我们会有一些疑问，什么是Hadoop，Hadoop能够做些什么，它的优点是什么，它是如何进行海量数据的操作的。相信这些疑问，一定在此时困扰着你，不要担心，下面我们一步一步的去认识Hadoop这个神奇的的小象！ 起源 从1946年开始计算机的诞生，再到如今的2020年人工智能大数据时代，我们的数据一直在呈现级数似的增长，在过去的十几年...
- 通过上文的讲解，各位读者朋友们应该对 DefaultLitePullConsumer 有了一个全面的理解，但会不会觉得意犹未尽之感，因为在实战环节只是给出了一个 Demo 级别的示例，本篇将一个大数据领域的消息拉取批处理场景丰富一些 DefaultLitePullConsumer 的使用技巧。 场景描述 现在订单系统会将消息发送到 ORDER_TOPIC 中，大数据这边需... 通过上文的讲解，各位读者朋友们应该对 DefaultLitePullConsumer 有了一个全面的理解，但会不会觉得意犹未尽之感，因为在实战环节只是给出了一个 Demo 级别的示例，本篇将一个大数据领域的消息拉取批处理场景丰富一些 DefaultLitePullConsumer 的使用技巧。 场景描述 现在订单系统会将消息发送到 ORDER_TOPIC 中，大数据这边需...
- 消息组接到某项目组反馈，topic 在扩容后出现部分队列无法被消费者，导致消息积压，影响线上业务？ 考虑到该问题是发送在真实的线上环境，为了避免泄密，本文先在笔者的虚拟机中来重现问题。 本节目录 1、案情回顾1.1 集群现状1.2、RocketMQ 在线扩容队列1.3 消息发送 2、问题暴露3、问题分析4、问题复盘 1、案情回顾 1.1 集群现状 ... 消息组接到某项目组反馈，topic 在扩容后出现部分队列无法被消费者，导致消息积压，影响线上业务？ 考虑到该问题是发送在真实的线上环境，为了避免泄密，本文先在笔者的虚拟机中来重现问题。 本节目录 1、案情回顾1.1 集群现状1.2、RocketMQ 在线扩容队列1.3 消息发送 2、问题暴露3、问题分析4、问题复盘 1、案情回顾 1.1 集群现状 ...
- 来看看，作为70后、80后、90后、95后的你，大数据把你分析对了嘛？ 目录 70后、80后、90后、95后职场人大数据调查 Q1 Q2 Q3 Q4 Q5 70后、80后、90后、95后职场人大数据调查 Q1 70后、8... 来看看，作为70后、80后、90后、95后的你，大数据把你分析对了嘛？ 目录 70后、80后、90后、95后职场人大数据调查 Q1 Q2 Q3 Q4 Q5 70后、80后、90后、95后职场人大数据调查 Q1 70后、8...
- Algorithm：【Algorithm算法进阶之路】之数据结构二十多种算法演示 目录 一、数据结构算法 1、顺序表 2、链表 3、栈和队列 4、串的模式匹配 5、稀疏矩阵 6、广义表 7、二叉树 8、图 9、存储管理 10、静态查找 11、动态查找 12、内部排序 13、外部排... Algorithm：【Algorithm算法进阶之路】之数据结构二十多种算法演示 目录 一、数据结构算法 1、顺序表 2、链表 3、栈和队列 4、串的模式匹配 5、稀疏矩阵 6、广义表 7、二叉树 8、图 9、存储管理 10、静态查找 11、动态查找 12、内部排序 13、外部排...
- 合理设置Map数 （1）通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M，可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 2）举例： a) 假设input目录下有1个文件a，大小为780M，那么hadoop会将该... 合理设置Map数 （1）通常情况下，作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M，可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义修改)； 2）举例： a) 假设input目录下有1个文件a，大小为780M，那么hadoop会将该...
- 以下是滚雪球学 Python 系列专栏的课程体系，可以进行收藏，便于学习。 该系列依旧在更新中，欢迎持续关注。 文章目录 滚雪球第一轮滚雪球第二轮滚雪球番外篇之自动化 滚雪球第一轮 Python 环境安装与 IDE 安装注释变量输入输出数学运算赋值运算符基本数据类型格式化字符串关系运算符、逻辑运算符if 语句列表与列表方法for 循环和 whil... 以下是滚雪球学 Python 系列专栏的课程体系，可以进行收藏，便于学习。 该系列依旧在更新中，欢迎持续关注。 文章目录 滚雪球第一轮滚雪球第二轮滚雪球番外篇之自动化 滚雪球第一轮 Python 环境安装与 IDE 安装注释变量输入输出数学运算赋值运算符基本数据类型格式化字符串关系运算符、逻辑运算符if 语句列表与列表方法for 循环和 whil...
- 01外部排序1、外部排序指的是大文件的排序，即待排序的记录存储在外存储器上，在排序过程中需进行多次的内、外存之间的交换。02外存信息的存取1、计算机一般有两种存储器：内存储器（主存）和外存储器（辅存）。2、内存的信息可随机存取，且存取速度快，但价格贵、容量小。3、外存储器包括磁带和磁盘（或磁鼓），前者为顺序存取的设备，后者为随机存取的设备。4、磁带信息的存取：磁带是薄薄涂上一层... 01外部排序1、外部排序指的是大文件的排序，即待排序的记录存储在外存储器上，在排序过程中需进行多次的内、外存之间的交换。02外存信息的存取1、计算机一般有两种存储器：内存储器（主存）和外存储器（辅存）。2、内存的信息可随机存取，且存取速度快，但价格贵、容量小。3、外存储器包括磁带和磁盘（或磁鼓），前者为顺序存取的设备，后者为随机存取的设备。4、磁带信息的存取：磁带是薄薄涂上一层...
- 目录 一、为什么需要zookeeper 二、单机安装 zookeeper 三、常用的zk命令 四、使用ZooInspector 查看zookeeper 五、zk数据模型 六、安装分布式的zk 七、分布式zk的特点 一、为什么需要zookeeper 分布式协调管理者，用于在进群的环境下，选举出主节点，当主节点挂掉了之后，会选举其他的nameNode作为... 目录 一、为什么需要zookeeper 二、单机安装 zookeeper 三、常用的zk命令 四、使用ZooInspector 查看zookeeper 五、zk数据模型 六、安装分布式的zk 七、分布式zk的特点 一、为什么需要zookeeper 分布式协调管理者，用于在进群的环境下，选举出主节点，当主节点挂掉了之后，会选举其他的nameNode作为...
- 内容太多了，想着就这样大眼瞪小眼的也没办法，还不如整理一份。 Tips：真要学习的就绕开吧，仅为考试所用，太难的内容没有，我也不耽误宝贵的时间，有这时间多看几篇我其他的干货不好吗？ 文章目录 大数据概述HadoopHadoop简介Hadoop特性大规模文件系统的整体结构通信协议冗余数据保存 SparkSpark简介Scala简介Spark VS Hado... 内容太多了，想着就这样大眼瞪小眼的也没办法，还不如整理一份。 Tips：真要学习的就绕开吧，仅为考试所用，太难的内容没有，我也不耽误宝贵的时间，有这时间多看几篇我其他的干货不好吗？ 文章目录 大数据概述HadoopHadoop简介Hadoop特性大规模文件系统的整体结构通信协议冗余数据保存 SparkSpark简介Scala简介Spark VS Hado...
- 一、yarn 简介 分布式集群的计算资源管理，包括对内存以及cpu的管理，也是符合主从结构，主ResourceManager 负责集群资源的调控，负责单个服务器上资源的管理。 二、yarn的安装 三、分布式计算概述 四、yarn的资源调度机制 五、yarn Capacity Scheduler 配置 yarn applicati... 一、yarn 简介 分布式集群的计算资源管理，包括对内存以及cpu的管理，也是符合主从结构，主ResourceManager 负责集群资源的调控，负责单个服务器上资源的管理。 二、yarn的安装 三、分布式计算概述 四、yarn的资源调度机制 五、yarn Capacity Scheduler 配置 yarn applicati...
- 目录 1、高考是个什么难度级别的考试 2、未来高考人数会变少吗？ 3、各地高考人数差异巨大 4、各地高考难度评级 5、上海能上到高中的人只有一半？——这是全国各地的普遍情况 6、部分省市点评 不同省份的高考难度，一直是一个争议严重的问题。 每个地方的人，都会觉得自己是比较难的那一个。因为其实不管在哪里，高考都是件不容易的事情。 高考录取，本质上是一种“省内... 目录 1、高考是个什么难度级别的考试 2、未来高考人数会变少吗？ 3、各地高考人数差异巨大 4、各地高考难度评级 5、上海能上到高中的人只有一半？——这是全国各地的普遍情况 6、部分省市点评 不同省份的高考难度，一直是一个争议严重的问题。 每个地方的人，都会觉得自己是比较难的那一个。因为其实不管在哪里，高考都是件不容易的事情。 高考录取，本质上是一种“省内...
- 文章目录 前文回顾大数据排序sort_index方法sort_values方法 数据计算agg 数据分析常用计算方法describe方法value_counts方法 分组与聚合计算分组合并两列数据 前文回顾 跟我一起学点 数据分析 – 第三天：上手pandas（3） 大数据排序 sort_index方法 这个函数呢，你看到它的参数有很... 文章目录 前文回顾大数据排序sort_index方法sort_values方法 数据计算agg 数据分析常用计算方法describe方法value_counts方法 分组与聚合计算分组合并两列数据 前文回顾 跟我一起学点 数据分析 – 第三天：上手pandas（3） 大数据排序 sort_index方法 这个函数呢，你看到它的参数有很...
- 文章目录 1、序言2、2-3树2.1、2-3树的插入2.2 2-3树的删除 3、B树4、B树的典型应用 1、序言 曾今我不知道多叉树有上面用，所以对于多叉树并没有过多的关注，或者说，基本没关注。 直到我了解到了多路查找树（B树），我知道，是我浅薄了。 先不说那些高深莫测的内容，我们就通俗的聊聊。 我们现在常说大数据大数据，就算没说过也听过... 文章目录 1、序言2、2-3树2.1、2-3树的插入2.2 2-3树的删除 3、B树4、B树的典型应用 1、序言 曾今我不知道多叉树有上面用，所以对于多叉树并没有过多的关注，或者说，基本没关注。 直到我了解到了多路查找树（B树），我知道，是我浅薄了。 先不说那些高深莫测的内容，我们就通俗的聊聊。 我们现在常说大数据大数据，就算没说过也听过...
- 支部党员大会讨论接收预备党员的主要程序 召开支部大会讨论接收预备党员，是党章规定的必须履行的入党手续，因此，党支部必须认真开好接收预备党员的支部大会。 主要程序 （1）一般由支部书记担任会议主持人，宣布开会，报告出席会议的党员人数，提出会议的议题及开好会议的具体要求。 （2）发展对象宣读《入党志愿书》，汇报自己对党的认识、入党动机、本人履历、现实表现、家... 支部党员大会讨论接收预备党员的主要程序 召开支部大会讨论接收预备党员，是党章规定的必须履行的入党手续，因此，党支部必须认真开好接收预备党员的支部大会。 主要程序 （1）一般由支部书记担任会议主持人，宣布开会，报告出席会议的党员人数，提出会议的议题及开好会议的具体要求。 （2）发展对象宣读《入党志愿书》，汇报自己对党的认识、入党动机、本人履历、现实表现、家...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签