- 前言 在互联网步入大数据时代后，用户行为给企业的产品和服务带来了一系列的改变和重塑，其中最大的变化在于，用户的一切行为在企业面前是可“追溯”“分析”的。企业内保存了大量的原始数据和各种业务数据，这是企业经营活动的真实记录，如何更加有效地利用这些数据进行分析和评估，成为企业基于更大数据量背景的问题所在。随着大数据技术的深入研究与应用，企... 前言 在互联网步入大数据时代后，用户行为给企业的产品和服务带来了一系列的改变和重塑，其中最大的变化在于，用户的一切行为在企业面前是可“追溯”“分析”的。企业内保存了大量的原始数据和各种业务数据，这是企业经营活动的真实记录，如何更加有效地利用这些数据进行分析和评估，成为企业基于更大数据量背景的问题所在。随着大数据技术的深入研究与应用，企...
- 背景 大数据时代的到来，让越来越多的企业看到了数据资产的价值。将数据视为企业的重要资产，已经成为业界的一种共识，企业也在快速探索应用场景和商业模式，并开始建设技术平台。 但这里要特别强调一下，如果在大数据“拼图”中遗忘了数据治理，可能再多的技术投入也是一种徒劳。因为没有数据治理这一环节，其带来后果往往是：随处可见的数... 背景 大数据时代的到来，让越来越多的企业看到了数据资产的价值。将数据视为企业的重要资产，已经成为业界的一种共识，企业也在快速探索应用场景和商业模式，并开始建设技术平台。 但这里要特别强调一下，如果在大数据“拼图”中遗忘了数据治理，可能再多的技术投入也是一种徒劳。因为没有数据治理这一环节，其带来后果往往是：随处可见的数...
- vim frameworks/base/core/jni/android_hardware_Camera.cpp fields.post_event = GetStaticMethodIDOrDie(env, clazz, "postEventFromNative", //java层函数名  ... vim frameworks/base/core/jni/android_hardware_Camera.cpp fields.post_event = GetStaticMethodIDOrDie(env, clazz, "postEventFromNative", //java层函数名  ...
- 文章目录 引言 I 、计算机从专用到通用背后的逻辑 II、为什么算盘是计算机？ III、计算机从简单到复杂 IV、 五级工程师和职业发展- 依据郎道的方法进行分级 ... 文章目录 引言 I 、计算机从专用到通用背后的逻辑 II、为什么算盘是计算机？ III、计算机从简单到复杂 IV、 五级工程师和职业发展- 依据郎道的方法进行分级 ...
- 目录 案例四：开窗函数 概述 介绍 聚合函数和开窗函数 开窗函数分类 聚合开窗函数 排序开窗函数 ROW_NUMBER顺序排序 RANK跳跃排序 DENSE_RANK连续排序 NTILE分组排名[了解] ... 目录 案例四：开窗函数 概述 介绍 聚合函数和开窗函数 开窗函数分类 聚合开窗函数 排序开窗函数 ROW_NUMBER顺序排序 RANK跳跃排序 DENSE_RANK连续排序 NTILE分组排名[了解] ...
- Spark 应用架构-了解 Driver 和Executors 从图中可以看到Spark Application运行到集群上时，由两部分组成：Driver Program和Executors。 第一、Driver Program 相当于AppMaster，整个应用管理者，负责应用中所有Job的调度执行;运行JVM P... Spark 应用架构-了解 Driver 和Executors 从图中可以看到Spark Application运行到集群上时，由两部分组成：Driver Program和Executors。 第一、Driver Program 相当于AppMaster，整个应用管理者，负责应用中所有Job的调度执行;运行JVM P...
- 目录 Spark 四大特点 速度快 易于使用 通用性强 运行方式 Spark 四大特点 Spark 使用Scala语言进行实现，它是一种面向对、函数式编程语言，能够像操作本地集合一样轻松的操作分布式数据集。Spark具有运行速度快、易用性好、通用性强和随处运行等特点。 ... 目录 Spark 四大特点 速度快 易于使用 通用性强 运行方式 Spark 四大特点 Spark 使用Scala语言进行实现，它是一种面向对、函数式编程语言，能够像操作本地集合一样轻松的操作分布式数据集。Spark具有运行速度快、易用性好、通用性强和随处运行等特点。 ...
- 在之前的博客《什么是大数据?看这一篇就足够了!》中,小菌为大家较为详细的介绍了一些关于大数据的知识。其中提到... 在之前的博客《什么是大数据?看这一篇就足够了!》中,小菌为大家较为详细的介绍了一些关于大数据的知识。其中提到...
- 现在有一些订单的评论数据，需求: &... 现在有一些订单的评论数据，需求: &...
- 目录 RDD、DF、DS相关操作 SparkSQL初体验 SparkSession 应用入口 获取DataFrame/DataSet 使用样例类 指定类型+列名 自定义Schema RDD、DF、DS相互转换 RDD、DF、DS相关操作 SparkSQL初体验 Spark... 目录 RDD、DF、DS相关操作 SparkSQL初体验 SparkSession 应用入口 获取DataFrame/DataSet 使用样例类 指定类型+列名 自定义Schema RDD、DF、DS相互转换 RDD、DF、DS相关操作 SparkSQL初体验 Spark...
- 1.Spark是基于内存计算的大数据计算平台，试述Spark的主要特点。 答：Spark具有如下4个主要特点： ①运行速度快；②容易使用；③通用性；④运行模式多样。  ... 1.Spark是基于内存计算的大数据计算平台，试述Spark的主要特点。 答：Spark具有如下4个主要特点： ①运行速度快；②容易使用；③通用性；④运行模式多样。  ...
- 目录 Spark内核原理 RDD 依赖 窄依赖（Narrow Dependency） Shuffle 依赖（宽依赖 Wide Dependency） 如何区分宽窄依赖 DAG和Stage 词汇表 Spark内存迭代 所以，我们说Spark比MR效率高主要就是2个原... 目录 Spark内核原理 RDD 依赖 窄依赖（Narrow Dependency） Shuffle 依赖（宽依赖 Wide Dependency） 如何区分宽窄依赖 DAG和Stage 词汇表 Spark内存迭代 所以，我们说Spark比MR效率高主要就是2个原...
- 目录 SparkStreaming实战案例二 UpdateStateByKey 需求 1.updateStateByKey 2.mapWithState 代码实现 SparkStreaming实战案例二 UpdateStateByKey 需求 对从Socket接收的数据做WordCount并要求能够和历史数据进行累加!... 目录 SparkStreaming实战案例二 UpdateStateByKey 需求 1.updateStateByKey 2.mapWithState 代码实现 SparkStreaming实战案例二 UpdateStateByKey 需求 对从Socket接收的数据做WordCount并要求能够和历史数据进行累加!...
- 本篇博客是Spark之【RDD编程】系列第五篇，为大家介绍的是RDD依赖关系。 &... 本篇博客是Spark之【RDD编程】系列第五篇，为大家介绍的是RDD依赖关系。 &...
- 目录 Flink安装部署 Local本地模式 原理 操作 测试 Flink安装部署 Flink支持多种安装模式 - Local—本地单机模式，学习测试时使用- Standalone—独立集群模式，Flink自带集群，开发测试环境使用- StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用-... 目录 Flink安装部署 Local本地模式 原理 操作 测试 Flink安装部署 Flink支持多种安装模式 - Local—本地单机模式，学习测试时使用- Standalone—独立集群模式，Flink自带集群，开发测试环境使用- StandaloneHA—独立集群高可用模式，Flink自带集群，开发测试环境使用-...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签