大数据_标签_开发者_华为云

博客(3.3k)
视频(24)
论坛(1.4k)
云声(0)
代码示例(0)

2021年大数据Spark（六）：环境搭建集群模式 Standalone
目录   环境搭建-Standalone 前言 Standalone 架构集群规划修改配置并分发修改slaves 分发到其他机器修改spark-env.sh 集群启动和停止测试环境搭建-Standalone Standalone模式是Spar...

Lansonli
发表于2021-09-29 01:00:58
4162 0 0

4.1k 0 0

目录   环境搭建-Standalone 前言 Standalone 架构集群规划修改配置并分发修改slaves 分发到其他机器修改spark-env.sh 集群启动和停止测试环境搭建-Standalone Standalone模式是Spar...
Hadoop spark 大数据
2021年大数据Spark（十）：环境搭建集群模式 Spark on YARN
目录环境搭建-Spark on YARN 注意事项 Spark On Yarn的本质? Spark On Yarn需要啥? 总结: 修改配置修改spark-env.sh 整合历史服务器并关闭资源检查整合Yarn历史服务器并关闭资源检查配置spark历史服务器修改spark-env.sh 设置日志级别 ...

Lansonli
发表于2021-09-29 01:00:34
5713 0 0

5.7k 0 0

目录环境搭建-Spark on YARN 注意事项 Spark On Yarn的本质? Spark On Yarn需要啥? 总结: 修改配置修改spark-env.sh 整合历史服务器并关闭资源检查整合Yarn历史服务器并关闭资源检查配置spark历史服务器修改spark-env.sh 设置日志级别 ...
spark Yarn 大数据
2021年大数据常用语言Scala（二十九）：scala面向对象单例对象
目录单例对象定义object - 掌握伴生对象 - 掌握 apply方法 - 掌握 main方法单例对象 Scala中没有static关键字，但是它支持静态如果要定义静态的东西，统统定义到object中语法： object xxx{   // 内容 } 反向理解，clas...

Lansonli
发表于2021-09-29 00:58:46
3743 0 0

3.7k 0 0

目录单例对象定义object - 掌握伴生对象 - 掌握 apply方法 - 掌握 main方法单例对象 Scala中没有static关键字，但是它支持静态如果要定义静态的东西，统统定义到object中语法： object xxx{   // 内容 } 反向理解，clas...
Java Scala 大数据面向对象编程
2021年大数据常用语言Scala（二十二）：函数式编程映射 map
目录映射 | map 用法案例一案例二映射  map 集合的映射操作是将来在编写Spark/Flink用得最多的操作，是我们必须要掌握的。因为进行数据计算的时候，就是一个将一种数据类型转换为另外一种数据类型的过程。 map方法接收一个函数，将这个函数应用到每一个元素，返回一个新的列表和foreach...

Lansonli
发表于2021-09-29 00:55:02
3716 0 0

3.7k 0 0

目录映射 | map 用法案例一案例二映射  map 集合的映射操作是将来在编写Spark/Flink用得最多的操作，是我们必须要掌握的。因为进行数据计算的时候，就是一个将一种数据类型转换为另外一种数据类型的过程。 map方法接收一个函数，将这个函数应用到每一个元素，返回一个新的列表和foreach...
Scala 大数据
2021年大数据Spark（十六）：Spark Core的RDD算子练习
目录 RDD算子练习 map 算子 filter 算子 flatMap 算子交集、并集、差集、笛卡尔积 distinct 算子 first、take、top 算子 keys、values 算子 mapValues 算子 ...

Lansonli
发表于2021-09-29 00:54:11
3540 0 0

3.5k 0 0

目录 RDD算子练习 map 算子 filter 算子 flatMap 算子交集、并集、差集、笛卡尔积 distinct 算子 first、take、top 算子 keys、values 算子 mapValues 算子 ...
spark 大数据
2021年大数据Flink（三十六）：Table与SQL 案例三
目录案例三需求编码步骤代码实现-方式1 代码实现-方式2 案例三需求使用Flink SQL来统计5秒内每个用户的订单总数、订单的最大金额、订单的最小金额也就是每隔5秒统计最近5秒的每个用户的订单总数、订单的最大金额、订单的最小金额上面的需求...

Lansonli
发表于2021-09-29 00:53:15
4394 0 0

4.3k 0 0

目录案例三需求编码步骤代码实现-方式1 代码实现-方式2 案例三需求使用Flink SQL来统计5秒内每个用户的订单总数、订单的最大金额、订单的最小金额也就是每隔5秒统计最近5秒的每个用户的订单总数、订单的最大金额、订单的最小金额上面的需求...
Flink SQL 大数据
2021年大数据常用语言Scala（十三）：基础语法学习函数 重点掌握
目录函数 重点掌握定义函数方法和函数的区别方法转换为函数完全体函数函数 重点掌握 scala支持函数式编程，将来编写Spark/Flink程序中，会大量使用到函数函数和我们的对象一样, 在Scala中都是属于一等公民   定义函数简便语法 val 函数变量...

Lansonli
发表于2021-09-29 00:52:47
3793 0 0

3.7k 0 0

目录函数 重点掌握定义函数方法和函数的区别方法转换为函数完全体函数函数 重点掌握 scala支持函数式编程，将来编写Spark/Flink程序中，会大量使用到函数函数和我们的对象一样, 在Scala中都是属于一等公民   定义函数简便语法 val 函数变量...
Scala 大数据
2021年大数据Flink（四十二）：BroadcastState
目录 BroadcastState BroadcastState介绍需求-实现配置动态更新编码步骤 1.env 2.source 3.transformation 4.sink 5.execute 参考实现实现代码   BroadcastState BroadcastState介...

Lansonli
发表于2021-09-29 00:51:24
3969 0 0

3.9k 0 0

目录 BroadcastState BroadcastState介绍需求-实现配置动态更新编码步骤 1.env 2.source 3.transformation 4.sink 5.execute 参考实现实现代码   BroadcastState BroadcastState介...
Flink 大数据
2021年大数据常用语言Scala（三十六）：scala高级用法泛型
目录泛型定义一个泛型方法定义一个泛型类上下界协变、逆变、非变  非变协变逆变泛型 scala和Java一样，类和特质、方法都可以支持泛型。我们在学习集合的时候，一般都会涉及到泛型。 scala> val list1:List[String] =&nbs...

Lansonli
发表于2021-09-29 00:43:03
3936 0 0

3.9k 0 0

目录泛型定义一个泛型方法定义一个泛型类上下界协变、逆变、非变  非变协变逆变泛型 scala和Java一样，类和特质、方法都可以支持泛型。我们在学习集合的时候，一般都会涉及到泛型。 scala> val list1:List[String] =&nbs...
Java Scala 大数据
2021年大数据常用语言Scala（一）：Scala简介
目录一、Scala简介为什么使用scala Scala对比Java 案例一、Scala简介 scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数编程多范式：就是包含多种编程思想。目前主流的编程思想有4中，即面向对象、面向过程、面向函数、以及泛型面向函数一句话形容：函数也是一个对象，可以作为参数进...

Lansonli
发表于2021-09-29 00:41:02
3847 0 0

3.8k 0 0

目录一、Scala简介为什么使用scala Scala对比Java 案例一、Scala简介 scala是运行在JVM上的多范式编程语言，同时支持面向对象和面向函数编程多范式：就是包含多种编程思想。目前主流的编程思想有4中，即面向对象、面向过程、面向函数、以及泛型面向函数一句话形容：函数也是一个对象，可以作为参数进...
Java Scala 大数据
大数据技术原理与应用之【HDFS】习题
1.试述分布式文件系统设计的需求。设计需求含义HDFS的实现情况透明性具备访问透明性、位置透明性、性能、和伸缩透明性只能提供一定程度的访问透明性，完全支持位置透明性、性能和伸缩透明性并发控制客户端对于...

大数据梦想家
发表于2021-09-29 00:40:57
3700 0 0

3.7k 0 0

1.试述分布式文件系统设计的需求。设计需求含义HDFS的实现情况透明性具备访问透明性、位置透明性、性能、和伸缩透明性只能提供一定程度的访问透明性，完全支持位置透明性、性能和伸缩透明性并发控制客户端对于...
Hadoop 大数据
2021年大数据常用语言Scala（二十六）：函数式编程分组 groupBy
目录分组  groupBy 定义示例分组  groupBy 我们如果要将数据按照分组来进行统计分析，就需要使用到分组方法等同于SQL中的 group by的概念，就是给数据按照指定的列进行分组用。   定义 groupBy表示按照函数将列表分成不同的组方法签名 def&n...

Lansonli
发表于2021-09-29 00:40:17
3880 0 0

3.8k 0 0

目录分组  groupBy 定义示例分组  groupBy 我们如果要将数据按照分组来进行统计分析，就需要使用到分组方法等同于SQL中的 group by的概念，就是给数据按照指定的列进行分组用。   定义 groupBy表示按照函数将列表分成不同的组方法签名 def&n...
Scala 大数据
2021年大数据Spark（三十）：SparkSQL自定义UDF函数
目录自定义UDF函数第一种：UDF（User-Defined-Function）函数第二种：UDAF（User-Defined Aggregation Function）聚合函数第三种：UDTF（User-Defined Table-Generating Functions）函数 SQL方式 DSL方式代码...

Lansonli
发表于2021-09-29 00:37:21
4369 0 0

4.3k 0 0

目录自定义UDF函数第一种：UDF（User-Defined-Function）函数第二种：UDAF（User-Defined Aggregation Function）聚合函数第三种：UDTF（User-Defined Table-Generating Functions）函数 SQL方式 DSL方式代码...
spark 大数据
2021年大数据Flink（三十七）：Table与SQL 案例四
目录案例四需求代码实现案例四需求从Kafka中消费数据并过滤出状态为success的数据再写入到Kafka {"user_id": "1", "page_id":"1", "status": "success"} {"user_id": "1", "page_id":"1", "...

Lansonli
发表于2021-09-29 00:24:15
3889 0 0

3.8k 0 0

目录案例四需求代码实现案例四需求从Kafka中消费数据并过滤出状态为success的数据再写入到Kafka {"user_id": "1", "page_id":"1", "status": "success"} {"user_id": "1", "page_id":"1", "...
Flink SQL 大数据
2021年大数据ZooKeeper（一）：ZooKeeper基本知识
目录 Zookeeper基本知识 ZooKeeper概述 ZooKeeper特性 ZooKeeper集群角色 Leader:  Follower: Observer: Zookeeper基本知识 ZooKeeper概述 Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一...

Lansonli
发表于2021-09-29 00:24:02
4006 0 0

4.0k 0 0

目录 Zookeeper基本知识 ZooKeeper概述 ZooKeeper特性 ZooKeeper集群角色 Leader:  Follower: Observer: Zookeeper基本知识 ZooKeeper概述 Zookeeper是一个分布式协调服务的开源框架。主要用来解决分布式集群中应用系统的一...
ZooKeeper 大数据

上滑加载中

推荐直播

热门标签

Java Python 数据结构数据库 Linux 机器学习网络任务调度 MySQL JavaScript