大数据_标签_开发者_华为云

博客(3.1k)
视频(24)
论坛(0)
云声(0)
代码示例(0)

2021年大数据Flink（二十四）：Allowed Lateness案例演示
Allowed Lateness案例演示需求有订单数据,格式为: (订单ID，用户ID，时间戳/事件时间，订单金额) 要求每隔5s,计算5秒内，每个用户的订单总金额并添加Watermaker来解决一定程度上的数据延迟和数据乱序问题。并使用OutputTag+allowedLateness解决数据丢失问题 ...

Lansonli
发表于2021-09-28 23:41:49
3112 0 0

3.1k 0 0

Allowed Lateness案例演示需求有订单数据,格式为: (订单ID，用户ID，时间戳/事件时间，订单金额) 要求每隔5s,计算5秒内，每个用户的订单总金额并添加Watermaker来解决一定程度上的数据延迟和数据乱序问题。并使用OutputTag+allowedLateness解决数据丢失问题 ...
Flink 大数据
2021年大数据常用语言Scala（四）：基础语法学习声明变量
目录声明变量语法格式在解释器中定义一个变量 val和var变量使用类型推断来定义变量  惰性赋值声明变量我们将来每一天编写scala程序都会定义变量。那scala语言如何定义变量呢？语法格式 Java变量定义 int a = 0; 在scala中，可以使用val或者v...

Lansonli
发表于2021-09-28 23:38:45
2994 0 0

2.9k 0 0

目录声明变量语法格式在解释器中定义一个变量 val和var变量使用类型推断来定义变量  惰性赋值声明变量我们将来每一天编写scala程序都会定义变量。那scala语言如何定义变量呢？语法格式 Java变量定义 int a = 0; 在scala中，可以使用val或者v...
Scala 大数据
2021年大数据常用语言Scala（二十七）：函数式编程聚合操作
目录聚合操作聚合  reduce 定义案例折叠  fold 定义案例聚合操作聚合操作，可以将一个列表中的数据合并为一个。这种操作经常用来统计分析中   聚合  reduce reduce表示将列表，传入一个函数进行聚合计算   定义方法签名...

Lansonli
发表于2021-09-28 23:35:15
3039 0 0

3.0k 0 0

目录聚合操作聚合  reduce 定义案例折叠  fold 定义案例聚合操作聚合操作，可以将一个列表中的数据合并为一个。这种操作经常用来统计分析中   聚合  reduce reduce表示将列表，传入一个函数进行聚合计算   定义方法签名...
Scala 大数据
2021年大数据常用语言Scala（三十）：scala面向对象继承(extends) 
  目录继承(extends)  简单继承 override和super isInstanceOf和asInstanceOf getClass和classOf 访问修饰符调用父类的constructor 抽象类抽象方法抽象字段匿名内部类继承(extends)  简单...

Lansonli
发表于2021-09-28 23:35:01
3181 0 0

3.1k 0 0

  目录继承(extends)  简单继承 override和super isInstanceOf和asInstanceOf getClass和classOf 访问修饰符调用父类的constructor 抽象类抽象方法抽象字段匿名内部类继承(extends)  简单...
Java Scala 大数据面向对象编程
2021年大数据常用语言Scala（十四）：基础语法学习数组  重点掌握
目录数组  重点掌握定长数组变长数组遍历数组数组常用算法数组  重点掌握 scala中数组的概念是和Java类似，可以用数组来存放一组数据。scala中，有两种数组，一种是定长数组，另一种是变长数组   定长数组定长数组指的是数组的长度是不允许改变的数...

Lansonli
发表于2021-09-28 23:32:38
3364 0 0

3.3k 0 0

目录数组  重点掌握定长数组变长数组遍历数组数组常用算法数组  重点掌握 scala中数组的概念是和Java类似，可以用数组来存放一组数据。scala中，有两种数组，一种是定长数组，另一种是变长数组   定长数组定长数组指的是数组的长度是不允许改变的数...
Java Scala 大数据数据结构
2021年大数据ZooKeeper（三）：Zookeeper数据模型和节点类型
目录 Apache ZooKeeper Zookeeper数据模型 Zookeeper节点类型 Apache ZooKeeper Zookeeper数据模型图中的每个节点称为一个Znode。每个Znode由3部分组成: ZooKeeper的数据模型，在结构上和标准文件系统的非常相似，拥有一个层次的命名空间...

Lansonli
发表于2021-09-28 23:29:05
3263 0 0

3.2k 0 0

目录 Apache ZooKeeper Zookeeper数据模型 Zookeeper节点类型 Apache ZooKeeper Zookeeper数据模型图中的每个节点称为一个Znode。每个Znode由3部分组成: ZooKeeper的数据模型，在结构上和标准文件系统的非常相似，拥有一个层次的命名空间...
ZooKeeper 大数据
2021年大数据Flink（十八）：Flink Window操作
目录 Flink-Window操作为什么需要Window Window的分类按照time和count分类按照slide和size分类总结 Window的API window和windowAll WindowAssigner evictor-...

Lansonli
发表于2021-09-28 23:24:26
3212 0 0

3.2k 0 0

目录 Flink-Window操作为什么需要Window Window的分类按照time和count分类按照slide和size分类总结 Window的API window和windowAll WindowAssigner evictor-...
Flink 大数据
reduce端join与map端join算法实现
        本篇博客小菌为大家带来的是MapReduce中reduce端join与map端join算法的实现。 ...

大数据梦想家
发表于2021-09-28 23:24:12
2352 0 0

2.3k 0 0

        本篇博客小菌为大家带来的是MapReduce中reduce端join与map端join算法的实现。 ...
大数据
一个优秀的大数据开发工程师的日常是怎么样的？
        大数据开发工程师，看起来很高端。但很多时候都是脱离不了开发的层面，基本上大部分人都是api的调用者。除了少部...

大数据梦想家
发表于2021-09-28 23:13:08
2510 0 0

2.5k 0 0

        大数据开发工程师，看起来很高端。但很多时候都是脱离不了开发的层面，基本上大部分人都是api的调用者。除了少部...
大数据
2021年大数据Spark（三十五）：SparkStreaming数据抽象 DStream
目录 SparkStreaming数据抽象-DStream  DStream 是什么 DStream Operations Transformation Output函数 SparkStreaming数据抽象-DStream  DStream 是什么 Spark Streamin...

Lansonli
发表于2021-09-28 23:13:01
3080 0 0

3.0k 0 0

目录 SparkStreaming数据抽象-DStream  DStream 是什么 DStream Operations Transformation Output函数 SparkStreaming数据抽象-DStream  DStream 是什么 Spark Streamin...
spark 大数据
2021年大数据Spark（一）：框架概述
目录   Spark框架概述 Spark 是什么分布式内存迭代计算框架  官方定义： Spark框架概述 Spark 是加州大学伯克利分校AMP实验室（Algorithms Machines and People Lab）开发的通用大数据出来框架。Spark生态栈也称为BDAS，是伯克利AMP实验室...

Lansonli
发表于2021-09-28 23:12:16
3272 0 0

3.2k 0 0

目录   Spark框架概述 Spark 是什么分布式内存迭代计算框架  官方定义： Spark框架概述 Spark 是加州大学伯克利分校AMP实验室（Algorithms Machines and People Lab）开发的通用大数据出来框架。Spark生态栈也称为BDAS，是伯克利AMP实验室...
spark 大数据
2021年大数据ZooKeeper（六）：ZooKeeper选举机制
目录 ZooKeeper选举机制概念全新集群选举非全新集群选举 ZooKeeper选举机制 zookeeper默认的算法是FastLeaderElection，采用投票数大于半数则胜出的逻辑。概念服务器ID 比如有三台服务器，编号分别是1,2,3。编号越大在选择算法中的权重越大。选举状态...

Lansonli
发表于2021-09-28 23:11:58
3410 0 0

3.4k 0 0

目录 ZooKeeper选举机制概念全新集群选举非全新集群选举 ZooKeeper选举机制 zookeeper默认的算法是FastLeaderElection，采用投票数大于半数则胜出的逻辑。概念服务器ID 比如有三台服务器，编号分别是1,2,3。编号越大在选择算法中的权重越大。选举状态...
ZooKeeper 大数据
2021年大数据常用语言Scala（二十）：函数式编程介绍
目录函数式编程介绍函数式编程的意义在哪？函数式编程介绍我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。现在我们将会逐渐接触函数式编程的方式. 比如我们要说的第一个foreach方法, 就是一个典型的函数式编程方式. 我们将一个函数当做参数传递给另一个方法/...

Lansonli
发表于2021-09-28 23:08:45
3077 0 0

3.0k 0 0

目录函数式编程介绍函数式编程的意义在哪？函数式编程介绍我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面的这些操作是学习的重点。现在我们将会逐渐接触函数式编程的方式. 比如我们要说的第一个foreach方法, 就是一个典型的函数式编程方式. 我们将一个函数当做参数传递给另一个方法/...
Scala 大数据
仅需7步带你深入理解【大数据】数仓设计
        之前做过一个大数据离线数仓项目，然后写下了一篇总结👉大数据实战【千亿级数仓】项目总结。那一篇博客主要针对方...

大数据梦想家
发表于2021-09-28 23:06:59
7698 0 0

7.6k 0 0

        之前做过一个大数据离线数仓项目，然后写下了一篇总结👉大数据实战【千亿级数仓】项目总结。那一篇博客主要针对方...
大数据应用平台ROMA
2021年大数据常用语言Scala（五）：基础语法学习字符串
字符串 scala提供多种定义字符串的方式，将来我们可以根据需要来选择最方便的定义方式。使用双引号使用插值表达式使用三引号使用双引号语法 val/var 变量名 = “字符串” 示例有一个人的名字叫"hadoop"，请打印他的名字以及名字的长度。参考代码 scala> p...

Lansonli
发表于2021-09-28 23:06:40
2941 0 0

2.9k 0 0

字符串 scala提供多种定义字符串的方式，将来我们可以根据需要来选择最方便的定义方式。使用双引号使用插值表达式使用三引号使用双引号语法 val/var 变量名 = “字符串” 示例有一个人的名字叫"hadoop"，请打印他的名字以及名字的长度。参考代码 scala> p...
Scala 大数据

上滑加载中

推荐直播

热门标签

Java Python 数据结构数据库 Linux 机器学习网络任务调度 MySQL JavaScript