大数据_标签_开发者_华为云

博客(2.9k)
视频(24)
论坛(0)
云声(0)
代码示例(0)

大数据调度平台Airflow（五）：Airflow使用
目录 Airflow使用一、Airflow调度Shell命令 1.首先我们需要创建一个python文件，导入需要的类库 2.实例化DAG 3、定义Task 4、设置task依赖关系 5、上传python配置脚本 6、重启Airflow 7、执行airflow 二、DAG调度触发时间三、DAG catchup 参...

Lansonli
发表于2022-03-26 00:25:39
4805 0 0

4.8k 0 0

目录 Airflow使用一、Airflow调度Shell命令 1.首先我们需要创建一个python文件，导入需要的类库 2.实例化DAG 3、定义Task 4、设置task依赖关系 5、上传python配置脚本 6、重启Airflow 7、执行airflow 二、DAG调度触发时间三、DAG catchup 参...
http Python 大数据
大数据分析抖音养号是否有用？（抖音运营）
工欲善其事，必先利其器是说:工匠想要使他的工作做好，一定要先让工具锋利。比喻要做好一件事，准备工作非常重要。抖音养号是说以科学的方法涨粉丝！抖音运营相关文章：抖音运营学习文章目...

辰兮
发表于2022-03-23 00:49:45
2280 0 0

2.2k 0 0

工欲善其事，必先利其器是说:工匠想要使他的工作做好，一定要先让工具锋利。比喻要做好一件事，准备工作非常重要。抖音养号是说以科学的方法涨粉丝！抖音运营相关文章：抖音运营学习文章目...
大数据数据挖掘
大数据调度平台Airflow（四）：Airflow WebUI操作介绍
Airflow WebUI操作介绍一、DAG DAG有对应的id,其id全局唯一，DAG是airflow的核心概念，任务装载到DAG中，封装成任务依赖链条，DAG决定这些任务的执行规则。点击以上每个DAG对应的id可以直接进入对应“Graph View”视图，可以查看当前DAG任务执行顺序图。以上“Runs”列与“Re...

Lansonli
发表于2022-03-22 23:55:35
2744 0 0

2.7k 0 0

Airflow WebUI操作介绍一、DAG DAG有对应的id,其id全局唯一，DAG是airflow的核心概念，任务装载到DAG中，封装成任务依赖链条，DAG决定这些任务的执行规则。点击以上每个DAG对应的id可以直接进入对应“Graph View”视图，可以查看当前DAG任务执行顺序图。以上“Runs”列与“Re...
大数据
大数据调度平台Airflow（二）：Airflow架构及原理
目录 Airflow架构及原理一、Airflow架构二、Airflow术语三、Airflow工作原理 Airflow架构及原理一、Airflow架构 Airflow我们可以构建Workflow工作流，工作流使用DAG有向无环图来表示，DAG指定了任务之间的关系，如下图： Airflow架构图如下： &...

Lansonli
发表于2022-03-21 00:24:55
5066 0 0

5.0k 0 0

目录 Airflow架构及原理一、Airflow架构二、Airflow术语三、Airflow工作原理 Airflow架构及原理一、Airflow架构 Airflow我们可以构建Workflow工作流，工作流使用DAG有向无环图来表示，DAG指定了任务之间的关系，如下图： Airflow架构图如下： &...
任务调度大数据
大数据调度平台Airflow（一）：什么是Airflow
什么是Airflow Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项目。Airflow采用Python语言编写，提供可编...

Lansonli
发表于2022-03-20 00:00:19
3617 0 0

3.6k 0 0

什么是Airflow Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项目。Airflow采用Python语言编写，提供可编...
大数据
模块A：大数据平台搭建（容器环境）
文章目录一、环境说明二、在ubuntu节点上安装Docker（一）安装必要系统工具（二）安装GPG证书（三）写入软件源信息（四）更新apt源（五）查看Docker-CE全部版本（六）安装Dock...

howard2005
发表于2022-03-19 00:43:19
5955 0 0

5.9k 0 0

文章目录一、环境说明二、在ubuntu节点上安装Docker（一）安装必要系统工具（二）安装GPG证书（三）写入软件源信息（四）更新apt源（五）查看Docker-CE全部版本（六）安装Dock...
Docker 大数据应用平台ROMA
今天，我 22 岁了 ...
        哈咯，各位小伙伴们，大家好呀 ~ 我是梦想家 Alex！    &nbsp...

大数据梦想家
发表于2022-03-14 23:18:16
10243 0 0

10.2k 0 0

        哈咯，各位小伙伴们，大家好呀 ~ 我是梦想家 Alex！    &nbsp...
大数据
客快物流大数据项目(六十二)：主题及指标开发
目录主题及指标开发一、主题开发业务流程二、离线模块初始化 1、创建包结构 2、创建时间处理工具 3、定义主题宽表及指标结果表的表名 4、物流字典码表数据类型定义枚举类 5、封装公共接口主题及指标开发一、主题开发业务流程二、离...

Lansonli
发表于2022-03-12 00:38:29
3319 0 0

3.3k 0 0

目录主题及指标开发一、主题开发业务流程二、离线模块初始化 1、创建包结构 2、创建时间处理工具 3、定义主题宽表及指标结果表的表名 4、物流字典码表数据类型定义枚举类 5、封装公共接口主题及指标开发一、主题开发业务流程二、离...
大数据数据库智慧物流
客快物流大数据项目(六十)：将消费的kafka数据转换成bean对象
目录将消费的kafka数据转换成bean对象一、将OGG数据转换成bean对象二、将Canal数据转换成bean对象三、完整代码将消费的kafka数据转换成bean对象一、将OGG数据转换成bean对象实现步骤：消费kafka的 logistics Topic数据将消费到的数据转换...

Lansonli
发表于2022-03-09 23:21:57
5412 0 0

5.4k 0 0

目录将消费的kafka数据转换成bean对象一、将OGG数据转换成bean对象二、将Canal数据转换成bean对象三、完整代码将消费的kafka数据转换成bean对象一、将OGG数据转换成bean对象实现步骤：消费kafka的 logistics Topic数据将消费到的数据转换...
Kafka 大数据智慧物流
客快物流大数据项目(五十九)：定义解析kafka数据的Bean对象类
定义解析kafka数据的Bean对象类一、定义消费kafka字符串的Bean对象基类根据数据来源不同可以分为OGG数据和Canal数据，两者之间有相同的属性：table，因此将该属性作为公共属性进行提取，抽象成基类实现步骤：在公共模块的java目录下的 parser 包下创建 MessageBean ...

Lansonli
发表于2022-03-09 00:25:26
5204 0 1

5.2k 0 1

定义解析kafka数据的Bean对象类一、定义消费kafka字符串的Bean对象基类根据数据来源不同可以分为OGG数据和Canal数据，两者之间有相同的属性：table，因此将该属性作为公共属性进行提取，抽象成基类实现步骤：在公共模块的java目录下的 parser 包下创建 MessageBean ...
Kafka 大数据智慧物流
客快物流大数据项目(五十一)：数据库表分析
目录数据库表分析一、物流运输管理数据库表 1、揽件表（tbl_collect_package） 2、客户表（tbl_customer） 3、物流系统码表（tbl_codes） 4、快递单据表（tbl_express_bill） 5、快递包裹表（tbl_express_package） 6、客户地址表（t...

Lansonli
发表于2022-02-28 22:26:33
2977 0 0

2.9k 0 0

目录数据库表分析一、物流运输管理数据库表 1、揽件表（tbl_collect_package） 2、客户表（tbl_customer） 3、物流系统码表（tbl_codes） 4、快递单据表（tbl_express_bill） 5、快递包裹表（tbl_express_package） 6、客户地址表（t...
SQL 大数据数据库智慧物流
客快物流大数据项目(四十六)：Spark操作Kudu dataFrame操作kudu
Spark操作Kudu dataFrame操作kudu 一、DataFrameApi读取kudu表中的数据虽然我们可以通过上面显示的KuduContext执行大量操作，但我们还可以直接从默认数据源本身调用读/写API。要设置读取，我们需要为Kudu表指定选项，命名我们要读取的表以及为表提供服务的Kudu集群的Kudu主服务器列...

Lansonli
发表于2022-02-24 00:38:01
4637 0 0

4.6k 0 0

Spark操作Kudu dataFrame操作kudu 一、DataFrameApi读取kudu表中的数据虽然我们可以通过上面显示的KuduContext执行大量操作，但我们还可以直接从默认数据源本身调用读/写API。要设置读取，我们需要为Kudu表指定选项，命名我们要读取的表以及为表提供服务的Kudu集群的Kudu主服务器列...
spark 大数据智慧物流
Big Data
笔记《豌豆公主》的启示：敏感度区分高低贵贱。做事的分寸，说话的轻重，知行合一。敏感度区分平庸和伟大，响鼓不用重锤。付费就是捡便宜，凡是能用钱买来的时间就是便宜的。凡是能用时间换来的注意力...

ReCclay
发表于2022-02-22 01:51:41
1674 0 0

1.6k 0 0

笔记《豌豆公主》的启示：敏感度区分高低贵贱。做事的分寸，说话的轻重，知行合一。敏感度区分平庸和伟大，响鼓不用重锤。付费就是捡便宜，凡是能用钱买来的时间就是便宜的。凡是能用时间换来的注意力...
大数据
客快物流大数据项目(四十四)：Spark操作Kudu创建表
Spark操作Kudu创建表 Spark与KUDU集成支持： DDL操作（创建/删除）本地Kudu RDDNative Kudu数据源，用于DataFrame集成从kudu读取数据从Kudu执行插入/更新/ upsert /删除谓词下推Kudu和Spark SQL之间的模式映射到目前为止，我们已经听说过几个上下文，例如Spark...

Lansonli
发表于2022-02-22 00:02:58
4568 0 0

4.5k 0 0

Spark操作Kudu创建表 Spark与KUDU集成支持： DDL操作（创建/删除）本地Kudu RDDNative Kudu数据源，用于DataFrame集成从kudu读取数据从Kudu执行插入/更新/ upsert /删除谓词下推Kudu和Spark SQL之间的模式映射到目前为止，我们已经听说过几个上下文，例如Spark...
spark 大数据智慧物流
为什么需要推荐系统
文章目录一、提高流量利用率二、挖掘和匹配长尾需求三、提升用户体验四、技术积累推荐系统的作用可以从以下4个方面分析：一、提高流量利用率流量特点：稀缺性：获取流量是有成本的，...

野猪佩奇996
发表于2022-02-20 23:17:26
4553 0 0

4.5k 0 0

文章目录一、提高流量利用率二、挖掘和匹配长尾需求三、提升用户体验四、技术积累推荐系统的作用可以从以下4个方面分析：一、提高流量利用率流量特点：稀缺性：获取流量是有成本的，...
大数据推荐系统

上滑加载中

推荐直播

热门标签

Java Python 数据结构数据库 Linux 机器学习网络任务调度 MySQL JavaScript