大数据_标签_开发者_华为云

博客(3.0k)
视频(24)
论坛(0)
云声(0)
代码示例(0)

大数据调度平台Airflow（六）：Airflow Operators及案例
目录 Airflow Operators及案例一、BashOperator及调度Shell命令及脚本二、SSHOperator及调度远程Shell脚本三、HiveOperator及调度HQL 四、PythonOperator Airflow Operators及案例 A...

Lansonli
发表于2022-03-27 22:47:03
6778 0 0

6.7k 0 0

目录 Airflow Operators及案例一、BashOperator及调度Shell命令及脚本二、SSHOperator及调度远程Shell脚本三、HiveOperator及调度HQL 四、PythonOperator Airflow Operators及案例 A...
Python 大数据
大数据ETL详解
ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。　　ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候也是从这三...

lxw1844912514
发表于2022-03-27 02:39:18
2469 0 1

2.4k 0 1

ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。　　ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候也是从这三...
大数据数据库
mysql大数据量分页查询优化总结
Mysql的分页查询十分简单，但是当数据量大的时候一般的分页就吃不消了。传统分页查询：SELECT c1,c2,cn… FROM table LIMIT n,m MySQL的limit工作原理就是先读取前面n条记录，然后抛弃前n条，读后面m条想要的，所以n越大，偏移量越大，性能就越差。 1）limit语句的查询时间与起始记...

lxw1844912514
发表于2022-03-27 00:15:26
3064 0 0

3.0k 0 0

Mysql的分页查询十分简单，但是当数据量大的时候一般的分页就吃不消了。传统分页查询：SELECT c1,c2,cn… FROM table LIMIT n,m MySQL的limit工作原理就是先读取前面n条记录，然后抛弃前n条，读后面m条想要的，所以n越大，偏移量越大，性能就越差。 1）limit语句的查询时间与起始记...
MySQL 大数据
大数据调度平台Airflow（五）：Airflow使用
目录 Airflow使用一、Airflow调度Shell命令 1.首先我们需要创建一个python文件，导入需要的类库 2.实例化DAG 3、定义Task 4、设置task依赖关系 5、上传python配置脚本 6、重启Airflow 7、执行airflow 二、DAG调度触发时间三、DAG catchup 参...

Lansonli
发表于2022-03-26 00:25:39
4968 0 0

4.9k 0 0

目录 Airflow使用一、Airflow调度Shell命令 1.首先我们需要创建一个python文件，导入需要的类库 2.实例化DAG 3、定义Task 4、设置task依赖关系 5、上传python配置脚本 6、重启Airflow 7、执行airflow 二、DAG调度触发时间三、DAG catchup 参...
http Python 大数据
大数据分析抖音养号是否有用？（抖音运营）
工欲善其事，必先利其器是说:工匠想要使他的工作做好，一定要先让工具锋利。比喻要做好一件事，准备工作非常重要。抖音养号是说以科学的方法涨粉丝！抖音运营相关文章：抖音运营学习文章目...

辰兮
发表于2022-03-23 00:49:45
2382 0 0

2.3k 0 0

工欲善其事，必先利其器是说:工匠想要使他的工作做好，一定要先让工具锋利。比喻要做好一件事，准备工作非常重要。抖音养号是说以科学的方法涨粉丝！抖音运营相关文章：抖音运营学习文章目...
大数据数据挖掘
大数据调度平台Airflow（四）：Airflow WebUI操作介绍
Airflow WebUI操作介绍一、DAG DAG有对应的id,其id全局唯一，DAG是airflow的核心概念，任务装载到DAG中，封装成任务依赖链条，DAG决定这些任务的执行规则。点击以上每个DAG对应的id可以直接进入对应“Graph View”视图，可以查看当前DAG任务执行顺序图。以上“Runs”列与“Re...

Lansonli
发表于2022-03-22 23:55:35
2925 0 0

2.9k 0 0

Airflow WebUI操作介绍一、DAG DAG有对应的id,其id全局唯一，DAG是airflow的核心概念，任务装载到DAG中，封装成任务依赖链条，DAG决定这些任务的执行规则。点击以上每个DAG对应的id可以直接进入对应“Graph View”视图，可以查看当前DAG任务执行顺序图。以上“Runs”列与“Re...
大数据
大数据调度平台Airflow（二）：Airflow架构及原理
目录 Airflow架构及原理一、Airflow架构二、Airflow术语三、Airflow工作原理 Airflow架构及原理一、Airflow架构 Airflow我们可以构建Workflow工作流，工作流使用DAG有向无环图来表示，DAG指定了任务之间的关系，如下图： Airflow架构图如下： &...

Lansonli
发表于2022-03-21 00:24:55
5365 0 0

5.3k 0 0

目录 Airflow架构及原理一、Airflow架构二、Airflow术语三、Airflow工作原理 Airflow架构及原理一、Airflow架构 Airflow我们可以构建Workflow工作流，工作流使用DAG有向无环图来表示，DAG指定了任务之间的关系，如下图： Airflow架构图如下： &...
任务调度大数据
大数据调度平台Airflow（一）：什么是Airflow
什么是Airflow Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项目。Airflow采用Python语言编写，提供可编...

Lansonli
发表于2022-03-20 00:00:19
3890 0 0

3.8k 0 0

什么是Airflow Apache Airflow是一个提供基于DAG有向无环图来编排工作流的、可视化的分布式任务调度平台，与Oozie、Azkaban等任务流调度平台类似。Airflow在2014年由Airbnb发起，2016年3月进入Apache基金会，在2019年1月成为顶级项目。Airflow采用Python语言编写，提供可编...
大数据
模块A：大数据平台搭建（容器环境）
文章目录一、环境说明二、在ubuntu节点上安装Docker（一）安装必要系统工具（二）安装GPG证书（三）写入软件源信息（四）更新apt源（五）查看Docker-CE全部版本（六）安装Dock...

howard2005
发表于2022-03-19 00:43:19
6131 0 0

6.1k 0 0

文章目录一、环境说明二、在ubuntu节点上安装Docker（一）安装必要系统工具（二）安装GPG证书（三）写入软件源信息（四）更新apt源（五）查看Docker-CE全部版本（六）安装Dock...
Docker 大数据应用平台ROMA
今天，我 22 岁了 ...
        哈咯，各位小伙伴们，大家好呀 ~ 我是梦想家 Alex！    &nbsp...

大数据梦想家
发表于2022-03-14 23:18:16
10386 0 0

10.3k 0 0

        哈咯，各位小伙伴们，大家好呀 ~ 我是梦想家 Alex！    &nbsp...
大数据
客快物流大数据项目(六十二)：主题及指标开发
目录主题及指标开发一、主题开发业务流程二、离线模块初始化 1、创建包结构 2、创建时间处理工具 3、定义主题宽表及指标结果表的表名 4、物流字典码表数据类型定义枚举类 5、封装公共接口主题及指标开发一、主题开发业务流程二、离...

Lansonli
发表于2022-03-12 00:38:29
3444 0 0

3.4k 0 0

目录主题及指标开发一、主题开发业务流程二、离线模块初始化 1、创建包结构 2、创建时间处理工具 3、定义主题宽表及指标结果表的表名 4、物流字典码表数据类型定义枚举类 5、封装公共接口主题及指标开发一、主题开发业务流程二、离...
大数据数据库智慧物流
客快物流大数据项目(六十)：将消费的kafka数据转换成bean对象
目录将消费的kafka数据转换成bean对象一、将OGG数据转换成bean对象二、将Canal数据转换成bean对象三、完整代码将消费的kafka数据转换成bean对象一、将OGG数据转换成bean对象实现步骤：消费kafka的 logistics Topic数据将消费到的数据转换...

Lansonli
发表于2022-03-09 23:21:57
5539 0 0

5.5k 0 0

目录将消费的kafka数据转换成bean对象一、将OGG数据转换成bean对象二、将Canal数据转换成bean对象三、完整代码将消费的kafka数据转换成bean对象一、将OGG数据转换成bean对象实现步骤：消费kafka的 logistics Topic数据将消费到的数据转换...
Kafka 大数据智慧物流
客快物流大数据项目(五十九)：定义解析kafka数据的Bean对象类
定义解析kafka数据的Bean对象类一、定义消费kafka字符串的Bean对象基类根据数据来源不同可以分为OGG数据和Canal数据，两者之间有相同的属性：table，因此将该属性作为公共属性进行提取，抽象成基类实现步骤：在公共模块的java目录下的 parser 包下创建 MessageBean ...

Lansonli
发表于2022-03-09 00:25:26
5319 0 1

5.3k 0 1

定义解析kafka数据的Bean对象类一、定义消费kafka字符串的Bean对象基类根据数据来源不同可以分为OGG数据和Canal数据，两者之间有相同的属性：table，因此将该属性作为公共属性进行提取，抽象成基类实现步骤：在公共模块的java目录下的 parser 包下创建 MessageBean ...
Kafka 大数据智慧物流
客快物流大数据项目(五十一)：数据库表分析
目录数据库表分析一、物流运输管理数据库表 1、揽件表（tbl_collect_package） 2、客户表（tbl_customer） 3、物流系统码表（tbl_codes） 4、快递单据表（tbl_express_bill） 5、快递包裹表（tbl_express_package） 6、客户地址表（t...

Lansonli
发表于2022-02-28 22:26:33
3134 0 0

3.1k 0 0

目录数据库表分析一、物流运输管理数据库表 1、揽件表（tbl_collect_package） 2、客户表（tbl_customer） 3、物流系统码表（tbl_codes） 4、快递单据表（tbl_express_bill） 5、快递包裹表（tbl_express_package） 6、客户地址表（t...
SQL 大数据数据库智慧物流
客快物流大数据项目(四十六)：Spark操作Kudu dataFrame操作kudu
Spark操作Kudu dataFrame操作kudu 一、DataFrameApi读取kudu表中的数据虽然我们可以通过上面显示的KuduContext执行大量操作，但我们还可以直接从默认数据源本身调用读/写API。要设置读取，我们需要为Kudu表指定选项，命名我们要读取的表以及为表提供服务的Kudu集群的Kudu主服务器列...

Lansonli
发表于2022-02-24 00:38:01
4767 0 0

4.7k 0 0

Spark操作Kudu dataFrame操作kudu 一、DataFrameApi读取kudu表中的数据虽然我们可以通过上面显示的KuduContext执行大量操作，但我们还可以直接从默认数据源本身调用读/写API。要设置读取，我们需要为Kudu表指定选项，命名我们要读取的表以及为表提供服务的Kudu集群的Kudu主服务器列...
spark 大数据智慧物流

上滑加载中

推荐直播

热门标签

Java Python 数据结构数据库 Linux 机器学习网络任务调度 MySQL JavaScript