- 定义解析kafka数据的Bean对象类 一、定义消费kafka字符串的Bean对象基类 根据数据来源不同可以分为OGG数据和Canal数据，两者之间有相同的属性：table，因此将该属性作为公共属性进行提取，抽象成基类 实现步骤： 在公共模块的java目录下的 parser 包下创建 MessageBean ... 定义解析kafka数据的Bean对象类 一、定义消费kafka字符串的Bean对象基类 根据数据来源不同可以分为OGG数据和Canal数据，两者之间有相同的属性：table，因此将该属性作为公共属性进行提取，抽象成基类 实现步骤： 在公共模块的java目录下的 parser 包下创建 MessageBean ...
- 目录 数据库表分析 一、物流运输管理数据库表 1、揽件表（tbl_collect_package） 2、客户表（tbl_customer） 3、物流系统码表（tbl_codes） 4、快递单据表（tbl_express_bill） 5、快递包裹表（tbl_express_package） 6、客户地址表（t... 目录 数据库表分析 一、物流运输管理数据库表 1、揽件表（tbl_collect_package） 2、客户表（tbl_customer） 3、物流系统码表（tbl_codes） 4、快递单据表（tbl_express_bill） 5、快递包裹表（tbl_express_package） 6、客户地址表（t...
- Spark操作Kudu dataFrame操作kudu 一、DataFrameApi读取kudu表中的数据 虽然我们可以通过上面显示的KuduContext执行大量操作，但我们还可以直接从默认数据源本身调用读/写API。要设置读取，我们需要为Kudu表指定选项，命名我们要读取的表以及为表提供服务的Kudu集群的Kudu主服务器列... Spark操作Kudu dataFrame操作kudu 一、DataFrameApi读取kudu表中的数据 虽然我们可以通过上面显示的KuduContext执行大量操作，但我们还可以直接从默认数据源本身调用读/写API。要设置读取，我们需要为Kudu表指定选项，命名我们要读取的表以及为表提供服务的Kudu集群的Kudu主服务器列...
- Spark操作Kudu创建表 Spark与KUDU集成支持： DDL操作（创建/删除）本地Kudu RDDNative Kudu数据源，用于DataFrame集成从kudu读取数据从Kudu执行插入/更新/ upsert /删除谓词下推Kudu和Spark SQL之间的模式映射到目前为止，我们已经听说过几个上下文，例如Spark... Spark操作Kudu创建表 Spark与KUDU集成支持： DDL操作（创建/删除）本地Kudu RDDNative Kudu数据源，用于DataFrame集成从kudu读取数据从Kudu执行插入/更新/ upsert /删除谓词下推Kudu和Spark SQL之间的模式映射到目前为止，我们已经听说过几个上下文，例如Spark...
- 目录 Java代码操作Kudu 一、构建maven工程 二、导入依赖 三、创建包结构 四、初始化方法 五、创建表 六、插入数据 七、查询数据 八、修改数据 九、删除数据 十、修改表 十一、删除表 ... 目录 Java代码操作Kudu 一、构建maven工程 二、导入依赖 三、创建包结构 四、初始化方法 五、创建表 六、插入数据 七、查询数据 八、修改数据 九、删除数据 十、修改表 十一、删除表 ...
- 目录 Kudu入门介绍 一、背景介绍 二、新的硬件设备 三、Kudu是什么 四、Kudu的应用场景 五、Kudu架构 Kudu入门介绍 一、背景介绍 在Kudu之前，大数据主要以两种方式存储； 静态数据： 以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析... 目录 Kudu入门介绍 一、背景介绍 二、新的硬件设备 三、Kudu是什么 四、Kudu的应用场景 五、Kudu架构 Kudu入门介绍 一、背景介绍 在Kudu之前，大数据主要以两种方式存储； 静态数据： 以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析...
- 目录 ETL实现方案 一、ETL处理流程图 二、为什么使用Kudu作为存储介质 ETL实现方案 一、ETL处理流程图 数据来源： 来自于ogg同步到kafka的物流运输数据来自于canal同步到kafka的客户关系数据 二、为什么使用Kudu作为存储介质 数据库数据上的快速分析 目前很多业务使用事... 目录 ETL实现方案 一、ETL处理流程图 二、为什么使用Kudu作为存储介质 ETL实现方案 一、ETL处理流程图 数据来源： 来自于ogg同步到kafka的物流运输数据来自于canal同步到kafka的客户关系数据 二、为什么使用Kudu作为存储介质 数据库数据上的快速分析 目前很多业务使用事...
- 目录 Hue安装 一、Hue概述 二、HUE安装步骤 Hue安装 一、Hue概述 Hue来源 HUE=Hadoop User Experience（Hadoop用户体验），直白来说就一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公... 目录 Hue安装 一、Hue概述 二、HUE安装步骤 Hue安装 一、Hue概述 Hue来源 HUE=Hadoop User Experience（Hadoop用户体验），直白来说就一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公...
- 目录 安装Azkaban-3.71.0 一、下载Azkaban源码并编译 二、安装Azkaban 三、测试Azkaban的job 安装Azkaban-3.71.0 一、下载Azkaban源码并编译 操作步骤 说明 1 下载Azkaban-3.71.0 cd /export/so... 目录 安装Azkaban-3.71.0 一、下载Azkaban源码并编译 二、安装Azkaban 三、测试Azkaban的job 安装Azkaban-3.71.0 一、下载Azkaban源码并编译 操作步骤 说明 1 下载Azkaban-3.71.0 cd /export/so...
- 目录 安装ElasticSearch-7.6.1 一、配置ES 二、操作系统配置 三、运行ES 安装ElasticSearch-7.6.1 一、配置ES 操作步骤 说明 1 进入软件包所在目录 cd /export/softwares 2 下载ES-7.6.1 curl -L -O http... 目录 安装ElasticSearch-7.6.1 一、配置ES 二、操作系统配置 三、运行ES 安装ElasticSearch-7.6.1 一、配置ES 操作步骤 说明 1 进入软件包所在目录 cd /export/softwares 2 下载ES-7.6.1 curl -L -O http...
- 目录 CDH使用注意 一、HDFS使用前配置 二、Kafka使用前配置 CDH使用注意 一、HDFS使用前配置 默认情况下，CDH的HDFS服务是开启权限检查的，为方便使用HDFS，需先将HDFS的dfs.permissions选项取消选中，保存后重启HDFS服务。最终的配置如下： 二... 目录 CDH使用注意 一、HDFS使用前配置 二、Kafka使用前配置 CDH使用注意 一、HDFS使用前配置 默认情况下，CDH的HDFS服务是开启权限检查的，为方便使用HDFS，需先将HDFS的dfs.permissions选项取消选中，保存后重启HDFS服务。最终的配置如下： 二...
- 目录 大数据服务器环境准备 一、服务器规划 二、Linux虚拟机环境搭建 1、虚拟机准备 2、SSH免密登录 3、关闭SELINUX 大数据服务器环境准备 一、服务器规划 服务器 主机名 操作系统/版本 IP 内存 硬盘 大数据服务器 node2 Cento... 目录 大数据服务器环境准备 一、服务器规划 二、Linux虚拟机环境搭建 1、虚拟机准备 2、SSH免密登录 3、关闭SELINUX 大数据服务器环境准备 一、服务器规划 服务器 主机名 操作系统/版本 IP 内存 硬盘 大数据服务器 node2 Cento...
- 目录 Cloudera Manager简单介绍 一、cloudera manager的概念 二、cloudera manager的功能 三、cloudera manager的架构 Cloudera Manager简单介绍 一、cloudera manager的概念 Cloudera Manager是一个拥有... 目录 Cloudera Manager简单介绍 一、cloudera manager的概念 二、cloudera manager的功能 三、cloudera manager的架构 Cloudera Manager简单介绍 一、cloudera manager的概念 Cloudera Manager是一个拥有...
- 目录 OGG安装部署 一、配置Oracle11gR2数据库 1、Oracle11gR2打开归档模式 2、Oracle开启辅助日志和补充日志 二、安装OGG源端 1、解压和安装OGG源端软件包 2、在Oracle中创建OGG相关的用户和表空间 3、OGG源端初始化 三、配置OGG源端 1、Oracle创建测试表 2、... 目录 OGG安装部署 一、配置Oracle11gR2数据库 1、Oracle11gR2打开归档模式 2、Oracle开启辅助日志和补充日志 二、安装OGG源端 1、解压和安装OGG源端软件包 2、在Oracle中创建OGG相关的用户和表空间 3、OGG源端初始化 三、配置OGG源端 1、Oracle创建测试表 2、...
- 目录 OGG介绍 一、OGG简介 二、应用场景 三、基本原理 四、基本架构 五、常用的拓扑结构 六、支持的环境 OGG介绍 一、OGG简介 OGG 是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增删改变化（数... 目录 OGG介绍 一、OGG简介 二、应用场景 三、基本原理 四、基本架构 五、常用的拓扑结构 六、支持的环境 OGG介绍 一、OGG简介 OGG 是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增删改变化（数...
上滑加载中
推荐直播
-
用码道，让你的AI作品三步上朋友圈2026/08/04 周二 19:00-20:00
林华鼎-华为云AI开发者运营负责人
从入门 · 到做AI应用 · 到企业级开发。不教编程，只教用AI · 零代码、有产出、能带走、可炫耀 · 每课人人动手实操
回顾中 -
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
基于华为云码道，构建你的定制化AI搭子2026/08/14 周五 09:00-11:30
明亮-华为云开发者发展与支持部部长
本期直播将向您全面介绍华为云码道产品，并基于码道手把手教你部署自己的定制化AI陪伴搭子。
回顾中
热门标签