- 目录 将消费的kafka数据转换成bean对象 一、将OGG数据转换成bean对象 二、将Canal数据转换成bean对象 三、完整代码 将消费的kafka数据转换成bean对象 一、将OGG数据转换成bean对象 实现步骤： 消费kafka的 logistics Topic数据将消费到的数据转换... 目录 将消费的kafka数据转换成bean对象 一、将OGG数据转换成bean对象 二、将Canal数据转换成bean对象 三、完整代码 将消费的kafka数据转换成bean对象 一、将OGG数据转换成bean对象 实现步骤： 消费kafka的 logistics Topic数据将消费到的数据转换...
- 定义解析kafka数据的Bean对象类 一、定义消费kafka字符串的Bean对象基类 根据数据来源不同可以分为OGG数据和Canal数据，两者之间有相同的属性：table，因此将该属性作为公共属性进行提取，抽象成基类 实现步骤： 在公共模块的java目录下的 parser 包下创建 MessageBean ... 定义解析kafka数据的Bean对象类 一、定义消费kafka字符串的Bean对象基类 根据数据来源不同可以分为OGG数据和Canal数据，两者之间有相同的属性：table，因此将该属性作为公共属性进行提取，抽象成基类 实现步骤： 在公共模块的java目录下的 parser 包下创建 MessageBean ...
- 目录 数据库表分析 一、物流运输管理数据库表 1、揽件表（tbl_collect_package） 2、客户表（tbl_customer） 3、物流系统码表（tbl_codes） 4、快递单据表（tbl_express_bill） 5、快递包裹表（tbl_express_package） 6、客户地址表（t... 目录 数据库表分析 一、物流运输管理数据库表 1、揽件表（tbl_collect_package） 2、客户表（tbl_customer） 3、物流系统码表（tbl_codes） 4、快递单据表（tbl_express_bill） 5、快递包裹表（tbl_express_package） 6、客户地址表（t...
- Spark操作Kudu dataFrame操作kudu 一、DataFrameApi读取kudu表中的数据 虽然我们可以通过上面显示的KuduContext执行大量操作，但我们还可以直接从默认数据源本身调用读/写API。要设置读取，我们需要为Kudu表指定选项，命名我们要读取的表以及为表提供服务的Kudu集群的Kudu主服务器列... Spark操作Kudu dataFrame操作kudu 一、DataFrameApi读取kudu表中的数据 虽然我们可以通过上面显示的KuduContext执行大量操作，但我们还可以直接从默认数据源本身调用读/写API。要设置读取，我们需要为Kudu表指定选项，命名我们要读取的表以及为表提供服务的Kudu集群的Kudu主服务器列...
- Spark操作Kudu创建表 Spark与KUDU集成支持： DDL操作（创建/删除）本地Kudu RDDNative Kudu数据源，用于DataFrame集成从kudu读取数据从Kudu执行插入/更新/ upsert /删除谓词下推Kudu和Spark SQL之间的模式映射到目前为止，我们已经听说过几个上下文，例如Spark... Spark操作Kudu创建表 Spark与KUDU集成支持： DDL操作（创建/删除）本地Kudu RDDNative Kudu数据源，用于DataFrame集成从kudu读取数据从Kudu执行插入/更新/ upsert /删除谓词下推Kudu和Spark SQL之间的模式映射到目前为止，我们已经听说过几个上下文，例如Spark...
- 目录 Java代码操作Kudu 一、构建maven工程 二、导入依赖 三、创建包结构 四、初始化方法 五、创建表 六、插入数据 七、查询数据 八、修改数据 九、删除数据 十、修改表 十一、删除表 ... 目录 Java代码操作Kudu 一、构建maven工程 二、导入依赖 三、创建包结构 四、初始化方法 五、创建表 六、插入数据 七、查询数据 八、修改数据 九、删除数据 十、修改表 十一、删除表 ...
- 目录 Kudu入门介绍 一、背景介绍 二、新的硬件设备 三、Kudu是什么 四、Kudu的应用场景 五、Kudu架构 Kudu入门介绍 一、背景介绍 在Kudu之前，大数据主要以两种方式存储； 静态数据： 以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析... 目录 Kudu入门介绍 一、背景介绍 二、新的硬件设备 三、Kudu是什么 四、Kudu的应用场景 五、Kudu架构 Kudu入门介绍 一、背景介绍 在Kudu之前，大数据主要以两种方式存储； 静态数据： 以 HDFS 引擎作为存储引擎，适用于高吞吐量的离线大数据分析...
- 目录 ETL实现方案 一、ETL处理流程图 二、为什么使用Kudu作为存储介质 ETL实现方案 一、ETL处理流程图 数据来源： 来自于ogg同步到kafka的物流运输数据来自于canal同步到kafka的客户关系数据 二、为什么使用Kudu作为存储介质 数据库数据上的快速分析 目前很多业务使用事... 目录 ETL实现方案 一、ETL处理流程图 二、为什么使用Kudu作为存储介质 ETL实现方案 一、ETL处理流程图 数据来源： 来自于ogg同步到kafka的物流运输数据来自于canal同步到kafka的客户关系数据 二、为什么使用Kudu作为存储介质 数据库数据上的快速分析 目前很多业务使用事...
- 目录 Hue安装 一、Hue概述 二、HUE安装步骤 Hue安装 一、Hue概述 Hue来源 HUE=Hadoop User Experience（Hadoop用户体验），直白来说就一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公... 目录 Hue安装 一、Hue概述 二、HUE安装步骤 Hue安装 一、Hue概述 Hue来源 HUE=Hadoop User Experience（Hadoop用户体验），直白来说就一个开源的Apache Hadoop UI系统，由Cloudera Desktop演化而来，最后Cloudera公...
- 目录 安装Azkaban-3.71.0 一、下载Azkaban源码并编译 二、安装Azkaban 三、测试Azkaban的job 安装Azkaban-3.71.0 一、下载Azkaban源码并编译 操作步骤 说明 1 下载Azkaban-3.71.0 cd /export/so... 目录 安装Azkaban-3.71.0 一、下载Azkaban源码并编译 二、安装Azkaban 三、测试Azkaban的job 安装Azkaban-3.71.0 一、下载Azkaban源码并编译 操作步骤 说明 1 下载Azkaban-3.71.0 cd /export/so...
- 目录 安装ElasticSearch-7.6.1 一、配置ES 二、操作系统配置 三、运行ES 安装ElasticSearch-7.6.1 一、配置ES 操作步骤 说明 1 进入软件包所在目录 cd /export/softwares 2 下载ES-7.6.1 curl -L -O http... 目录 安装ElasticSearch-7.6.1 一、配置ES 二、操作系统配置 三、运行ES 安装ElasticSearch-7.6.1 一、配置ES 操作步骤 说明 1 进入软件包所在目录 cd /export/softwares 2 下载ES-7.6.1 curl -L -O http...
- 目录 CDH使用注意 一、HDFS使用前配置 二、Kafka使用前配置 CDH使用注意 一、HDFS使用前配置 默认情况下，CDH的HDFS服务是开启权限检查的，为方便使用HDFS，需先将HDFS的dfs.permissions选项取消选中，保存后重启HDFS服务。最终的配置如下： 二... 目录 CDH使用注意 一、HDFS使用前配置 二、Kafka使用前配置 CDH使用注意 一、HDFS使用前配置 默认情况下，CDH的HDFS服务是开启权限检查的，为方便使用HDFS，需先将HDFS的dfs.permissions选项取消选中，保存后重启HDFS服务。最终的配置如下： 二...
- 目录 大数据服务器环境准备 一、服务器规划 二、Linux虚拟机环境搭建 1、虚拟机准备 2、SSH免密登录 3、关闭SELINUX 大数据服务器环境准备 一、服务器规划 服务器 主机名 操作系统/版本 IP 内存 硬盘 大数据服务器 node2 Cento... 目录 大数据服务器环境准备 一、服务器规划 二、Linux虚拟机环境搭建 1、虚拟机准备 2、SSH免密登录 3、关闭SELINUX 大数据服务器环境准备 一、服务器规划 服务器 主机名 操作系统/版本 IP 内存 硬盘 大数据服务器 node2 Cento...
- 目录 Cloudera Manager简单介绍 一、cloudera manager的概念 二、cloudera manager的功能 三、cloudera manager的架构 Cloudera Manager简单介绍 一、cloudera manager的概念 Cloudera Manager是一个拥有... 目录 Cloudera Manager简单介绍 一、cloudera manager的概念 二、cloudera manager的功能 三、cloudera manager的架构 Cloudera Manager简单介绍 一、cloudera manager的概念 Cloudera Manager是一个拥有...
- 目录 OGG安装部署 一、配置Oracle11gR2数据库 1、Oracle11gR2打开归档模式 2、Oracle开启辅助日志和补充日志 二、安装OGG源端 1、解压和安装OGG源端软件包 2、在Oracle中创建OGG相关的用户和表空间 3、OGG源端初始化 三、配置OGG源端 1、Oracle创建测试表 2、... 目录 OGG安装部署 一、配置Oracle11gR2数据库 1、Oracle11gR2打开归档模式 2、Oracle开启辅助日志和补充日志 二、安装OGG源端 1、解压和安装OGG源端软件包 2、在Oracle中创建OGG相关的用户和表空间 3、OGG源端初始化 三、配置OGG源端 1、Oracle创建测试表 2、...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签