- 1 前 言 eBay 智能营销部门致力于打造数据驱动的业务智能中台，以支持业务部门快速开展营销活动。目前在我们正在构建一个基于eBay站外营销的业务全渠道漏斗分析指标，涉及近十个营销渠道、数十张数据源表，每天处理的数据达到上百TB。由于业务复杂、数据源异构、指标计算逻辑频繁变更、数据体量巨大，如何快速完成数据处理开发... 1 前 言 eBay 智能营销部门致力于打造数据驱动的业务智能中台，以支持业务部门快速开展营销活动。目前在我们正在构建一个基于eBay站外营销的业务全渠道漏斗分析指标，涉及近十个营销渠道、数十张数据源表，每天处理的数据达到上百TB。由于业务复杂、数据源异构、指标计算逻辑频繁变更、数据体量巨大，如何快速完成数据处理开发...
- 来源：大数据老哥 全文共12336个字，建议收藏阅读 本文基本涵盖以下内容： Hive SQL 编译成MapReduce过程Hive 千亿级数据倾斜Hive执行计划Hive 底层执行架构 - Hive SQL 编译成MapReduce过程 - 编译 SQL ... 来源：大数据老哥 全文共12336个字，建议收藏阅读 本文基本涵盖以下内容： Hive SQL 编译成MapReduce过程Hive 千亿级数据倾斜Hive执行计划Hive 底层执行架构 - Hive SQL 编译成MapReduce过程 - 编译 SQL ...
- 作者: 西魏陶渊明 博客: https://blog.springlearn.cn/ 西魏陶渊明 莫笑少年江湖梦，谁不少年梦江湖 一、架构分析 Mybatis中Mapper一般只是一个... 作者: 西魏陶渊明 博客: https://blog.springlearn.cn/ 西魏陶渊明 莫笑少年江湖梦，谁不少年梦江湖 一、架构分析 Mybatis中Mapper一般只是一个...
- 数据血缘描述了数据的来源和去向，以及数据在多个处理过程中的转换。数据血缘是组织内使数据发挥价值的重要基础能力。本文从字节的数据链路概况开始，介绍了数据血缘在字节的应用场景，总体设计，数据模型以及衡量指标。 文 | 罗小亮、拾捌、大滨来自字节跳动数据平台开发套件团队 DataLeap 字节跳动数据链路介绍 为了明确问... 数据血缘描述了数据的来源和去向，以及数据在多个处理过程中的转换。数据血缘是组织内使数据发挥价值的重要基础能力。本文从字节的数据链路概况开始，介绍了数据血缘在字节的应用场景，总体设计，数据模型以及衡量指标。 文 | 罗小亮、拾捌、大滨来自字节跳动数据平台开发套件团队 DataLeap 字节跳动数据链路介绍 为了明确问...
- 大家好，我是小林。 我在上一篇文章提到，MySQL InnoDB 引擎的默认隔离级别虽然是「可重复读」，但是它很大程度上避免幻读现象（并不是完全解决了），解决的方案有两种： 针对快照读（普通 sele... 大家好，我是小林。 我在上一篇文章提到，MySQL InnoDB 引擎的默认隔离级别虽然是「可重复读」，但是它很大程度上避免幻读现象（并不是完全解决了），解决的方案有两种： 针对快照读（普通 sele...
- Linux环境下，一般都是使用vsql客户端连接vertica来执行命令的，下面就介绍一下vsql常用的命令有哪些。 导出数据 /opt/vertica/bin/vsql -U $usr -p 543... Linux环境下，一般都是使用vsql客户端连接vertica来执行命令的，下面就介绍一下vsql常用的命令有哪些。 导出数据 /opt/vertica/bin/vsql -U $usr -p 543...
- 全文共6100个字，建议阅读16分钟 本文目录 No1. 请谈一下 Hive 的特点No2. Hive 底层与数据库交互原理？No3. Hive 的 HSQL 转换为 MapReduce 的过程？No4. Hive 的两张表关联，使用 MapReduce 怎么实现？No5. 请说明 hive 中 Sort By，Order... 全文共6100个字，建议阅读16分钟 本文目录 No1. 请谈一下 Hive 的特点No2. Hive 底层与数据库交互原理？No3. Hive 的 HSQL 转换为 MapReduce 的过程？No4. Hive 的两张表关联，使用 MapReduce 怎么实现？No5. 请说明 hive 中 Sort By，Order...
- select lat,lng from gpsTable where (lat-34.12)*(lat-34.12)+(lng-113.123)*(lng-113.123)<=(0.01*5)*(0.01*5) 34.12,113.123是中心点的gps位置。5是公里数 select lat,lng from gpsTa... select lat,lng from gpsTable where (lat-34.12)*(lat-34.12)+(lng-113.123)*(lng-113.123)<=(0.01*5)*(0.01*5) 34.12,113.123是中心点的gps位置。5是公里数 select lat,lng from gpsTa...
- Apache Doris 近期宣传比较多，自己对MPP架构也很感兴趣，前段时间也看了官网文档和一些架构。从我目前了解到的内容来看，Doris适合大规模数据查询的场景，并不能完全取代Hive，以前的ETL数据处理任务也不适合全部迁移到Doris中。针对不同的查询使用场景Doris也分了数据模型，当然现在这几种模型不能完全满足用户需... Apache Doris 近期宣传比较多，自己对MPP架构也很感兴趣，前段时间也看了官网文档和一些架构。从我目前了解到的内容来看，Doris适合大规模数据查询的场景，并不能完全取代Hive，以前的ETL数据处理任务也不适合全部迁移到Doris中。针对不同的查询使用场景Doris也分了数据模型，当然现在这几种模型不能完全满足用户需...
- Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve '`abc`' given input columns: [该订单接单时效, city_name, first_auditor_id, 客户取消数, second_au... Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve '`abc`' given input columns: [该订单接单时效, city_name, first_auditor_id, 客户取消数, second_au...
- 1.Power script 语言里的事务处理对象怎么理解 PowerBuilder 程序与数据库之间传递信息的一个结构变量，共有15个成员.你可以详细列表它的所有成员看看它的组成,PB的应用程序会初始化一个全局的结构体变量,SQLCA,当然你也可以自定义一个自己的事务对象. 1 DB... 1.Power script 语言里的事务处理对象怎么理解 PowerBuilder 程序与数据库之间传递信息的一个结构变量，共有15个成员.你可以详细列表它的所有成员看看它的组成,PB的应用程序会初始化一个全局的结构体变量,SQLCA,当然你也可以自定义一个自己的事务对象. 1 DB...
- using System.Data.OleDb;using MySql.Data.MySqlClient;using System.Data;using System.Data.SqlClient; void LinkMySql() &nb... using System.Data.OleDb;using MySql.Data.MySqlClient;using System.Data;using System.Data.SqlClient; void LinkMySql() &nb...
- Mysql数据丢失分析 1.通过日志查找丢失原因 1.1.查看二进制日志文件 # 查看二进制日志是否打开及日志路径 show variables like 'log_bin%'; # 名词解释 lo... Mysql数据丢失分析 1.通过日志查找丢失原因 1.1.查看二进制日志文件 # 查看二进制日志是否打开及日志路径 show variables like 'log_bin%'; # 名词解释 lo...
- 文章目录 基础练习查询所有列查询多列查询结果去重查询结果限制返回行数将查询后的列重新命名查找学校是北大的学生信息查找后排序查找后多列排序查找后降序排列查找年龄大于24岁的用户信息查找某个年龄段的用... 文章目录 基础练习查询所有列查询多列查询结果去重查询结果限制返回行数将查询后的列重新命名查找学校是北大的学生信息查找后排序查找后多列排序查找后降序排列查找年龄大于24岁的用户信息查找某个年龄段的用...
- 很多开源技术都可以在Java下实现以数据库为核心的业务逻辑，其中JOOQ的计算能力比Hibernate强，可移植性比MyBatis强，受到越来越多的关注。esProc SPL是新晋的数据计算语言，同样在计... 很多开源技术都可以在Java下实现以数据库为核心的业务逻辑，其中JOOQ的计算能力比Hibernate强，可移植性比MyBatis强，受到越来越多的关注。esProc SPL是新晋的数据计算语言，同样在计...
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程：工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合，展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎，仓颉语言为载体，带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中 -
一个AI团队帮你写代码：华为云码道Agent Space实战2026/06/25 周四 19:00-21:00
张翰文-华为云码道工程师/郭英旭-青软创新科技集团股份有限公司 软件架构师
本场直播聚焦华为云码道Agent Space两大模式：研发办公、代码开发，亲身体验从需求到代码的AI自动化能力。实操演示基于华为 CodeArts CLI，依托 OpenSpec 规格体系从零搭建业务项目。
回顾中
热门标签