- SQL作为目前最常用的数据处理语言,广泛应用于查询、跑批等场景。当数据量较大时,使用SQL(以及存储过程)经常会发生跑得很慢的情况,这就要去优化SQL。优化SQL有一些特定的套路,通常先要查看执行计划来定位SQL慢的原因,然后针对性改写来优化SQL,比如对于连续数值判断可以用between来替代in,select语句指明字段名称,用union all替代union,把exists改写成join等。 SQL作为目前最常用的数据处理语言,广泛应用于查询、跑批等场景。当数据量较大时,使用SQL(以及存储过程)经常会发生跑得很慢的情况,这就要去优化SQL。优化SQL有一些特定的套路,通常先要查看执行计划来定位SQL慢的原因,然后针对性改写来优化SQL,比如对于连续数值判断可以用between来替代in,select语句指明字段名称,用union all替代union,把exists改写成join等。
- theme: smartblue持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第12天,点击查看活动详情 实时读取流数据的步骤 原始数据实时ETL任务分析 Hive 将HDFS数据映射到Hive表需要指定的HDFS的目录回忆如何映射HDFS数据到Hive表中① 创建表 create external table maynor_src (…) row formate... theme: smartblue持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第12天,点击查看活动详情 实时读取流数据的步骤 原始数据实时ETL任务分析 Hive 将HDFS数据映射到Hive表需要指定的HDFS的目录回忆如何映射HDFS数据到Hive表中① 创建表 create external table maynor_src (…) row formate...
- theme: smartblue持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第10天,点击查看活动详情 1. 原始数据车辆指标即席查询l HBase作为处理实时海量数据的NOSQL数据库应用非常广泛,由于hbase列式存储特征,目前并不能直接使用sql操作hbase数据库,因此,有一种解决方案:phoenix+hbase实现sql操作hbase数据库,这种方案能... theme: smartblue持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第10天,点击查看活动详情 1. 原始数据车辆指标即席查询l HBase作为处理实时海量数据的NOSQL数据库应用非常广泛,由于hbase列式存储特征,目前并不能直接使用sql操作hbase数据库,因此,有一种解决方案:phoenix+hbase实现sql操作hbase数据库,这种方案能...
- 回顾在上一篇文章中,我们介绍了如何安装 Django,然后通过命令行创建一个 Django 项目和 Django 应用,并对项目结构中的文件进行了初步的解释,可能大家还有很多迷糊的地方。不过没关系,我认为慢慢通过练习可以加深我们对这些结构和文件的理解。今天,我们就能通过一个小小的练习–动手创建 Hello World 服务器,用到上一章中部分 Django 项目默认创建的文件,赶紧学起来吧... 回顾在上一篇文章中,我们介绍了如何安装 Django,然后通过命令行创建一个 Django 项目和 Django 应用,并对项目结构中的文件进行了初步的解释,可能大家还有很多迷糊的地方。不过没关系,我认为慢慢通过练习可以加深我们对这些结构和文件的理解。今天,我们就能通过一个小小的练习–动手创建 Hello World 服务器,用到上一章中部分 Django 项目默认创建的文件,赶紧学起来吧...
- 前言一般我们开发的单体项目中,都是一个前端,一个后端,一个数据库。但在实际的应用开发中,有时候,一个后端会同时用到多个数据库。这时候可能就会需要用到动态数据源。之前公司有一个类似的业务,这是一个数据处理的系统,后端会接收不同类型的数据,不同的数据,要根据不同的数据类型,存储查询到不同的数据库中,当时就是通过使用Spring动态数据源+aop进行实现的。 一、实现原理在spring动态数据源配... 前言一般我们开发的单体项目中,都是一个前端,一个后端,一个数据库。但在实际的应用开发中,有时候,一个后端会同时用到多个数据库。这时候可能就会需要用到动态数据源。之前公司有一个类似的业务,这是一个数据处理的系统,后端会接收不同类型的数据,不同的数据,要根据不同的数据类型,存储查询到不同的数据库中,当时就是通过使用Spring动态数据源+aop进行实现的。 一、实现原理在spring动态数据源配...
- 在学习MySQL的时候,你是否会为一大堆命令而头疼,常常会想不起来某个命令,就会感到烦躁。本文是博主对MySQL常用命令的总结,当你需要某些命令又想不起来时,可以来本文看一下,希望能帮到您。 在学习MySQL的时候,你是否会为一大堆命令而头疼,常常会想不起来某个命令,就会感到烦躁。本文是博主对MySQL常用命令的总结,当你需要某些命令又想不起来时,可以来本文看一下,希望能帮到您。
- 1. 查询说到查询,我们要回答两个问题:1.查询什么?2.从哪查询?我们可以使用 SQL 的 SELECT 子句来表达要查询什么。使用 FROM 子句来表达从哪查询。举个例子,我们要从数据库 order_manager 的 products 表中查询商品名称信息。在查询之前,我们首先来看下导航面板,现在 sys 数据库的字体是加粗的,这表明当前选中的数据库是 sys。而我们要从 order_... 1. 查询说到查询,我们要回答两个问题:1.查询什么?2.从哪查询?我们可以使用 SQL 的 SELECT 子句来表达要查询什么。使用 FROM 子句来表达从哪查询。举个例子,我们要从数据库 order_manager 的 products 表中查询商品名称信息。在查询之前,我们首先来看下导航面板,现在 sys 数据库的字体是加粗的,这表明当前选中的数据库是 sys。而我们要从 order_...
- 云数据库时代,数据库软件越来越成熟和智能,伴随着云计算、分布式技术的逐步落地,近十年来数据库的形态发生了很大变化,各类数据库不断涌现,数据库架构也随之演进。在云时代下,数据库有何“新解”?DBA的未来发展趋势如何?DBA的转型及出路在哪里?下面我们通过问答形式解答大家的一些疑惑。 云数据库时代,数据库软件越来越成熟和智能,伴随着云计算、分布式技术的逐步落地,近十年来数据库的形态发生了很大变化,各类数据库不断涌现,数据库架构也随之演进。在云时代下,数据库有何“新解”?DBA的未来发展趋势如何?DBA的转型及出路在哪里?下面我们通过问答形式解答大家的一些疑惑。
- 目录编程式事务控制相关对象PlatformTransactionManager平台事务管理TransactionDefinition事务定义事务的传播行为TransactionStatus事务状态 基于XML的声明式事务控制切点方法的事务参数的配置编程式事务控制相关对象编程式:即使用java的api书写代码声明式:使用配置去配置PlatformTransactionManager平台事务管... 目录编程式事务控制相关对象PlatformTransactionManager平台事务管理TransactionDefinition事务定义事务的传播行为TransactionStatus事务状态 基于XML的声明式事务控制切点方法的事务参数的配置编程式事务控制相关对象编程式:即使用java的api书写代码声明式:使用配置去配置PlatformTransactionManager平台事务管...
- 前言博主个人社区:开发与算法学习社区博主个人主页:Killing Vibe的博客欢迎大家加入,一起交流学习~~ 一、打开MySQL(能打开请跳过此步)第一种:安装完MySQL之后,MySQL提供大家的客户端程序第二种:通过命令行登录,win+R注意:第二种方法如果显示命令行找不到mysql是因为没有配置环境变量,我们去MySQL的安装路径下的bin目录找就行了,默认在如图所示路径下:修改一... 前言博主个人社区:开发与算法学习社区博主个人主页:Killing Vibe的博客欢迎大家加入,一起交流学习~~ 一、打开MySQL(能打开请跳过此步)第一种:安装完MySQL之后,MySQL提供大家的客户端程序第二种:通过命令行登录,win+R注意:第二种方法如果显示命令行找不到mysql是因为没有配置环境变量,我们去MySQL的安装路径下的bin目录找就行了,默认在如图所示路径下:修改一...
- SPL针对SQL的不足(更确切地说法是,离散数据集针对关系代数的各种缺陷)进行了革新。SPL重新定义了并扩展许多结构化数据中的运算,增加了离散性、强化了有序计算、实现了彻底的集合化、支持对象引用、提倡分步运算。 SPL针对SQL的不足(更确切地说法是,离散数据集针对关系代数的各种缺陷)进行了革新。SPL重新定义了并扩展许多结构化数据中的运算,增加了离散性、强化了有序计算、实现了彻底的集合化、支持对象引用、提倡分步运算。
- 本实训项目以云开发的云数据库为基础,制作一个简易的许愿墙,顾名思义“云数据库”就是把本项目中的愿望的数据全部存储在云端。 本实训项目以云开发的云数据库为基础,制作一个简易的许愿墙,顾名思义“云数据库”就是把本项目中的愿望的数据全部存储在云端。
- 前言虚竹哥今天又来分享干货啦,今天分享一个:大数据解决方案:解决T+0问题。 T+0问题T+0查询是指实时数据查询,数据查询统计时将涉及到最新产生的数据。在数据量不大时,T+0很容易完成,直接基于生产数据库查询就可以了。但是,当数据量积累到一定程度时,在生产库中进行大数据量的查询会消耗过多的数据库资源,严重时会影响交易业务,这就不能接受了,毕竟生产交易是更关键的任务。所以,我们常常会把大量... 前言虚竹哥今天又来分享干货啦,今天分享一个:大数据解决方案:解决T+0问题。 T+0问题T+0查询是指实时数据查询,数据查询统计时将涉及到最新产生的数据。在数据量不大时,T+0很容易完成,直接基于生产数据库查询就可以了。但是,当数据量积累到一定程度时,在生产库中进行大数据量的查询会消耗过多的数据库资源,严重时会影响交易业务,这就不能接受了,毕竟生产交易是更关键的任务。所以,我们常常会把大量...
- Android 数据存储数据可以存储在以下几个地方应用专属存储空间:存储仅供应用使用的文件,可以存储到内部存储卷中的专属目录或外部存储空间中的其他专属目录。使用内部存储空间中的目录保存其他应用不应访问的敏感信息。(内部存储卷其他应用不可访问, 外部存储空间在 storage/emulated/0/Android/data/包名 )共享存储:存储您的应用打算与其他应用共享的文件,包括媒体、文档... Android 数据存储数据可以存储在以下几个地方应用专属存储空间:存储仅供应用使用的文件,可以存储到内部存储卷中的专属目录或外部存储空间中的其他专属目录。使用内部存储空间中的目录保存其他应用不应访问的敏感信息。(内部存储卷其他应用不可访问, 外部存储空间在 storage/emulated/0/Android/data/包名 )共享存储:存储您的应用打算与其他应用共享的文件,包括媒体、文档...
- 《代码安全 第二篇》 《代码安全 第二篇》
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程:工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合,展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎,仓颉语言为载体,带给大家日常提效、趣味创新到极速量产的开发体验。
回顾中 -
一个AI团队帮你写代码:华为云码道Agent Space实战2026/06/25 周四 19:00-21:00
张翰文-华为云码道工程师/郭英旭-青软创新科技集团股份有限公司 软件架构师
本场直播聚焦华为云码道Agent Space两大模式:研发办公、代码开发,亲身体验从需求到代码的AI自动化能力。实操演示基于华为 CodeArts CLI,依托 OpenSpec 规格体系从零搭建业务项目。
回顾中
热门标签