- 2.hive的基本概念 1.hive的概念 hive：是hadoop的一个数据仓库。提供了一个类sql的功能，通过写一个sql语句完成数据的分析。 将结构化的数据映射成一张表 结构化数据： 存有关系的数据（关系型数据库）、有一定规则的文本 半结构化数据：非关系模型的、有基本固定结构模式的数据，例如日志文件、XML文档、JSON文档、Email等。 非结构化数据：没有固定模式的... 2.hive的基本概念 1.hive的概念 hive：是hadoop的一个数据仓库。提供了一个类sql的功能，通过写一个sql语句完成数据的分析。 将结构化的数据映射成一张表 结构化数据： 存有关系的数据（关系型数据库）、有一定规则的文本 半结构化数据：非关系模型的、有基本固定结构模式的数据，例如日志文件、XML文档、JSON文档、Email等。 非结构化数据：没有固定模式的...
- Spark sql 的属性 ① 易整合: 可以通过sql开发对应的应用程序, 也可以使用java/scala/phython/R编写的API来开发 ② 统一的数据源访问: 可以使用相同的方式来连接到不同的数据源 // 即: sparkSession.read.文件格式(文件路径) ③ 兼容hive: 可以使用spark sql来操作hive sql ④ 标准的数据连接: sp... Spark sql 的属性 ① 易整合: 可以通过sql开发对应的应用程序, 也可以使用java/scala/phython/R编写的API来开发 ② 统一的数据源访问: 可以使用相同的方式来连接到不同的数据源 // 即: sparkSession.read.文件格式(文件路径) ③ 兼容hive: 可以使用spark sql来操作hive sql ④ 标准的数据连接: sp...
- Kylin 定义 Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口 及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能 在亚秒内查询巨大的 Hive 表 kylin是一个开源的分布式分析引擎， 提供hadoop的sql查询接口 提供spark上的查询接口 提供多维分析OLA... Kylin 定义 Apache Kylin 是一个开源的分布式分析引擎，提供 Hadoop/Spark 之上的 SQL 查询接口 及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能 在亚秒内查询巨大的 Hive 表 kylin是一个开源的分布式分析引擎， 提供hadoop的sql查询接口 提供spark上的查询接口 提供多维分析OLA...
- 最近新项目中用到PostgreSQL，运行测试导入表结构和数据是必须的，用navicat导入sql文件报错，之后查询了一下资料，得到了正确的导入方式： 1.命令行（cmd或powershell）进入PostgreSQL安装目录 cd \PostgreSQL\11\bin 1 2.执行语句psql -d ethgateway -U ethgateway -f D:\... 最近新项目中用到PostgreSQL，运行测试导入表结构和数据是必须的，用navicat导入sql文件报错，之后查询了一下资料，得到了正确的导入方式： 1.命令行（cmd或powershell）进入PostgreSQL安装目录 cd \PostgreSQL\11\bin 1 2.执行语句psql -d ethgateway -U ethgateway -f D:\...
- 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 9.2.7 mapperElement方法 9.2.7 mapperElement方法 mappers节点元素进行定义了SQL语句的映射关系（也就是配置SQL语句xml的路径）。可以有多种配... 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 9.2.7 mapperElement方法 9.2.7 mapperElement方法 mappers节点元素进行定义了SQL语句的映射关系（也就是配置SQL语句xml的路径）。可以有多种配...
- 关于sparksql Spark SQL是Spark中专门用来处理结构化数据（每一行数据都遵循Schema信息 —— 建表时表的字段及其 类型）的一个模块； 提供了 DataFrame/Dataset 的对分布式数据处理的基本抽象； 是一个分布式的 SQL 引擎。 关于hive 数据仓库，能使用 SQL 读取、写入和管理存在于分布式存储架构上的大数据集； 结构可以映射到已经存储... 关于sparksql Spark SQL是Spark中专门用来处理结构化数据（每一行数据都遵循Schema信息 —— 建表时表的字段及其 类型）的一个模块； 提供了 DataFrame/Dataset 的对分布式数据处理的基本抽象； 是一个分布式的 SQL 引擎。 关于hive 数据仓库，能使用 SQL 读取、写入和管理存在于分布式存储架构上的大数据集； 结构可以映射到已经存储...
- 算子调优一：mapPartitions 普通的 map 算子对 RDD 中的每一个元素进行操作，而 mapPartitions 算子对 RDD 中每一个分区进行操作。如果是普通的 map 算子，假设一个 partition 有 1 万条数据， 那么 map 算子中的 function 要执行 1 万次， 也就是对每个元素进行操作。 图 2-3 map 算子 imag... 算子调优一：mapPartitions 普通的 map 算子对 RDD 中的每一个元素进行操作，而 mapPartitions 算子对 RDD 中每一个分区进行操作。如果是普通的 map 算子，假设一个 partition 有 1 万条数据， 那么 map 算子中的 function 要执行 1 万次， 也就是对每个元素进行操作。 图 2-3 map 算子 imag...
- 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 9.4.2 带参数的增删改查方法 DefaultSqlSession类中带参数的增删改查方法 SqlSession增删改查外的方法 ResultHandler接口 9.4.2 带参... 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 9.4.2 带参数的增删改查方法 DefaultSqlSession类中带参数的增删改查方法 SqlSession增删改查外的方法 ResultHandler接口 9.4.2 带参...
- 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 11.4.1 高级结果映射 查询博客信息SQL 复杂对象模型的ResultMap resultMap元素的子元素说明 resultMap元素属性 11.4.1 高级结果映射 在有... 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 11.4.1 高级结果映射 查询博客信息SQL 复杂对象模型的ResultMap resultMap元素的子元素说明 resultMap元素属性 11.4.1 高级结果映射 在有...
- 文章目录 Why PerformanceMySQL PerformanceHow To Optimize MySQLSQL语句优化原理实践使用有问题的SQL分析执行计划优化实战 索引优化选择合适的列构建索引减少索引冗余维护索引 数据库表结构优化选择合适的数据类型范式化与反范式化Schema设计数据库的垂直拆分数据库的水平拆分 系统配置优化服务器系统配置优化MyS... 文章目录 Why PerformanceMySQL PerformanceHow To Optimize MySQLSQL语句优化原理实践使用有问题的SQL分析执行计划优化实战 索引优化选择合适的列构建索引减少索引冗余维护索引 数据库表结构优化选择合适的数据类型范式化与反范式化Schema设计数据库的垂直拆分数据库的水平拆分 系统配置优化服务器系统配置优化MyS...
- 结构化查询语言SQL概述 SQL(Structured Query Language) 是结构化查询语言的缩写。 SQL是在关系数据库上执行数据操作、检索及维护所使用的标准语言,可以用来查询数据，操纵数据，定义数据，控制数据，所有数据库都使用相同或者相似的语言。 SQL可分为: 数据定义语言（DDL） : Data Definition Language 数据操纵语... 结构化查询语言SQL概述 SQL(Structured Query Language) 是结构化查询语言的缩写。 SQL是在关系数据库上执行数据操作、检索及维护所使用的标准语言,可以用来查询数据，操纵数据，定义数据，控制数据，所有数据库都使用相同或者相似的语言。 SQL可分为: 数据定义语言（DDL） : Data Definition Language 数据操纵语...
- 最近在工作中会经常使用到Taskflow这个东西，看起来虽然不是很难，但是遇到各种重写的时候看起来还是有点烦的，这时候就必须来了解一下taskflow这样一个东西了。 声明： 请原谅我自己手工作的图！ TaskFlow是OpenStack开源的Python库，它帮助使任务执行变得简单、一致、可伸缩和可靠。它允许创建轻量级任务对象或函数，这些对象或函数以声明... 最近在工作中会经常使用到Taskflow这个东西，看起来虽然不是很难，但是遇到各种重写的时候看起来还是有点烦的，这时候就必须来了解一下taskflow这样一个东西了。 声明： 请原谅我自己手工作的图！ TaskFlow是OpenStack开源的Python库，它帮助使任务执行变得简单、一致、可伸缩和可靠。它允许创建轻量级任务对象或函数，这些对象或函数以声明...
- 第二天学习mybatis，发现框架的存在确实是省了我们很多时间，我们完全可以把一些操作简化，或者实现简单的封装提供我们使用。昨天是跟着教程云里雾里的实现了配置，今天再次使用就方便很多。 String resource="conf.xml"; //使用类加载mybatis驱动文件，（他也加载关联的附带文件） InputStream is=Test.class.... 第二天学习mybatis，发现框架的存在确实是省了我们很多时间，我们完全可以把一些操作简化，或者实现简单的封装提供我们使用。昨天是跟着教程云里雾里的实现了配置，今天再次使用就方便很多。 String resource="conf.xml"; //使用类加载mybatis驱动文件，（他也加载关联的附带文件） InputStream is=Test.class....
- 目录 1.数据库表设计 1.1秒杀商品表字段 1.2秒杀订单表字段 1.3秒杀商品详情表字段 1.4秒杀系统用户表字段 1.5秒杀商家表字段 1.6建表SQL语句 2.秒杀系统项目搭建 2.1新建maven项目 2.2添加WEB-INF和web.xml 2.3添加配置文件 2.4创建包结构 1.数据库表设计 1.1秒杀商品表字段 ... 目录 1.数据库表设计 1.1秒杀商品表字段 1.2秒杀订单表字段 1.3秒杀商品详情表字段 1.4秒杀系统用户表字段 1.5秒杀商家表字段 1.6建表SQL语句 2.秒杀系统项目搭建 2.1新建maven项目 2.2添加WEB-INF和web.xml 2.3添加配置文件 2.4创建包结构 1.数据库表设计 1.1秒杀商品表字段 ...
- 1、有3 个表,表结构如下： Student 学生表(学号，姓名，性别，年龄，组织部门) Course 课程表(编号，课程名称) Sc 选课表(学号，课程编号，成绩)。 写一个SQL 语句，查询选修了’计算机原理’的学生学号和姓名。 select student.sno, student.sname from student left join... 1、有3 个表,表结构如下： Student 学生表(学号，姓名，性别，年龄，组织部门) Course 课程表(编号，课程名称) Sc 选课表(学号，课程编号，成绩)。 写一个SQL 语句，查询选修了’计算机原理’的学生学号和姓名。 select student.sno, student.sname from student left join...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签