- JavaPairRDD的aggregateByKey方法讲解 官方文档说明Aggregate the values of each key, using given combine functions and a neutral"zero value". This function can return a different result type, U, than the type o... JavaPairRDD的aggregateByKey方法讲解 官方文档说明Aggregate the values of each key, using given combine functions and a neutral"zero value". This function can return a different result type, U, than the type o...
- Kafka多线程消费理解 Kafka Java Consumer设计Kafka Java Consumer采用的是单线程的设计。其入口类KafkaConsumer是一个双线程的设计，即用户主线程和心跳线程。用户主线程，指的是启动Consumer应用程序main方法的线程，心跳线程（Heartbeat Thread）只负责定期给对应的Broker机器发送心跳请求，以表示消费者应用的存活性。官... Kafka多线程消费理解 Kafka Java Consumer设计Kafka Java Consumer采用的是单线程的设计。其入口类KafkaConsumer是一个双线程的设计，即用户主线程和心跳线程。用户主线程，指的是启动Consumer应用程序main方法的线程，心跳线程（Heartbeat Thread）只负责定期给对应的Broker机器发送心跳请求，以表示消费者应用的存活性。官...
- 1. SparkSql 高并发读取数据库SparkSql连接数据库读取数据给了三个API：//Construct a DataFrame representing the database table accessible via JDBC URL url named table and connection properties.Dataset<Row> jdbc(String url... 1. SparkSql 高并发读取数据库SparkSql连接数据库读取数据给了三个API：//Construct a DataFrame representing the database table accessible via JDBC URL url named table and connection properties.Dataset<Row> jdbc(String url...
- 前言某段时间碰到了中转文件的需求，需要使用HttpClient中转一下文件，过程为：在实现这个需求的过程中就用得到了MultipartFile与File，而且我对前一个也不是很熟悉。记录一下 什么是MultipartFileMultipartFile是spring类型，代表HTML中form data方式上传的文件，包含二进制数据+文件名称。【来自百度知道】 MultipartFile 与... 前言某段时间碰到了中转文件的需求，需要使用HttpClient中转一下文件，过程为：在实现这个需求的过程中就用得到了MultipartFile与File，而且我对前一个也不是很熟悉。记录一下 什么是MultipartFileMultipartFile是spring类型，代表HTML中form data方式上传的文件，包含二进制数据+文件名称。【来自百度知道】 MultipartFile 与...
- 首先回顾一下memoryStore是做什么的。他主要是将没有序列化的java对象数组或者序列化的byteBuffer放到内存中。 首先回顾一下memoryStore是做什么的。他主要是将没有序列化的java对象数组或者序列化的byteBuffer放到内存中。
- TCP的拥塞避免等机制对于初学者来说还是比较复杂的，工作中如果开发时偏应用层，则也大部分摸不到这个机制，感受也就没那么深了。 这里就从抛去死记硬背的那堆概念，用6个连续的问题来学习这个机制，注意看的时候先自己思考一下如果是自己，会怎么设计，再去看实际的TCP设计，来理解它的精妙之处。 TCP的拥塞避免等机制对于初学者来说还是比较复杂的，工作中如果开发时偏应用层，则也大部分摸不到这个机制，感受也就没那么深了。 这里就从抛去死记硬背的那堆概念，用6个连续的问题来学习这个机制，注意看的时候先自己思考一下如果是自己，会怎么设计，再去看实际的TCP设计，来理解它的精妙之处。
- mysql执行查询的过程客户端先发送查询语句给服务器服务器检查缓存，如果存在则返回进行sql解析，生成解析树，再预处理，生成第二个解析树，最后再经过优化器，生成真正的执行计划根据执行计划，调用存储引擎的API来执行查询将结果返回给客户端。 一、客户端到服务端之间的原理客户端和服务端之间是半双工的， 即一个通道内只能一个在发一个接收， 不能同时互相发互相接收客户端只会发送一个数据包给服务端，... mysql执行查询的过程客户端先发送查询语句给服务器服务器检查缓存，如果存在则返回进行sql解析，生成解析树，再预处理，生成第二个解析树，最后再经过优化器，生成真正的执行计划根据执行计划，调用存储引擎的API来执行查询将结果返回给客户端。 一、客户端到服务端之间的原理客户端和服务端之间是半双工的， 即一个通道内只能一个在发一个接收， 不能同时互相发互相接收客户端只会发送一个数据包给服务端，...
- 9月23日至25日，华为全联接2021以“深耕数字化”为主题，各行业领军人物分享最新成果与实践。其中在“华为云FusionInsight智能数据湖打造千行百业数据底座”专题演讲中，华为云FusionInsight技术专家陈祥，发表“华为云FusionInsight智能数据湖版本新能力解读”演讲。 9月23日至25日，华为全联接2021以“深耕数字化”为主题，各行业领军人物分享最新成果与实践。其中在“华为云FusionInsight智能数据湖打造千行百业数据底座”专题演讲中，华为云FusionInsight技术专家陈祥，发表“华为云FusionInsight智能数据湖版本新能力解读”演讲。
- 本文主要解析介绍Hive虚拟列BLOCK__OFFSET__INSIDE__FILE相关源码 本文主要解析介绍Hive虚拟列BLOCK__OFFSET__INSIDE__FILE相关源码
- 文本主要解析Hive添加UDF的源码流程 文本主要解析Hive添加UDF的源码流程
- 联邦计算场景随着MPC、隐私计算等概念的流行， 诸多政府机构、金融企业开始考虑参与到多方计算的场景中， 扩展数据的应用价值。以下面这个场景为例， 银行可能希望获取水电局和自己银行内储户的数据，来综合计算得到各公司的信贷评分等级。那么银行可能希望执行如下sql，来得到信贷评分。select 0.5*c.资助金额*0.3+0.4*a.贴息金额*0.3+0.2*a.标的金额*0.3+(0.05... 联邦计算场景随着MPC、隐私计算等概念的流行， 诸多政府机构、金融企业开始考虑参与到多方计算的场景中， 扩展数据的应用价值。以下面这个场景为例， 银行可能希望获取水电局和自己银行内储户的数据，来综合计算得到各公司的信贷评分等级。那么银行可能希望执行如下sql，来得到信贷评分。select 0.5*c.资助金额*0.3+0.4*a.贴息金额*0.3+0.2*a.标的金额*0.3+(0.05...
- 基于CarbonData的电信时空大数据探索-- 张军、龚云骏1 使用场景随着万物互联的时代到来，以及智慧终端普及，现实世界超过80%的数据与地理位置相关，比如日常使用的社交、支付、出行相关APP。作为IOT最底层的无线通信网络也会生成大量与位置相关的数据，用于无线通信网络规划和优化，帮助电信运营商建设更好体验的精品网络，构建万物互联的信息社会。为表征无线网络相关指标在地理空... 基于CarbonData的电信时空大数据探索-- 张军、龚云骏1 使用场景随着万物互联的时代到来，以及智慧终端普及，现实世界超过80%的数据与地理位置相关，比如日常使用的社交、支付、出行相关APP。作为IOT最底层的无线通信网络也会生成大量与位置相关的数据，用于无线通信网络规划和优化，帮助电信运营商建设更好体验的精品网络，构建万物互联的信息社会。为表征无线网络相关指标在地理空...
- 90 天挑战 HCIE Cloud 目录，后续将实时保持更新，从 第 1 天 到第 90 天，敬请持续关注！ 移动端请关注微信公众号 & 微博，热切期盼在您备考 HCIE Cloud 认证过程中，提供一定帮助 90 天挑战 HCIE Cloud 目录，后续将实时保持更新，从 第 1 天 到第 90 天，敬请持续关注！ 移动端请关注微信公众号 & 微博，热切期盼在您备考 HCIE Cloud 认证过程中，提供一定帮助
- 联邦计算过程中， 如何让所有参与者感知计算过程是一个难题。 例如计算过程中的同态加密、密文计算、 数据读取等操作，全部串起来往往会很复杂，但参与者们又希望能了解这个过程是否是合理的，而不是一个黑盒在做计算。华为TICS服务通过为每个联邦计算作业生成可视化任务流图，来呈现计算过程，提升用户体验。在联盟侧查看作业计算过程用户登录TICS控制台。在左侧导航树上单击“联盟作业”，打开“联盟作业”页面... 联邦计算过程中， 如何让所有参与者感知计算过程是一个难题。 例如计算过程中的同态加密、密文计算、 数据读取等操作，全部串起来往往会很复杂，但参与者们又希望能了解这个过程是否是合理的，而不是一个黑盒在做计算。华为TICS服务通过为每个联邦计算作业生成可视化任务流图，来呈现计算过程，提升用户体验。在联盟侧查看作业计算过程用户登录TICS控制台。在左侧导航树上单击“联盟作业”，打开“联盟作业”页面...
- Q： ThreadLocal的常见使用场景？A：每个线程中需要维护1个不同的副本， 但这个副本可能是某一个时刻一起塞入每个线程的， 只不过之后该副本的变化 不再受其他线程的影响。常见场景有连接器管理模块connectorManager， 每个线程持有的connect变量是单独使用的，不会互相影响或者需要加锁。原因就是将其作为副本放入每个线程，当线程启动连接或者关闭时，不影响其他线程里的get... Q： ThreadLocal的常见使用场景？A：每个线程中需要维护1个不同的副本， 但这个副本可能是某一个时刻一起塞入每个线程的， 只不过之后该副本的变化 不再受其他线程的影响。常见场景有连接器管理模块connectorManager， 每个线程持有的connect变量是单独使用的，不会互相影响或者需要加锁。原因就是将其作为副本放入每个线程，当线程启动连接或者关闭时，不影响其他线程里的get...
上滑加载中
推荐直播
-
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
回顾中 -
走进数据库：数据库基础知识精讲2024/12/27 周五 16:00-17:30
Steven 华为云学堂技术讲师
数据管理是数据库的核心任务，本期直播将带领大家一起走进数据库，了解期发展趋势、基础模型、架构演进及相关的技术特点。同时还会介绍数据库对象和相关概念，帮助开发者对数据库使用和实践夯实基础。
去报名
热门标签