- 项目背景介绍随着数据量的不断增长，大数据分析已成为现代企业和科研机构的核心需求。Python作为一种高效、简洁且功能强大的编程语言，在数据科学和大数据分析领域广泛应用。通过Python，分析师可以快速处理海量数据，发现潜在的趋势和模式，从而为决策提供有力支持。本博客将详细介绍如何使用Python进行大数据分析，涵盖从基础工具的介绍到实际分析项目的实现。无论你是数据分析初学者还是有一定编程经验... 项目背景介绍随着数据量的不断增长，大数据分析已成为现代企业和科研机构的核心需求。Python作为一种高效、简洁且功能强大的编程语言，在数据科学和大数据分析领域广泛应用。通过Python，分析师可以快速处理海量数据，发现潜在的趋势和模式，从而为决策提供有力支持。本博客将详细介绍如何使用Python进行大数据分析，涵盖从基础工具的介绍到实际分析项目的实现。无论你是数据分析初学者还是有一定编程经验...
- 本文将会介绍昇思MindSpore的并行训练技术，以及如何通过张量重排布和自动微分简化并行策略搜索，实现高效大模型训练。 大模型的带来随着深度学习的发展，为了实现更高的准确率和更丰富的应用场景，训练数据集和神经网络模型的规模日益增大。特别是自然语言处理（Natural Language Processing，NLP）领域，数据集的范围从200MB到541TB不等。模型的尺寸也从BERT的3.... 本文将会介绍昇思MindSpore的并行训练技术，以及如何通过张量重排布和自动微分简化并行策略搜索，实现高效大模型训练。 大模型的带来随着深度学习的发展，为了实现更高的准确率和更丰富的应用场景，训练数据集和神经网络模型的规模日益增大。特别是自然语言处理（Natural Language Processing，NLP）领域，数据集的范围从200MB到541TB不等。模型的尺寸也从BERT的3....
- AMSR-E/AMSR2 Unified L2B Global Swath Surface Precipitation, Version 1简介这套 AMSR-E/AMSR2 统一 Level-2B 数据集报告了瞬时地表降水率和降水类型（陆地和海洋）以及降水剖面（海洋）。 这些数据是将 AMSR-E/AMSR2 统一算法应用于 EOS 高级微波扫描辐射计（AMSR）（AMSR-E）和 AM... AMSR-E/AMSR2 Unified L2B Global Swath Surface Precipitation, Version 1简介这套 AMSR-E/AMSR2 统一 Level-2B 数据集报告了瞬时地表降水率和降水类型（陆地和海洋）以及降水剖面（海洋）。 这些数据是将 AMSR-E/AMSR2 统一算法应用于 EOS 高级微波扫描辐射计（AMSR）（AMSR-E）和 AM...
- AI Earth——2020年中国10m建筑物高度CNBH数据集简介复旦大学生命科学学院GC3S团队（吴万本博士、赵斌教授等）利用多源地球观测数据和机器学习技术，构建了中国第一个10米分辨率的建筑高度估计模型（CNBH-10m）。基于此模型建立了中国10米分辨率的建筑高度数据集。此数据集基于全天候地球观测（雷达、光学和夜光图像），采用多窗口统计方法综合考虑了阴影等因素对建筑物高度估计的影... AI Earth——2020年中国10m建筑物高度CNBH数据集简介复旦大学生命科学学院GC3S团队（吴万本博士、赵斌教授等）利用多源地球观测数据和机器学习技术，构建了中国第一个10米分辨率的建筑高度估计模型（CNBH-10m）。基于此模型建立了中国10米分辨率的建筑高度数据集。此数据集基于全天候地球观测（雷达、光学和夜光图像），采用多窗口统计方法综合考虑了阴影等因素对建筑物高度估计的影...
- 2023年04-至今：宏图一号L2级系统几何校正影像（1、3、5m）简介作为航天宏图“女娲星座”建设计划的首发卫星，航天宏图-1号可获取0.5米-5米的分辨率影像，具备高精度地形测绘、高精度形变检测、高分辨率宽幅成像以及三维立体成像等能力，在自然资源、应急管理、水利等行业与领域具有极高的应用价值。波段：HH 1/3/5米时间范围: 2023年04月-当前范围: 部分区域摘要宏图一号数据是... 2023年04-至今：宏图一号L2级系统几何校正影像（1、3、5m）简介作为航天宏图“女娲星座”建设计划的首发卫星，航天宏图-1号可获取0.5米-5米的分辨率影像，具备高精度地形测绘、高精度形变检测、高分辨率宽幅成像以及三维立体成像等能力，在自然资源、应急管理、水利等行业与领域具有极高的应用价值。波段：HH 1/3/5米时间范围: 2023年04月-当前范围: 部分区域摘要宏图一号数据是...
- 中国1km分辨率SSP119情景EC-Earth3模式逐月降水量数据集(2021-2100)简介该数据集为中国多情景多模式逐月降水量数据，空间分辨率为0.0083333°（约1km),时间为2021年1月-2100年12月。该数据集是根据IPCC耦合模式比较计划第六阶段(CMIP6)发布的全球>1O0km气候模式数据集以及WorldClim发布的全球高分辨率气候数据集，通过Delta空间降... 中国1km分辨率SSP119情景EC-Earth3模式逐月降水量数据集(2021-2100)简介该数据集为中国多情景多模式逐月降水量数据，空间分辨率为0.0083333°（约1km),时间为2021年1月-2100年12月。该数据集是根据IPCC耦合模式比较计划第六阶段(CMIP6)发布的全球>1O0km气候模式数据集以及WorldClim发布的全球高分辨率气候数据集，通过Delta空间降...
- 简介Himawari-9(葵花9号，简称H-9)气象卫星是日本宇宙航空研究开发机构设计制造的向日葵系列卫星之一，是日本于2016年11月2日发射的新一代气象卫星，数据被广泛用于监测暴雨云团、台风动向以及持续喷发活动的火山等防灾领域。 H-9数据集目前提供的数据为每整点拍摄的数据，共有18个波段，前16个波段分布于可见光-近红外-热红外，后两个波段分别记录了太阳高度角和太阳方位角信息。为了... 简介Himawari-9(葵花9号，简称H-9)气象卫星是日本宇宙航空研究开发机构设计制造的向日葵系列卫星之一，是日本于2016年11月2日发射的新一代气象卫星，数据被广泛用于监测暴雨云团、台风动向以及持续喷发活动的火山等防灾领域。 H-9数据集目前提供的数据为每整点拍摄的数据，共有18个波段，前16个波段分布于可见光-近红外-热红外，后两个波段分别记录了太阳高度角和太阳方位角信息。为了...
- 全球海洋表面温度和海洋盐度等重要的海洋参数（NRT AMSR2 Unified L2B）简介全球变化观测任务 - 水 1 (GCOM-W1) 上的先进微波扫描辐射计 2 (AMSR2) 仪器提供全球被动微波测量，涵盖陆地、海洋和大气参数，以研究全球水和能量循环。近实时 (NRT) 产品在文件中最后一次观测后的 3 小时内生成，由地面大气近实时能力 (LANCE) 在 AMSR 科学研究者... 全球海洋表面温度和海洋盐度等重要的海洋参数（NRT AMSR2 Unified L2B）简介全球变化观测任务 - 水 1 (GCOM-W1) 上的先进微波扫描辐射计 2 (AMSR2) 仪器提供全球被动微波测量，涵盖陆地、海洋和大气参数，以研究全球水和能量循环。近实时 (NRT) 产品在文件中最后一次观测后的 3 小时内生成，由地面大气近实时能力 (LANCE) 在 AMSR 科学研究者...
- 梯度下降算法：深入浅出梯度下降（Gradient Descent）是一种用于优化目标函数的迭代方法，特别适用于机器学习和深度学习中的参数优化。梯度下降通过不断调整函数的参数，以逐步逼近最优解。 应用使用场景梯度下降广泛应用于各种机器学习任务，包括但不限于：线性回归和逻辑回归模型的训练神经网络的权值更新支持向量机的优化聚类算法中的质心计算（如 K-means） 原理解释梯度下降基于一个简单的... 梯度下降算法：深入浅出梯度下降（Gradient Descent）是一种用于优化目标函数的迭代方法，特别适用于机器学习和深度学习中的参数优化。梯度下降通过不断调整函数的参数，以逐步逼近最优解。 应用使用场景梯度下降广泛应用于各种机器学习任务，包括但不限于：线性回归和逻辑回归模型的训练神经网络的权值更新支持向量机的优化聚类算法中的质心计算（如 K-means） 原理解释梯度下降基于一个简单的...
- AMSR-E/AMSR2 Unified L2B Global Swath Ocean Products V001简介这套 AMSR 全球海洋统一数据集报告了大气柱中的综合水汽和云液态水含量，以及 10 米海面风速。 这些数据来自 AMSR-E 和 AMSR2 的亮度温度观测数据，日本宇宙航空研究开发机构（JAXA）对这些数据进行了重新采样，以促进 AMSR-E/AMSR2 数据记录的相... AMSR-E/AMSR2 Unified L2B Global Swath Ocean Products V001简介这套 AMSR 全球海洋统一数据集报告了大气柱中的综合水汽和云液态水含量，以及 10 米海面风速。 这些数据来自 AMSR-E 和 AMSR2 的亮度温度观测数据，日本宇宙航空研究开发机构（JAXA）对这些数据进行了重新采样，以促进 AMSR-E/AMSR2 数据记录的相...
- 引言强化学习（Reinforcement Learning, RL）是机器学习的一个重要分支，它关注智能体（Agent）如何通过与环境的交互，基于奖励信号来学习决策策略。近年来，随着深度学习技术的迅猛发展，**深度强化学习（Deep Reinforcement Learning, DRL）**应运而生，结合了深度学习和强化学习的优势，取得了许多令人瞩目的成果，包括在复杂环境下的自动游戏玩耍... 引言强化学习（Reinforcement Learning, RL）是机器学习的一个重要分支，它关注智能体（Agent）如何通过与环境的交互，基于奖励信号来学习决策策略。近年来，随着深度学习技术的迅猛发展，**深度强化学习（Deep Reinforcement Learning, DRL）**应运而生，结合了深度学习和强化学习的优势，取得了许多令人瞩目的成果，包括在复杂环境下的自动游戏玩耍...
- 引言生成对抗网络（Generative Adversarial Network，简称GAN）是由Ian Goodfellow等人在2014年提出的一种深度学习模型，它通过对抗训练的方式生成与真实数据分布相似的假数据。GAN的出现极大地推动了深度学习和生成模型的研究，尤其在图像生成、风格转换、图像修复等任务中取得了突破性进展。本文将详细探讨GAN的原理，介绍其数学基础，探讨其在各个领域中的应... 引言生成对抗网络（Generative Adversarial Network，简称GAN）是由Ian Goodfellow等人在2014年提出的一种深度学习模型，它通过对抗训练的方式生成与真实数据分布相似的假数据。GAN的出现极大地推动了深度学习和生成模型的研究，尤其在图像生成、风格转换、图像修复等任务中取得了突破性进展。本文将详细探讨GAN的原理，介绍其数学基础，探讨其在各个领域中的应...
- 引言在深度学习领域，迁移学习（Transfer Learning）是一个非常强大且日益流行的概念，它通过将从一个任务中学到的知识应用于另一个任务，能够显著加快模型训练速度并提高其泛化能力。迁移学习在许多实际应用中都得到了广泛使用，特别是在数据不足或训练成本较高的场景下。本文将深入探讨迁移学习的基本概念、方法以及实际应用。 什么是迁移学习？迁移学习是一种通过转移已学知识来解决新问题的学习方法... 引言在深度学习领域，迁移学习（Transfer Learning）是一个非常强大且日益流行的概念，它通过将从一个任务中学到的知识应用于另一个任务，能够显著加快模型训练速度并提高其泛化能力。迁移学习在许多实际应用中都得到了广泛使用，特别是在数据不足或训练成本较高的场景下。本文将深入探讨迁移学习的基本概念、方法以及实际应用。 什么是迁移学习？迁移学习是一种通过转移已学知识来解决新问题的学习方法...
- 特征向量是线性代数中一个重要的概念，它描述了矩阵在某个方向上的拉伸或压缩特性。以下是对特征向量的详细解释：定义对于一个n阶方阵A，如果存在一个非零向量x，使得Ax=λx（λ为标量），那么这个向量x就被称为矩阵A的特征向量，而λ被称为对应的特征值。这里的λ是一个标量，可以是正数、负数或零。性质特征向量具有以下几个重要性质：非零性：特征向量一定是非零向量。方向不变性：在矩阵的线性变换下，特征向量... 特征向量是线性代数中一个重要的概念，它描述了矩阵在某个方向上的拉伸或压缩特性。以下是对特征向量的详细解释：定义对于一个n阶方阵A，如果存在一个非零向量x，使得Ax=λx（λ为标量），那么这个向量x就被称为矩阵A的特征向量，而λ被称为对应的特征值。这里的λ是一个标量，可以是正数、负数或零。性质特征向量具有以下几个重要性质：非零性：特征向量一定是非零向量。方向不变性：在矩阵的线性变换下，特征向量...
- Harris角点检测是一种常用的图像特征提取方法，主要用于检测图像中的角点和边缘等特征。Harris角点检测算法的核心在于计算图像中每个像素点的局部自相关性，从而确定该像素点是否为角点。Harris角点检测算法的基本步骤如下：计算图像的灰度值梯度：对于给定的图像，首先计算每个像素点的灰度值梯度，即在x和y方向上的导数。计算自相关矩阵：利用图像中每个像素点的灰度值梯度，计算一个自相关矩阵M，该... Harris角点检测是一种常用的图像特征提取方法，主要用于检测图像中的角点和边缘等特征。Harris角点检测算法的核心在于计算图像中每个像素点的局部自相关性，从而确定该像素点是否为角点。Harris角点检测算法的基本步骤如下：计算图像的灰度值梯度：对于给定的图像，首先计算每个像素点的灰度值梯度，即在x和y方向上的导数。计算自相关矩阵：利用图像中每个像素点的灰度值梯度，计算一个自相关矩阵M，该...
上滑加载中
推荐直播
-
华为云鸿蒙应用入门级开发者认证2025/06/11 周三 16:00-17:30
Skye / 华为云学堂技术讲师
本次直播专为备考华为云鸿蒙端云应用入门级开发者认证的学员设计，提供系统的考试辅导。深度解析认证核心知识点，涵盖HarmonyOS介绍、应用开发入门、ArkTS语言、声明式开发范式组件、Stage应用模型、玩转服务卡片、鸿蒙应用网络请求开发、鸿蒙应用云函数调用等内容。
回顾中 -
基于昇腾NPU的合成孔径雷达成像案例2025/06/12 周四 19:00-20:00
李阳 华为开发者布道师-高校教师
介绍合成孔径雷达算法的原理和优势，了解合成孔径雷达在传统计算中的痛点，分享如何使用昇腾NPU和AscendC语言构建信号处理算子，如何助力信号处理领域的高性能计算。
回顾中 -
华为云GaussDB入门级认证 - 考试辅导2025/06/13 周五 16:00-17:30
Steven / 华为云学堂技术讲师
本次直播为HCCDA-GaussDB认证考试提供全面辅导，旨在帮助学员深入了解数据库技术原理与应用实践。我们将详细解析考试大纲，分享高效备考策略，并讲解关键知识点，包括但不限于SQL操作介绍、GaussDB数据库管理与运维基础等。
回顾中
热门标签