- 在软件开发领域,我们常常追求功能的实现速度,却容易忽视那些支撑系统长期健康运行的基础工程实践。本文将以第一视角讲述一段真实经历,探讨文档注释的战略意义、迁移脚本的设计哲学以及跨域问题的解决方案,揭示它们如何共同构筑起可维护、可扩展的软件生态系统。 一、文档注释:不只是注解,更是设计的蓝图 1.1 初识痛点:失语的代码遗产刚加入团队时,面对满屏缺乏注释的业务逻辑代码,如同阅读一本被撕去扉页的小... 在软件开发领域,我们常常追求功能的实现速度,却容易忽视那些支撑系统长期健康运行的基础工程实践。本文将以第一视角讲述一段真实经历,探讨文档注释的战略意义、迁移脚本的设计哲学以及跨域问题的解决方案,揭示它们如何共同构筑起可维护、可扩展的软件生态系统。 一、文档注释:不只是注解,更是设计的蓝图 1.1 初识痛点:失语的代码遗产刚加入团队时,面对满屏缺乏注释的业务逻辑代码,如同阅读一本被撕去扉页的小...
- 不仅提升了个人工作效率,更推动了企业数据民主化进程,让数据真正成为驱动业务增长的核心引擎 不仅提升了个人工作效率,更推动了企业数据民主化进程,让数据真正成为驱动业务增长的核心引擎
- 当 ChatBI 的准确率不断提升,其价值将从“效率工具”升级为“决策中枢”。Aloudata Agent 分析决策智能体通过 NL2MQL2SQL 技术路径,可解决大模型在数据分析场景中的“幻觉”问题 当 ChatBI 的准确率不断提升,其价值将从“效率工具”升级为“决策中枢”。Aloudata Agent 分析决策智能体通过 NL2MQL2SQL 技术路径,可解决大模型在数据分析场景中的“幻觉”问题
- 报表要求的数据格式总是千奇百怪?其实用SQL就能让数据轻松“变形”。想把多行内容(比如各科成绩)合并成一行里的多列,可以用经典的CASE WHEN,或者在11g以上版本里用更简洁的PIVOT。反过来,把宽表拆成多行,也有UNION ALL和更方便的UNPIVOT。学会这些,再配合UNION、INTERSECT等集合运算,数据就能随心所欲地展示了。 报表要求的数据格式总是千奇百怪?其实用SQL就能让数据轻松“变形”。想把多行内容(比如各科成绩)合并成一行里的多列,可以用经典的CASE WHEN,或者在11g以上版本里用更简洁的PIVOT。反过来,把宽表拆成多行,也有UNION ALL和更方便的UNPIVOT。学会这些,再配合UNION、INTERSECT等集合运算,数据就能随心所欲地展示了。
- 2025 年,每家企业都想拥有自己的 Data Agent,但 90% 的项目可能不是死在 Demo 阶段就是建成后无人问津。为什么?因为我们试图用概率性的 LLM 去直接挑战确定性的数据分析,对结果期待太高,而对过程准备不足。 2025 年,每家企业都想拥有自己的 Data Agent,但 90% 的项目可能不是死在 Demo 阶段就是建成后无人问津。为什么?因为我们试图用概率性的 LLM 去直接挑战确定性的数据分析,对结果期待太高,而对过程准备不足。
- 在这一数字化转型进程中,我们最终引入了 Apache Doris 作为湖仓一体架构的核心组件。Doris 凭借其卓越的查询性能、高吞吐、对标准 SQL 的完整支持以及高效的实时数据摄入能力,在多个候选方案中脱颖而出。尤其值得一提的是,其架构的灵活度及可扩展性、极大降低了运维难度和成本投入。 在这一数字化转型进程中,我们最终引入了 Apache Doris 作为湖仓一体架构的核心组件。Doris 凭借其卓越的查询性能、高吞吐、对标准 SQL 的完整支持以及高效的实时数据摄入能力,在多个候选方案中脱颖而出。尤其值得一提的是,其架构的灵活度及可扩展性、极大降低了运维难度和成本投入。
- 想把分散在多个表里的数据拼起来看?核心就靠JOIN(连接)和子查询。可以用INNER JOIN找到两边都匹配的记录,或用OUTER JOIN查看单边也存在的数据。一个非常强大的技巧,是把一个查询结果当成临时表来用,能让复杂的统计分析变得清晰。再结合新版本里简洁的分页语法,跨表取数和展示就得心应手了。 想把分散在多个表里的数据拼起来看?核心就靠JOIN(连接)和子查询。可以用INNER JOIN找到两边都匹配的记录,或用OUTER JOIN查看单边也存在的数据。一个非常强大的技巧,是把一个查询结果当成临时表来用,能让复杂的统计分析变得清晰。再结合新版本里简洁的分页语法,跨表取数和展示就得心应手了。
- 故障现象使用分区表进行相关查询业务,SQL性能慢。故障原因可能原因有以下:分区索引失效,顺序扫描导致的SQL性能慢分区表无法进行分区剪枝导致的SQL性能慢SQL计划选择非最优导致的SQL性能慢处理方法步骤 1 判断是否存在索引异常的行为。步骤 2 部分分区DDL如果不带UPDATE GLOBAL INDEX子句,会导致分区表Global索引失效。同时用户也可以使用ALTER ... 故障现象使用分区表进行相关查询业务,SQL性能慢。故障原因可能原因有以下:分区索引失效,顺序扫描导致的SQL性能慢分区表无法进行分区剪枝导致的SQL性能慢SQL计划选择非最优导致的SQL性能慢处理方法步骤 1 判断是否存在索引异常的行为。步骤 2 部分分区DDL如果不带UPDATE GLOBAL INDEX子句,会导致分区表Global索引失效。同时用户也可以使用ALTER ...
- 故障现象数据库进程内存占比较高。− 长时间占比较高。− 观察监控平台内存占用的变化曲线,无论当前数据库是否有业务在运行,数据库进程内存占总机器内存的比例长时间处于较高状态,且不下降。− 执行作业期间占比较高。− 数据库进程在没有业务执行时,内存使用持续处于较低的状态,当有业务执行时,内存占用升高,待作业执行结束后,内存又恢复到较低的状态。− 内存上涨不下降。− 数据库进程在执行业务过程中内存... 故障现象数据库进程内存占比较高。− 长时间占比较高。− 观察监控平台内存占用的变化曲线,无论当前数据库是否有业务在运行,数据库进程内存占总机器内存的比例长时间处于较高状态,且不下降。− 执行作业期间占比较高。− 数据库进程在没有业务执行时,内存使用持续处于较低的状态,当有业务执行时,内存占用升高,待作业执行结束后,内存又恢复到较低的状态。− 内存上涨不下降。− 数据库进程在执行业务过程中内存...
- 故障现象出现会话等锁、等锁超时、死锁、并发更新性能下降等。故障原因可能原因有以下:行锁等待,业务逻辑问题,对数据的并发处理顺序有问题,导致死锁、等锁超时或者并发更新同一行。页面锁等待,常见由于数据库内核资源争抢导致。IO锁等待,常见由于数据在内存和磁盘之间置换存在并发导致。处理方法死锁或所等待超时分析步骤 1 登录CN节点,进入CN日志目录cd $GAUSSLOG/pg_log/cn... 故障现象出现会话等锁、等锁超时、死锁、并发更新性能下降等。故障原因可能原因有以下:行锁等待,业务逻辑问题,对数据的并发处理顺序有问题,导致死锁、等锁超时或者并发更新同一行。页面锁等待,常见由于数据库内核资源争抢导致。IO锁等待,常见由于数据在内存和磁盘之间置换存在并发导致。处理方法死锁或所等待超时分析步骤 1 登录CN节点,进入CN日志目录cd $GAUSSLOG/pg_log/cn...
- 故障现象长事务在数据库的表现是session持续时间长,期间可能伴随cpu、内存升高,严重可导致数据库整体响应缓慢,业务无法正常运行。故障原因可能原因有以下:大量的锁竞争。执行了比较耗时的SQL。处理方法步骤 1 登录CN节点,gsql连接数据库。gsql -d postgres -p 8000 -U user -W password -r说明:集中式实例登录主DN节点。步骤 2 ... 故障现象长事务在数据库的表现是session持续时间长,期间可能伴随cpu、内存升高,严重可导致数据库整体响应缓慢,业务无法正常运行。故障原因可能原因有以下:大量的锁竞争。执行了比较耗时的SQL。处理方法步骤 1 登录CN节点,gsql连接数据库。gsql -d postgres -p 8000 -U user -W password -r说明:集中式实例登录主DN节点。步骤 2 ...
- 问题现象业务sql执行时间较长,需要通过smp增加并行提升执行效率,通过hint 方式, 发现query_dop 不生效。以下是sql及对应执行计划、相关表表结构。执行计划select表结构insert表结构技术背景针对上述SQL案例,smp使用有如下约束条件,如下:1. 当function为易变函数,smp不生效, 需要将function调整为i函数。2. 当function不能下推到dn... 问题现象业务sql执行时间较长,需要通过smp增加并行提升执行效率,通过hint 方式, 发现query_dop 不生效。以下是sql及对应执行计划、相关表表结构。执行计划select表结构insert表结构技术背景针对上述SQL案例,smp使用有如下约束条件,如下:1. 当function为易变函数,smp不生效, 需要将function调整为i函数。2. 当function不能下推到dn...
- 问题现象数据磁盘使用率不均衡原因分析客户环境为分布式环境3C3D,从监控指标分析,dn_6001、dn_6002、dn_6003分片的磁盘使用率比其他2个分片高。怀疑是数据分布不均匀导致。分析过程1. 登录到数据库节点,执行如下命令查看数据盘使用率,数据目data1的使用率10%,其他数据目录均为2%。gs_ssh -c "df -h"2. 进入到数据目录data1下,执行如下命令查看文件大... 问题现象数据磁盘使用率不均衡原因分析客户环境为分布式环境3C3D,从监控指标分析,dn_6001、dn_6002、dn_6003分片的磁盘使用率比其他2个分片高。怀疑是数据分布不均匀导致。分析过程1. 登录到数据库节点,执行如下命令查看数据盘使用率,数据目data1的使用率10%,其他数据目录均为2%。gs_ssh -c "df -h"2. 进入到数据目录data1下,执行如下命令查看文件大...
- Aloudata Agent 是 Aloudata 推出的一套分析决策智能体,将 NoETL 明细语义层作为数据底座,以指标为中心进行语义一致的对话式数据分析。通过自然语言即刻获取数据结果,支持智能数据结果解读,以及智能多维归因和因子归因分析,让企业深层次洞察异常数据波动原因。 Aloudata Agent 是 Aloudata 推出的一套分析决策智能体,将 NoETL 明细语义层作为数据底座,以指标为中心进行语义一致的对话式数据分析。通过自然语言即刻获取数据结果,支持智能数据结果解读,以及智能多维归因和因子归因分析,让企业深层次洞察异常数据波动原因。
- 如何书写性能最优的自定义函数 如何书写性能最优的自定义函数
上滑加载中
推荐直播
-
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力,华为云开发者生态运营总监/姚圣伟,华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发,看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw,让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中 -
码道新技能,AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动,聚焦两大 AI 开发场景:通过实战教学,带你打造 AI 编程自动生成视频 Skill,并实现对 GitHub 热门开源项目的智能知识抽取,手把手掌握 Skill 开发全流程,用 AI 提升研发效率与内容生产力。
回顾中
热门标签