- [2016-11-21更新]关于demo代码，请参考: ===>scrapy_demo<=== 放假这段时间好好的思考了一下关于Scrapy的一些常用操作，主要解决了三个问题 如何连续爬取 数据输出方式 数据库链接 如何连续爬取 思考：要达到连续爬取，逻辑上无非从以下的方向着手 预加载需要爬取的列表，直接到这个列表都处理完，相应的... [2016-11-21更新]关于demo代码，请参考: ===>scrapy_demo<=== 放假这段时间好好的思考了一下关于Scrapy的一些常用操作，主要解决了三个问题 如何连续爬取 数据输出方式 数据库链接 如何连续爬取 思考：要达到连续爬取，逻辑上无非从以下的方向着手 预加载需要爬取的列表，直接到这个列表都处理完，相应的...
- 前文回顾: SSIS从理论到实战,再到应用(1)—-创建自己的第一个包 上次说到创建了自己的第一个包，完成了简单的数据从数据库=>数据库，以及Excel文件=>数据库过程,这一次咱们回看看一个包里面到底有哪些好玩的元素构成: 咱们一般写过代码的人都知道，很多... 前文回顾: SSIS从理论到实战,再到应用(1)—-创建自己的第一个包 上次说到创建了自己的第一个包，完成了简单的数据从数据库=>数据库，以及Excel文件=>数据库过程,这一次咱们回看看一个包里面到底有哪些好玩的元素构成: 咱们一般写过代码的人都知道，很多...
- 一、数据库瓶颈 IO瓶颈 CPU瓶颈 二、分库分表 水平分库 水平分表 垂直分库 垂直分表 三、分库分表工具 四、分库分表步骤 五、分库分表问题 非partition key的查询问题 非partition key跨库跨表分页查询问题 扩容问题 六、分库分表总结 七、分库分表示例 一、数... 一、数据库瓶颈 IO瓶颈 CPU瓶颈 二、分库分表 水平分库 水平分表 垂直分库 垂直分表 三、分库分表工具 四、分库分表步骤 五、分库分表问题 非partition key的查询问题 非partition key跨库跨表分页查询问题 扩容问题 六、分库分表总结 七、分库分表示例 一、数...
- 口水记 又过了一个周末，早晨自然又是踩点。请叫我踩点小猿。 上午都在忙着优化那日增几百万的数据库表了。 通过一些会议讨论，还是需要改动表结构才能进行分库分表，否则无法进行下去。因为通过什么字段的查询语句都有，那么这怎么分嘛~分了之后，未命中分表字段的查询那岂不是更坑。 所以新增了一个字段，该字段在所有的查询中，理论上都需要用到的，可惜的是，之前数据库的设计，未存... 口水记 又过了一个周末，早晨自然又是踩点。请叫我踩点小猿。 上午都在忙着优化那日增几百万的数据库表了。 通过一些会议讨论，还是需要改动表结构才能进行分库分表，否则无法进行下去。因为通过什么字段的查询语句都有，那么这怎么分嘛~分了之后，未命中分表字段的查询那岂不是更坑。 所以新增了一个字段，该字段在所有的查询中，理论上都需要用到的，可惜的是，之前数据库的设计，未存...
- 口水记 今天和朋友聊天，他说，今天出了一个事故，由于以前的一个设计问题，今天在线上操作了某个需要消耗服务器和数据库大量资源的动作（称为a操作吧），暴露出了设计和性能的问题，导致接口的后续响应超时，从而出现了线上问题。 听了朋友的全程描述，我精简一下导致出现问题的原因： 当初数据库未考虑到后续功能的一个迭代，导致业务实现复杂，每一次操作a都需要大量的资源 在几... 口水记 今天和朋友聊天，他说，今天出了一个事故，由于以前的一个设计问题，今天在线上操作了某个需要消耗服务器和数据库大量资源的动作（称为a操作吧），暴露出了设计和性能的问题，导致接口的后续响应超时，从而出现了线上问题。 听了朋友的全程描述，我精简一下导致出现问题的原因： 当初数据库未考虑到后续功能的一个迭代，导致业务实现复杂，每一次操作a都需要大量的资源 在几...
- 数据库的元信息： 首先介绍一下数据库的元信息(元数据)： 元数据(Metadata)是关于数据的数据。 元数据是描述数据仓库内数据的结构和建立方法的数据。 存储的数据是什么类型,什么驱动等等，这些描述数据的数据，就是元数据！ 准备： package cn.hncu.pool3; import java.lang.reflect.InvocationHand... 数据库的元信息： 首先介绍一下数据库的元信息(元数据)： 元数据(Metadata)是关于数据的数据。 元数据是描述数据仓库内数据的结构和建立方法的数据。 存储的数据是什么类型,什么驱动等等，这些描述数据的数据，就是元数据！ 准备： package cn.hncu.pool3; import java.lang.reflect.InvocationHand...
- 前言： 转载的好文不多，但此篇的确是难得一见的好文，如若不信，请仔细阅读。 此篇文章没有波涛汹涌的起伏，没有繁多的代码，只有悠然自得的文笔。 因此，分享此文给大家。 翻译原文链接：https://www.ibm.com/developerworks/community/blogs/IBMi/entry/database?lang=en 英文原文链接：http... 前言： 转载的好文不多，但此篇的确是难得一见的好文，如若不信，请仔细阅读。 此篇文章没有波涛汹涌的起伏，没有繁多的代码，只有悠然自得的文笔。 因此，分享此文给大家。 翻译原文链接：https://www.ibm.com/developerworks/community/blogs/IBMi/entry/database?lang=en 英文原文链接：http...
- 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 19.2.3 继承Properties类进行解密处理 Spring配置加密解密 DecodeProperties类 加密属性 19.2.3 继承Properties类进行解密处理 ... 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 19.2.3 继承Properties类进行解密处理 Spring配置加密解密 DecodeProperties类 加密属性 19.2.3 继承Properties类进行解密处理 ...
- 如何查看与修改数据库的编码，如何修改dos窗口的显示编码，都在本篇详细讲解。 查看当前数据库的编码: show variables where variable_name like 'character%';1 如果出现了中文乱码，我们只要看： character_set_client —客户端的编码 character_set_connection —连... 如何查看与修改数据库的编码，如何修改dos窗口的显示编码，都在本篇详细讲解。 查看当前数据库的编码: show variables where variable_name like 'character%';1 如果出现了中文乱码，我们只要看： character_set_client —客户端的编码 character_set_connection —连...
- 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 9.2.5 environmentsElement方法 9.2.5 environmentsElement方法 在environmentsElement方法中，进行了读取并解析environ... 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 9.2.5 environmentsElement方法 9.2.5 environmentsElement方法 在environmentsElement方法中，进行了读取并解析environ...
- 上节已经学会对MySQL进行简单的增删改查了，那么，我们如何实现用Java来对数据库操作增删改呢。 本节将用Java演示对MySQL进行增删改查。 简单的来说，分为4个步骤： 1、加载连接器(驱动) 通过Driver类 (最好用类反射来加载，更加灵活) 2、建立与数据库的连接 3、获取语句对象 4、对数据库进行操作(增删改查) 其实第一步现在可以不用写... 上节已经学会对MySQL进行简单的增删改查了，那么，我们如何实现用Java来对数据库操作增删改呢。 本节将用Java演示对MySQL进行增删改查。 简单的来说，分为4个步骤： 1、加载连接器(驱动) 通过Driver类 (最好用类反射来加载，更加灵活) 2、建立与数据库的连接 3、获取语句对象 4、对数据库进行操作(增删改查) 其实第一步现在可以不用写...
- 第1题： python下多线程的限制以及多进程中传递参数的方式？ python多线程有个全局解释器锁（global interpreter lock），简称GIL，这个GIL并不是python的特性，他是只在Cpython解释器里引入的一个概念，而在其他的语言编写的解释器里就没有这个GIL例如：Jython。 这个锁的意思是任一时间只能有一个线程运用解释器，跟单cp... 第1题： python下多线程的限制以及多进程中传递参数的方式？ python多线程有个全局解释器锁（global interpreter lock），简称GIL，这个GIL并不是python的特性，他是只在Cpython解释器里引入的一个概念，而在其他的语言编写的解释器里就没有这个GIL例如：Jython。 这个锁的意思是任一时间只能有一个线程运用解释器，跟单cp...
- 19.3.1 集成MyBatis-Plus（数据库实体快速生成）-《SSM深入解析与项目实战》 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 19.3 数据库实体快速生成 19.3.1 集成MyBatis-... 19.3.1 集成MyBatis-Plus（数据库实体快速生成）-《SSM深入解析与项目实战》 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 19.3 数据库实体快速生成 19.3.1 集成MyBatis-...
- 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 10.8 databaseIdProvider数据库厂商标识 MyBatis可以根据不同的数据库厂商执行不同的语句，这种多厂商的支持是基于映射语句中的databaseId属性。MyBatis会加载不带da... 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 10.8 databaseIdProvider数据库厂商标识 MyBatis可以根据不同的数据库厂商执行不同的语句，这种多厂商的支持是基于映射语句中的databaseId属性。MyBatis会加载不带da...
- 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 19.2 JDBC配置文件中对数据库账号密码加密 19.2.1 调试与查看源码 spring引入配置文件 spring-context.xsd源码 19.2 JDBC配置文件中对数... 项目中所有的源码都可以在此链接的仓库中找到：https://github.com/chenhaoxiang/uifuture-ssm 文章目录 19.2 JDBC配置文件中对数据库账号密码加密 19.2.1 调试与查看源码 spring引入配置文件 spring-context.xsd源码 19.2 JDBC配置文件中对数...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签