- 转载请注明出处：http://www.cnblogs.com/codefish/p/4971664.html 在了解爬虫之前，我一直认为是简单的对单一网站的采集，无非就是对于一个域名内定点的数据抓取而已，2012年买了《数学之美》后，就一直没有正儿八经的看，或者当时看了之后，由于自己的水平有限，压根就没有留下深刻的印象，以至于现在开始系统的研究一个框架的时候，总是... 转载请注明出处：http://www.cnblogs.com/codefish/p/4971664.html 在了解爬虫之前，我一直认为是简单的对单一网站的采集，无非就是对于一个域名内定点的数据抓取而已，2012年买了《数学之美》后，就一直没有正儿八经的看，或者当时看了之后，由于自己的水平有限，压根就没有留下深刻的印象，以至于现在开始系统的研究一个框架的时候，总是...
- tmux简介 tmux是一个优秀的终端复用软件，类似GNU Screen，但来自于OpenBSD，采用BSD授权。使用它最直观的好处就是，通过一个终端登录远程主机并运行tmux后，在其中可以开启多个控制台而无需再“浪费”多余的终端来连接这台远程主机；当然其功能远不止于此。 直接使用yum安装: yum install tmux ubuntu: apt-get ins... tmux简介 tmux是一个优秀的终端复用软件，类似GNU Screen，但来自于OpenBSD，采用BSD授权。使用它最直观的好处就是，通过一个终端登录远程主机并运行tmux后，在其中可以开启多个控制台而无需再“浪费”多余的终端来连接这台远程主机；当然其功能远不止于此。 直接使用yum安装: yum install tmux ubuntu: apt-get ins...
- 目录 爬虫背景 基本需求 分析参数 观察请求头参数 编写代码 重要提示 发帖成功 博客园自动评价Over 爬虫背景 爬虫最核心的问题就是解决重复操作，当一件事情可以重复的进行的时候，就可以用爬虫来解决这个问题，今天要实现的一个基本需求是完成“博客园“ 博客的自动评论，其实原理是非常简单的，提炼一下需求 基本需... 目录 爬虫背景 基本需求 分析参数 观察请求头参数 编写代码 重要提示 发帖成功 博客园自动评价Over 爬虫背景 爬虫最核心的问题就是解决重复操作，当一件事情可以重复的进行的时候，就可以用爬虫来解决这个问题，今天要实现的一个基本需求是完成“博客园“ 博客的自动评论，其实原理是非常简单的，提炼一下需求 基本需...
- 背景交代 在反爬圈子的一个大类，涉及的网站其实蛮多的，目前比较常被爬虫coder欺负的网站，猫眼影视，汽车之家，大众点评，58同城，天眼查…还是蛮多的，技术高手千千万，总有五花八门的反爬技术出现，对于爬虫coder来说，干！就完了，反正也996了~ 作为一个系列的文章，那免不了，依旧拿猫眼影视“学习”吧，为什么？因为它比较典型~ 猫眼影视 打开猫眼专业版，常规操... 背景交代 在反爬圈子的一个大类，涉及的网站其实蛮多的，目前比较常被爬虫coder欺负的网站，猫眼影视，汽车之家，大众点评，58同城，天眼查…还是蛮多的，技术高手千千万，总有五花八门的反爬技术出现，对于爬虫coder来说，干！就完了，反正也996了~ 作为一个系列的文章，那免不了，依旧拿猫眼影视“学习”吧，为什么？因为它比较典型~ 猫眼影视 打开猫眼专业版，常规操...
- SEO分类：白帽SEO、黑帽SEO 白帽SEO： 内容上的SEO： 网站标题、关键字、描述 网站内容优化 Robot.txt文件 网站地图 增加外链引用 前端SEO： 网站结构布局优化 扁平化结构（一般来说，建立的网站目录层次越少，越容易被收录，一般中小型网站，目录层次超过三层，网页爬虫就不太愿意爬行收录） 怎样做到扁平化布局结构： 控制首页链接... SEO分类：白帽SEO、黑帽SEO 白帽SEO： 内容上的SEO： 网站标题、关键字、描述 网站内容优化 Robot.txt文件 网站地图 增加外链引用 前端SEO： 网站结构布局优化 扁平化结构（一般来说，建立的网站目录层次越少，越容易被收录，一般中小型网站，目录层次超过三层，网页爬虫就不太愿意爬行收录） 怎样做到扁平化布局结构： 控制首页链接...
- 什么是Yahoo军规？即如何提高网站速度的知识。 具体如下： 1、尽量减少HTTP请求个数——须权衡 什么是http请求：从客户端到服务器端的请求消息。包括消息首行中，对资源的请求方法，资源的标识符及使用的协议。 合并图片（如css sprites，内置图片使用数据）、合并CSS、JS，这一点很重要，但是要考虑合并后的文件体积。 通过智慧和技术来解决。 2、... 什么是Yahoo军规？即如何提高网站速度的知识。 具体如下： 1、尽量减少HTTP请求个数——须权衡 什么是http请求：从客户端到服务器端的请求消息。包括消息首行中，对资源的请求方法，资源的标识符及使用的协议。 合并图片（如css sprites，内置图片使用数据）、合并CSS、JS，这一点很重要，但是要考虑合并后的文件体积。 通过智慧和技术来解决。 2、...
- 8、避免使用CSS表达式（避免在CSS中使用Expressions） 什么是CSS表达式：是用来把CSS属性和JavaScript关联起来。 页面显示和缩放，滚动、乃至移动鼠标时，CSS表达式的计算频率是我们要关注的。可以考虑一次性的表达式或者使用事件句柄来代替CSS表达式。 9、将CSS和JS放到外部文件中 是不是见到JS和CSS都要单独提取呢？ ... 8、避免使用CSS表达式（避免在CSS中使用Expressions） 什么是CSS表达式：是用来把CSS属性和JavaScript关联起来。 页面显示和缩放，滚动、乃至移动鼠标时，CSS表达式的计算频率是我们要关注的。可以考虑一次性的表达式或者使用事件句柄来代替CSS表达式。 9、将CSS和JS放到外部文件中 是不是见到JS和CSS都要单独提取呢？ ...
- 橡皮擦，一个逗趣的互联网高级网虫。新的系列，让我们一起进入 Django 世界。 已经完成的文章 滚雪球学 Python 第三轮，Python Web 之 Django 的世界小手哆嗦一下，就能用 Python Django 实现一个微型博客系统Django 做个小后台，细节在完善一点点，滚雪球学 Python 第三阶段Django QuerySet 就学... 橡皮擦，一个逗趣的互联网高级网虫。新的系列，让我们一起进入 Django 世界。 已经完成的文章 滚雪球学 Python 第三轮，Python Web 之 Django 的世界小手哆嗦一下，就能用 Python Django 实现一个微型博客系统Django 做个小后台，细节在完善一点点，滚雪球学 Python 第三阶段Django QuerySet 就学...
- 1.煎蛋网XXOO-写在前面 很高兴我这系列的文章写道第18篇了，今天写一个爬虫爱好者特别喜欢的网站煎蛋网http://jandan.net/ooxx，这个网站其实还是有点意思的，网站很多人写了N多的教程了，各种方式的都有，当然网站本身在爬虫爱好者的不断进攻下，也在不断的完善，反爬措施也很多，今天我用selenium在揍他一波。 整体看上去，煎蛋网的妹子图质量还... 1.煎蛋网XXOO-写在前面 很高兴我这系列的文章写道第18篇了，今天写一个爬虫爱好者特别喜欢的网站煎蛋网http://jandan.net/ooxx，这个网站其实还是有点意思的，网站很多人写了N多的教程了，各种方式的都有，当然网站本身在爬虫爱好者的不断进攻下，也在不断的完善，反爬措施也很多，今天我用selenium在揍他一波。 整体看上去，煎蛋网的妹子图质量还...
- 21、根据域名划分页面内容 很显然， 是最大限度地实现平行下载 22、尽量减少iframe的个数 考虑即使内容为空，加载也需要时间，会阻止页面加载，没有语意，注意iframe相对于其他DOM元素高出1-2个数量级的开销，它会在典型方式下阻塞onload事件，IE和Firefox中主页面样式表会阻塞它的下载。 23、避免404 HTTP请求时间消耗是很大的，有些站点... 21、根据域名划分页面内容 很显然， 是最大限度地实现平行下载 22、尽量减少iframe的个数 考虑即使内容为空，加载也需要时间，会阻止页面加载，没有语意，注意iframe相对于其他DOM元素高出1-2个数量级的开销，它会在典型方式下阻塞onload事件，IE和Firefox中主页面样式表会阻塞它的下载。 23、避免404 HTTP请求时间消耗是很大的，有些站点...
- X 图片网站----前言 此文章爬取网站已经失效，具体代码可以咨询橡皮擦获取。建议大家直接阅读第3篇博客 所有网站相关链接，都整体进行 X 替换，如需要确定网址，可以查阅https://www.cnblogs.com/happymeng/p/10112374.html该网址获取 从今天开始就要撸起袖子，直接写 Python 爬虫了，学习语言最好的办法就是... X 图片网站----前言 此文章爬取网站已经失效，具体代码可以咨询橡皮擦获取。建议大家直接阅读第3篇博客 所有网站相关链接，都整体进行 X 替换，如需要确定网址，可以查阅https://www.cnblogs.com/happymeng/p/10112374.html该网址获取 从今天开始就要撸起袖子，直接写 Python 爬虫了，学习语言最好的办法就是...
- Yslow是一款网站性能优化的插件： 最好在Firefox总使用，在安装前，先要安装好Firebug插件，再安装Yslow插件。 （由于有的浏览器版本不支持使用Yslow插件，这样的情况下，你可以使用它的书签版本。访问这里 http://yslow.org/mobile/，把页面最后的那个 Desktop Bookmarklet Installation I... Yslow是一款网站性能优化的插件： 最好在Firefox总使用，在安装前，先要安装好Firebug插件，再安装Yslow插件。 （由于有的浏览器版本不支持使用Yslow插件，这样的情况下，你可以使用它的书签版本。访问这里 http://yslow.org/mobile/，把页面最后的那个 Desktop Bookmarklet Installation I...
- 之前一直想搭建一个个人 CV，用来展示自己的详情，技能树，项目经历等等。从网上看了许多模板，发现扁平化设计的单页模板非常适合，不过下载了几个之后，直接拿来修改用了感觉没有什么可以学到的东西，现在扁平化趋势这么流行，加上网页的响应式布局也越来越火，何不自己尝试一把？ 2015 年 1 月 23 日，寒假正式结束了，处理完一些小事，就开始着手搭建个人 CV 了。四五天的时间，从... 之前一直想搭建一个个人 CV，用来展示自己的详情，技能树，项目经历等等。从网上看了许多模板，发现扁平化设计的单页模板非常适合，不过下载了几个之后，直接拿来修改用了感觉没有什么可以学到的东西，现在扁平化趋势这么流行，加上网页的响应式布局也越来越火，何不自己尝试一把？ 2015 年 1 月 23 日，寒假正式结束了，处理完一些小事，就开始着手搭建个人 CV 了。四五天的时间，从...
- 简述 在网站开发中使用频率最高的工具之一便是验证码，验证码在此也是多种多样，不过简单的图片验证码已经可以被机器识别，极验验证码提供了一个安全可靠的滑动验证码体系，让网站开发更加安全。 先感受一下这种验证码的魅力 极验 接入极验验证码的过程并没有想象中的那么简单，如果想在 Laravel5 中使用，可以使用 Laravel5 的极验验证码包 LaravelGeetest 支持... 简述 在网站开发中使用频率最高的工具之一便是验证码，验证码在此也是多种多样，不过简单的图片验证码已经可以被机器识别，极验验证码提供了一个安全可靠的滑动验证码体系，让网站开发更加安全。 先感受一下这种验证码的魅力 极验 接入极验验证码的过程并没有想象中的那么简单，如果想在 Laravel5 中使用，可以使用 Laravel5 的极验验证码包 LaravelGeetest 支持...
- 大家应该遇到这样一个问题，我们利用 wamp 做服务器运行网页的时候，网页地址栏显示的图标一直是 wampserver 默认的图标，想改一下怎么办呢？ 问题如下： 就是这些图标，如何自定义自己的图标，而不是 wamp 默认图标。 首先这个图标大小像素为 16x16，大家可以自己制作，也可以上传图片来制作. 最好为 ico 格式的，如果想要上传图片制作的话可以访问这个网址：... 大家应该遇到这样一个问题，我们利用 wamp 做服务器运行网页的时候，网页地址栏显示的图标一直是 wampserver 默认的图标，想改一下怎么办呢？ 问题如下： 就是这些图标，如何自定义自己的图标，而不是 wamp 默认图标。 首先这个图标大小像素为 16x16，大家可以自己制作，也可以上传图片来制作. 最好为 ico 格式的，如果想要上传图片制作的话可以访问这个网址：...
上滑加载中
推荐直播
-
华为云软件开发生产线（CodeArts）1月&2月新特性解读2025/03/18 周二 19:00-20:00
阿星 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线1月&2月发布的新特性，并在直播过程中为您答疑解惑。
回顾中 -
基于能力图谱的openGauss项目闯关2025/03/20 周四 19:00-20:30
华为开发者布道师
想成为顶级数据库开发者吗？本次直播将从银行业务系统的数据库设计出发，带你逐步掌握openGauss的建库表、数据封装、密态技术、性能调优及AI应用。通过实战案例，全面展示openGauss的强大功能，助你提升技能，为未来的职业发展打下坚实基础。立即报名，开启你的数据库进阶之旅！
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中
热门标签