- 以下是常见头部反爬技巧与验证方式的大纲：User-Agent 字段的伪装方式，Referer 字段的伪装方式，Cookie 字段的伪装方式。 1. ⛳️ 头部反爬技巧 1.1. User-Agent 字段&User-Agent 的作用User-Agent字段是 HTTP 协议中的一个请求头部，通常用于标识客户端发送请求的应用程序、操作系统、设备类型、版本等信息。服务器可以根据 User-Ag... 以下是常见头部反爬技巧与验证方式的大纲：User-Agent 字段的伪装方式，Referer 字段的伪装方式，Cookie 字段的伪装方式。 1. ⛳️ 头部反爬技巧 1.1. User-Agent 字段&User-Agent 的作用User-Agent字段是 HTTP 协议中的一个请求头部，通常用于标识客户端发送请求的应用程序、操作系统、设备类型、版本等信息。服务器可以根据 User-Ag...
- 常见加密手段 实验介绍本实验为大家介绍一下常见的加密技术，掌握之后，可以在反爬时加入各加密算法，从而提高爬虫采集难度，本实验为大家介绍三类加密，其一是消息摘要算法/签名算法，其二是对称加密，最后一种是非对称加密，每一类型，都通过 Python 代码进行实践。特别提醒，本实验内容不会对加密算法底层逻辑进行解析，学习重点在应用层。 知识点消息摘要算法/签名算法实践对称加密算法实践非对称加密算法... 常见加密手段 实验介绍本实验为大家介绍一下常见的加密技术，掌握之后，可以在反爬时加入各加密算法，从而提高爬虫采集难度，本实验为大家介绍三类加密，其一是消息摘要算法/签名算法，其二是对称加密，最后一种是非对称加密，每一类型，都通过 Python 代码进行实践。特别提醒，本实验内容不会对加密算法底层逻辑进行解析，学习重点在应用层。 知识点消息摘要算法/签名算法实践对称加密算法实践非对称加密算法...
- 在爬虫实战过程中，常见的反爬手段如下所示。IP 地址限制：网站可以检测爬虫的 IP 地址，并限制爬虫访问。User-Agent 限制：网站可以通过检测请求头中的 User-Agent 来识别爬虫。Referrer 限制：网站可以通过检测请求头中的 Referrer 字段来识别爬虫。Cookies 限制：网站可以通过在响应中发送 Cookies 来识别爬虫。频率限制：网站可以限制爬虫访问频率，... 在爬虫实战过程中，常见的反爬手段如下所示。IP 地址限制：网站可以检测爬虫的 IP 地址，并限制爬虫访问。User-Agent 限制：网站可以通过检测请求头中的 User-Agent 来识别爬虫。Referrer 限制：网站可以通过检测请求头中的 Referrer 字段来识别爬虫。Cookies 限制：网站可以通过在响应中发送 Cookies 来识别爬虫。频率限制：网站可以限制爬虫访问频率，...
- Python 压缩文件系列文章，我们已经完成了 2 篇，具体如下：本篇博客将学习压缩 JS 代码，首先要学习的模块是 jsmin。 🚩 jsmin 库Python 中的 jsmin 库来压缩 JavaScript 文件。这个库可以通过删除不必要的空格和注释来最小化 JavaScript 代码。 🎨 库的安装在控制台使用如下命令即可安装，注意如果网络不好，请切换国内源。pip instal... Python 压缩文件系列文章，我们已经完成了 2 篇，具体如下：本篇博客将学习压缩 JS 代码，首先要学习的模块是 jsmin。 🚩 jsmin 库Python 中的 jsmin 库来压缩 JavaScript 文件。这个库可以通过删除不必要的空格和注释来最小化 JavaScript 代码。 🎨 库的安装在控制台使用如下命令即可安装，注意如果网络不好，请切换国内源。pip instal...
- 📖 导读本篇博客我们将全面了解 Flask 中关于请求的相关设置，开始前你需要先配置 Flask 的基础框架。from flask import Flask, make_responseapp = Flask(__name__)@app.route('/')def index(): response = make_response("Hello, 梦想橡皮擦") respon... 📖 导读本篇博客我们将全面了解 Flask 中关于请求的相关设置，开始前你需要先配置 Flask 的基础框架。from flask import Flask, make_responseapp = Flask(__name__)@app.route('/')def index(): response = make_response("Hello, 梦想橡皮擦") respon...
- 本篇博客为大家详细介绍一下如何在 Python 中压缩 CSS 文件。正式开始前，需要准备一个未压缩过的 CSS 文件。 csscompressor 库使用在 Python 中可以使用多种方法来压缩 CSS 文件。其中一种流行的方法是使用 csscompressor 库，这个库可以帮助你压缩 CSS 代码，减小文件大小。在控制台中运行 pip install csscompressor 来安... 本篇博客为大家详细介绍一下如何在 Python 中压缩 CSS 文件。正式开始前，需要准备一个未压缩过的 CSS 文件。 csscompressor 库使用在 Python 中可以使用多种方法来压缩 CSS 文件。其中一种流行的方法是使用 csscompressor 库，这个库可以帮助你压缩 CSS 代码，减小文件大小。在控制台中运行 pip install csscompressor 来安...
- 在正式学习本篇博客前，先要了解一下什么是 SVG（Scalable Vector Graphics），它是一种矢量图形格式，可以用来在网页上创建可伸缩的图形。使用 SVG 技术实现反爬虫的方法有以下几种：验证码：使用 SVG 创建验证码图形，用户需要识别图形中的文字或数字来完成验证。图形拼图：将一张图片分成多个小图片，用户需要将小图片拼回原图才能访问网站。滑动验证：使用 SVG 创建滑块，用... 在正式学习本篇博客前，先要了解一下什么是 SVG（Scalable Vector Graphics），它是一种矢量图形格式，可以用来在网页上创建可伸缩的图形。使用 SVG 技术实现反爬虫的方法有以下几种：验证码：使用 SVG 创建验证码图形，用户需要识别图形中的文字或数字来完成验证。图形拼图：将一张图片分成多个小图片，用户需要将小图片拼回原图才能访问网站。滑动验证：使用 SVG 创建滑块，用...
- 前言什么是树在学习二叉树之前.我们先来了解什么是树,跟我们现实生活中的树有什么联系,又有什么区别,树是一种很简单的结构,他是非线性的结构.在这种结构中,所有的元素之间的关系具有明显的层次特性,节点（Node）是树的基本构成部分,每个节点只有一个前件,成为父节点,没前件的父节点只有一个,那就是树的根节点（Root）.每个节点可以有多个后件,这就是树的子节点（Children）.没有后件(没有子... 前言什么是树在学习二叉树之前.我们先来了解什么是树,跟我们现实生活中的树有什么联系,又有什么区别,树是一种很简单的结构,他是非线性的结构.在这种结构中,所有的元素之间的关系具有明显的层次特性,节点（Node）是树的基本构成部分,每个节点只有一个前件,成为父节点,没前件的父节点只有一个,那就是树的根节点（Root）.每个节点可以有多个后件,这就是树的子节点（Children）.没有后件(没有子...
- 0x00 前言python shellcode免杀的常用手法，实现过常见AV的效果。本文分为几个部分：1、shellcode加载器实现；2、代码混淆；3、寻找免杀api4、分离免杀，分离加载器与shellcode；5、python打包成exe6、组合，免杀效果分析0x01 shellcode加载器实现第一个shellcode加载器大部分脚本语言加载Shellcode都是通过c的ffi去调用操... 0x00 前言python shellcode免杀的常用手法，实现过常见AV的效果。本文分为几个部分：1、shellcode加载器实现；2、代码混淆；3、寻找免杀api4、分离免杀，分离加载器与shellcode；5、python打包成exe6、组合，免杀效果分析0x01 shellcode加载器实现第一个shellcode加载器大部分脚本语言加载Shellcode都是通过c的ffi去调用操...
- 前言每学习一个新东西总要首先知道他是什么，能做什么，怎么做，类似于哲学中的三大问题：我是谁，从哪里来，要到哪里去。或许我们一直徘徊在哲学的迷思中，也许一直想不明白，但是在思考的过程中或许会越来越接近真相，也让自己变得更强，所以进步从思考开始，我们学习算法也一样，我们得知道他是什么，思考他能解决哪些问题，具体怎么实现。那插入排序是什么呢？使用它需要满足什么条件？何为插入排序顾名思义,插入排序是... 前言每学习一个新东西总要首先知道他是什么，能做什么，怎么做，类似于哲学中的三大问题：我是谁，从哪里来，要到哪里去。或许我们一直徘徊在哲学的迷思中，也许一直想不明白，但是在思考的过程中或许会越来越接近真相，也让自己变得更强，所以进步从思考开始，我们学习算法也一样，我们得知道他是什么，思考他能解决哪些问题，具体怎么实现。那插入排序是什么呢？使用它需要满足什么条件？何为插入排序顾名思义,插入排序是...
- 介绍在数据分析和经济研究中，了解中国各省份的GDP数据是非常重要的。然而，手动收集这些数据可能是一项繁琐且费时的任务。幸运的是，Python提供了一些强大的工具和库，使我们能够自动化地从互联网上爬取数据。本文将介绍如何使用Python爬取中国各省份的GDP数据，并展示如何进行数据清洗和分析。 步骤 1. 导入所需的库首先，我们需要导入Python中的一些库，包括requests和Beaut... 介绍在数据分析和经济研究中，了解中国各省份的GDP数据是非常重要的。然而，手动收集这些数据可能是一项繁琐且费时的任务。幸运的是，Python提供了一些强大的工具和库，使我们能够自动化地从互联网上爬取数据。本文将介绍如何使用Python爬取中国各省份的GDP数据，并展示如何进行数据清洗和分析。 步骤 1. 导入所需的库首先，我们需要导入Python中的一些库，包括requests和Beaut...
- 0x00 前言之前一直在研究webpack的问题（有兴趣可以看我之前的两篇文章），最近感觉自己webapck已经大成，就看了看别的漏洞，在TOP10里我毫不犹豫的选择了主攻注入。我通常都是边学边挖的，这篇记录一下挖到的一个小通杀，这篇文章中的注入虽然很简单但也给了我很大的动力0x01 过程通杀挖掘TIPS：EDU有个开发商排行榜，拿下一个就是通杀作为想上大分的人，快人一步开始打点，鹰图语法：... 0x00 前言之前一直在研究webpack的问题（有兴趣可以看我之前的两篇文章），最近感觉自己webapck已经大成，就看了看别的漏洞，在TOP10里我毫不犹豫的选择了主攻注入。我通常都是边学边挖的，这篇记录一下挖到的一个小通杀，这篇文章中的注入虽然很简单但也给了我很大的动力0x01 过程通杀挖掘TIPS：EDU有个开发商排行榜，拿下一个就是通杀作为想上大分的人，快人一步开始打点，鹰图语法：...
- 网友：我这就去把手机的清理软件给卸载了。 网友：我这就去把手机的清理软件给卸载了。
- 报错numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array with shape (370, 370) and data type float64 原因最主要的还是电脑内存不足，因为需要处理的数据量太大，GPU性能不够，存在内存溢出现象但实际上它保存的不是模型文件，而是参数文件文件。在模型文件... 报错numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array with shape (370, 370) and data type float64 原因最主要的还是电脑内存不足，因为需要处理的数据量太大，GPU性能不够，存在内存溢出现象但实际上它保存的不是模型文件，而是参数文件文件。在模型文件...
- 前言何为队列？队列：跟数组一样，队列中的数据也是呈线性排列的，它是一种先进先出(FIFO: First in First Out)的线性结构，队列是只允许在一端进行插入操作,而在另一端进行删除操作的线性表.即在队列的尾部入队，在队列的头部出队。在队列中添加和删除数据的操作分别是在两端进行的。顾名思义，他就和我们现实生活中的‘队列’是一样的，你可以把它想象操场上排成一列的队伍，在队列中，操作总... 前言何为队列？队列：跟数组一样，队列中的数据也是呈线性排列的，它是一种先进先出(FIFO: First in First Out)的线性结构，队列是只允许在一端进行插入操作,而在另一端进行删除操作的线性表.即在队列的尾部入队，在队列的头部出队。在队列中添加和删除数据的操作分别是在两端进行的。顾名思义，他就和我们现实生活中的‘队列’是一样的，你可以把它想象操场上排成一列的队伍，在队列中，操作总...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签