- selenium包中ActionChains类给出的示例如下： menu = driver.find_element_by_css_selector(".nav") hidden_submenu = driver.find_element_by_css_selector(".nav #submenu1") actions = ActionChains(driver)... selenium包中ActionChains类给出的示例如下： menu = driver.find_element_by_css_selector(".nav") hidden_submenu = driver.find_element_by_css_selector(".nav #submenu1") actions = ActionChains(driver)...
- selenium操作Firefox报错socket.error: [Errno 10054] 开始以为是时间不够，增加等待时间，然后没有什么用 查看：https://github.com/mozilla/geckodriver/releases 发现版本要求，再查看本地的Selenium 版本太低，是3.6的，果断升级 Firefox 57 (and great... selenium操作Firefox报错socket.error: [Errno 10054] 开始以为是时间不够，增加等待时间，然后没有什么用 查看：https://github.com/mozilla/geckodriver/releases 发现版本要求，再查看本地的Selenium 版本太低，是3.6的，果断升级 Firefox 57 (and great...
- 添加无认证代理，以参数形式添加 chromeOptions = webdriver.ChromeOptions() chromeOptions.add_argument('--proxy-server=http://ip:port') driver = webdriver.Chrome(chrome_options=chromeOptions) 123 添加认证... 添加无认证代理，以参数形式添加 chromeOptions = webdriver.ChromeOptions() chromeOptions.add_argument('--proxy-server=http://ip:port') driver = webdriver.Chrome(chrome_options=chromeOptions) 123 添加认证...
- 烯牛数据地址： http://www.xiniudata.com/project/event/lib/invest 打开页面，能正常看到内容，查看源代码发现页面并没有出现我们需要的内容，说明这是异步加载的内容。 数据抓取 方式1： 采用requests或scrapy，拿不到页面数据，api数据加密不好处理 方式2： 采用PhantomJS，尝试多次还是拿不... 烯牛数据地址： http://www.xiniudata.com/project/event/lib/invest 打开页面，能正常看到内容，查看源代码发现页面并没有出现我们需要的内容，说明这是异步加载的内容。 数据抓取 方式1： 采用requests或scrapy，拿不到页面数据，api数据加密不好处理 方式2： 采用PhantomJS，尝试多次还是拿不...
- # 项目简介：利用selenium爬取淘宝商品信息 """ 思路： 1、先打开浏览器，输入关键字，点击搜索，获取商品页总页数 2、通过遍历所有页面，获取商品页 3、获取页面的时候同时进行解析页面内容 4、将获取到的数据，存入mongodb中 技巧： 1、先通过chrome测试需要的内容，再修改为phatomjs 2、每次需要模拟操作之前，可以设置等待条件，等待加载完... # 项目简介：利用selenium爬取淘宝商品信息 """ 思路： 1、先打开浏览器，输入关键字，点击搜索，获取商品页总页数 2、通过遍历所有页面，获取商品页 3、获取页面的时候同时进行解析页面内容 4、将获取到的数据，存入mongodb中 技巧： 1、先通过chrome测试需要的内容，再修改为phatomjs 2、每次需要模拟操作之前，可以设置等待条件，等待加载完...
- 如果爬虫不会Selenium 就不要说自己会爬虫 Selenium简介 Selenium是一个用于web自动化测试的工具，Selenium测试直接运行在浏览器中，就好像一个真正的用户在操作一样 支持大部分主流的浏览器，包括IE(7,8,9,10,11)，Firefox，Safari，Chrome，Opera等。 我们可以利用它来模拟用户点击访问网站，绕过一些复杂... 如果爬虫不会Selenium 就不要说自己会爬虫 Selenium简介 Selenium是一个用于web自动化测试的工具，Selenium测试直接运行在浏览器中，就好像一个真正的用户在操作一样 支持大部分主流的浏览器，包括IE(7,8,9,10,11)，Firefox，Safari，Chrome，Opera等。 我们可以利用它来模拟用户点击访问网站，绕过一些复杂...
- 关闭图片加载 from selenium import webdriver options = webdriver.ChromeOptions() options.add_experimental_option('prefs', {'profile.managed_default_content_settings.images': 2}) browser = web... 关闭图片加载 from selenium import webdriver options = webdriver.ChromeOptions() options.add_experimental_option('prefs', {'profile.managed_default_content_settings.images': 2}) browser = web...
- 背景 之前一直在研究scrapy下数据抓取，在研究ajax数据抓取时碰巧研究了一下selenium，确实很实用，不过只做scrapy下的数据抓取，不怎么合适 一是性能的损耗，一直需要开一个浏览器 二是对于爬虫来说，分析ajax的请求才是正事 好吧，说远了，今天来扯一下我对于自动化测试一些见解。 python下的自动化测试库实在之多，selenium是浏览器测试的大杀器，关... 背景 之前一直在研究scrapy下数据抓取，在研究ajax数据抓取时碰巧研究了一下selenium，确实很实用，不过只做scrapy下的数据抓取，不怎么合适 一是性能的损耗，一直需要开一个浏览器 二是对于爬虫来说，分析ajax的请求才是正事 好吧，说远了，今天来扯一下我对于自动化测试一些见解。 python下的自动化测试库实在之多，selenium是浏览器测试的大杀器，关...
- 源起 还是爬虫里面的某个场景需要重度使用selenium场景 ，所以需要起这样一个集群 对比 单机 docker docker-compose 分布式集群 我们在使用selenium 的时候，我们一般就使用以上的环境和模式,单机怎么操作呢，下载相应的webdriver 单机 对于小型的使用环境，比如单线程操作，我们直接下载好相应版本的driver ，直接安装 sele... 源起 还是爬虫里面的某个场景需要重度使用selenium场景 ，所以需要起这样一个集群 对比 单机 docker docker-compose 分布式集群 我们在使用selenium 的时候，我们一般就使用以上的环境和模式,单机怎么操作呢，下载相应的webdriver 单机 对于小型的使用环境，比如单线程操作，我们直接下载好相应版本的driver ，直接安装 sele...
- 背景 在新创建python环境之后，总是免不了要去找selenium-driver 二进制文件，然后安装相应的python selenium包，实在是太麻烦了，下面介绍一种省时省力的方法 pip install webdriver-manager 12 pip install webdriver-manager 使用以上命令安... 背景 在新创建python环境之后，总是免不了要去找selenium-driver 二进制文件，然后安装相应的python selenium包，实在是太麻烦了，下面介绍一种省时省力的方法 pip install webdriver-manager 12 pip install webdriver-manager 使用以上命令安...
- 今天是持续写作的第 31 / 100 天。 如果你有想要交流的想法、技术，欢迎在评论区留言。 本篇文章主要承接的是 《用 Selenium 搞定自动化测试项目，途牛搜机票。》 ，本文将对其代码进行优化与重构。 文章目录 封装元素定位函数提炼函数到单独的文件中Selenium 代码异常补充知识点 `implicitly_wait()` 方... 今天是持续写作的第 31 / 100 天。 如果你有想要交流的想法、技术，欢迎在评论区留言。 本篇文章主要承接的是 《用 Selenium 搞定自动化测试项目，途牛搜机票。》 ，本文将对其代码进行优化与重构。 文章目录 封装元素定位函数提炼函数到单独的文件中Selenium 代码异常补充知识点 `implicitly_wait()` 方...
- Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作。对于一些 JavaScript 渲染的页面来说，这种抓取方式非常有效。下面我们来看看 Selenium 的安装过程。 1. 相关链接 官方网站：http://www.seleniumhq.org GitHub：https://github.com/SeleniumHQ/se... Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作。对于一些 JavaScript 渲染的页面来说，这种抓取方式非常有效。下面我们来看看 Selenium 的安装过程。 1. 相关链接 官方网站：http://www.seleniumhq.org GitHub：https://github.com/SeleniumHQ/se...
- 更新 其实本文的初衷是为了获取淘宝的非匿名旺旺，在淘宝详情页的最下方有相关评论，含有非匿名旺旺号，快一年了淘宝都没有修复这个。 可就在今天，淘宝把所有的账号设置成了匿名显示，SO，获取非匿名旺旺号已经不可能了。那本节就带大家抓取匿名旺旺号熟悉一下 Selenium 吧。 2016/7/1 前言 嗯，淘宝，它一直是个难搞的家伙。 而且买家在买宝贝的时候大多数都是匿名评论的，大... 更新 其实本文的初衷是为了获取淘宝的非匿名旺旺，在淘宝详情页的最下方有相关评论，含有非匿名旺旺号，快一年了淘宝都没有修复这个。 可就在今天，淘宝把所有的账号设置成了匿名显示，SO，获取非匿名旺旺号已经不可能了。那本节就带大家抓取匿名旺旺号熟悉一下 Selenium 吧。 2016/7/1 前言 嗯，淘宝，它一直是个难搞的家伙。 而且买家在买宝贝的时候大多数都是匿名评论的，大...
- 任务要求： 网址为https://www.jianshu.com/u/9104ebf5e177，爬取内容为简书用户的最新评论中的评论题目、评论内容及评论时间，爬取5页，用selenium爬取，将这些评论存入Excel文件中，文件后缀为.xls。将ipynb文件和后缀为.xls的文件压缩打包。 通过博客对selenium的简单介绍，现在开始实战啦... 任务要求： 网址为https://www.jianshu.com/u/9104ebf5e177，爬取内容为简书用户的最新评论中的评论题目、评论内容及评论时间，爬取5页，用selenium爬取，将这些评论存入Excel文件中，文件后缀为.xls。将ipynb文件和后缀为.xls的文件压缩打包。 通过博客对selenium的简单介绍，现在开始实战啦...
- selenium提取数据 文章目录 selenium提取数据知识点： 1. driver对象的常用属性和方法知识点：了解 driver对象的常用属性和方法 2. driver对象定位标签元素获取标签对象的方法知识点：掌握 driver对象定位标签元素获取标签对象的方法 3. 标签对象提取文本内容和属性值 推荐阅读： 使用xpath... selenium提取数据 文章目录 selenium提取数据知识点： 1. driver对象的常用属性和方法知识点：了解 driver对象的常用属性和方法 2. driver对象定位标签元素获取标签对象的方法知识点：掌握 driver对象定位标签元素获取标签对象的方法 3. 标签对象提取文本内容和属性值 推荐阅读： 使用xpath...
上滑加载中
推荐直播
-
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中
热门标签