- 如果你想使用最少的时间相对客观的了解一样事物，那么最好的方式就是快速收集大量的关于它的评价，然后迅速地找出这些评价中的关键信息。 而这道题目，有两个特别大的难点：1.如何快速收集大量的评论；2.如何迅速的从大量评论中抽取关键信息。 基于python语言的爬虫技术和文本分析技术刚好可以克服这两大困难，帮助我们更快更客观的了解某样事物。... 如果你想使用最少的时间相对客观的了解一样事物，那么最好的方式就是快速收集大量的关于它的评价，然后迅速地找出这些评价中的关键信息。 而这道题目，有两个特别大的难点：1.如何快速收集大量的评论；2.如何迅速的从大量评论中抽取关键信息。 基于python语言的爬虫技术和文本分析技术刚好可以克服这两大困难，帮助我们更快更客观的了解某样事物。...
- 最近需要在一个网站下载一批数据。但是输入一个查询，返回三四万条结果，每次只能导出500条，而且每次还得输入下载条目的范围！这样点击下载，还不要了我的老命。于是乎想自动化这个过程。 我的需求主要是两点：1. 要求自动化程度高。最好有直接模拟浏览器鼠标和键盘动作的成熟接口，比如在文本框输入，选择下拉列表，单选框，复选框，点击按钮等。2. ... 最近需要在一个网站下载一批数据。但是输入一个查询，返回三四万条结果，每次只能导出500条，而且每次还得输入下载条目的范围！这样点击下载，还不要了我的老命。于是乎想自动化这个过程。 我的需求主要是两点：1. 要求自动化程度高。最好有直接模拟浏览器鼠标和键盘动作的成熟接口，比如在文本框输入，选择下拉列表，单选框，复选框，点击按钮等。2. ...
- selenium包中ActionChains类给出的示例如下： menu = driver.find_element_by_css_selector(".nav") hidden_submenu = driver.find_element_by_css_selector(".nav #submenu1") actions = ActionChains(driver)... selenium包中ActionChains类给出的示例如下： menu = driver.find_element_by_css_selector(".nav") hidden_submenu = driver.find_element_by_css_selector(".nav #submenu1") actions = ActionChains(driver)...
- selenium操作Firefox报错socket.error: [Errno 10054] 开始以为是时间不够，增加等待时间，然后没有什么用 查看：https://github.com/mozilla/geckodriver/releases 发现版本要求，再查看本地的Selenium 版本太低，是3.6的，果断升级 Firefox 57 (and great... selenium操作Firefox报错socket.error: [Errno 10054] 开始以为是时间不够，增加等待时间，然后没有什么用 查看：https://github.com/mozilla/geckodriver/releases 发现版本要求，再查看本地的Selenium 版本太低，是3.6的，果断升级 Firefox 57 (and great...
- 添加无认证代理，以参数形式添加 chromeOptions = webdriver.ChromeOptions() chromeOptions.add_argument('--proxy-server=http://ip:port') driver = webdriver.Chrome(chrome_options=chromeOptions) 123 添加认证... 添加无认证代理，以参数形式添加 chromeOptions = webdriver.ChromeOptions() chromeOptions.add_argument('--proxy-server=http://ip:port') driver = webdriver.Chrome(chrome_options=chromeOptions) 123 添加认证...
- 烯牛数据地址： http://www.xiniudata.com/project/event/lib/invest 打开页面，能正常看到内容，查看源代码发现页面并没有出现我们需要的内容，说明这是异步加载的内容。 数据抓取 方式1： 采用requests或scrapy，拿不到页面数据，api数据加密不好处理 方式2： 采用PhantomJS，尝试多次还是拿不... 烯牛数据地址： http://www.xiniudata.com/project/event/lib/invest 打开页面，能正常看到内容，查看源代码发现页面并没有出现我们需要的内容，说明这是异步加载的内容。 数据抓取 方式1： 采用requests或scrapy，拿不到页面数据，api数据加密不好处理 方式2： 采用PhantomJS，尝试多次还是拿不...
- # 项目简介：利用selenium爬取淘宝商品信息 """ 思路： 1、先打开浏览器，输入关键字，点击搜索，获取商品页总页数 2、通过遍历所有页面，获取商品页 3、获取页面的时候同时进行解析页面内容 4、将获取到的数据，存入mongodb中 技巧： 1、先通过chrome测试需要的内容，再修改为phatomjs 2、每次需要模拟操作之前，可以设置等待条件，等待加载完... # 项目简介：利用selenium爬取淘宝商品信息 """ 思路： 1、先打开浏览器，输入关键字，点击搜索，获取商品页总页数 2、通过遍历所有页面，获取商品页 3、获取页面的时候同时进行解析页面内容 4、将获取到的数据，存入mongodb中 技巧： 1、先通过chrome测试需要的内容，再修改为phatomjs 2、每次需要模拟操作之前，可以设置等待条件，等待加载完...
- 如果爬虫不会Selenium 就不要说自己会爬虫 Selenium简介 Selenium是一个用于web自动化测试的工具，Selenium测试直接运行在浏览器中，就好像一个真正的用户在操作一样 支持大部分主流的浏览器，包括IE(7,8,9,10,11)，Firefox，Safari，Chrome，Opera等。 我们可以利用它来模拟用户点击访问网站，绕过一些复杂... 如果爬虫不会Selenium 就不要说自己会爬虫 Selenium简介 Selenium是一个用于web自动化测试的工具，Selenium测试直接运行在浏览器中，就好像一个真正的用户在操作一样 支持大部分主流的浏览器，包括IE(7,8,9,10,11)，Firefox，Safari，Chrome，Opera等。 我们可以利用它来模拟用户点击访问网站，绕过一些复杂...
- 关闭图片加载 from selenium import webdriver options = webdriver.ChromeOptions() options.add_experimental_option('prefs', {'profile.managed_default_content_settings.images': 2}) browser = web... 关闭图片加载 from selenium import webdriver options = webdriver.ChromeOptions() options.add_experimental_option('prefs', {'profile.managed_default_content_settings.images': 2}) browser = web...
- 背景 之前一直在研究scrapy下数据抓取，在研究ajax数据抓取时碰巧研究了一下selenium，确实很实用，不过只做scrapy下的数据抓取，不怎么合适 一是性能的损耗，一直需要开一个浏览器 二是对于爬虫来说，分析ajax的请求才是正事 好吧，说远了，今天来扯一下我对于自动化测试一些见解。 python下的自动化测试库实在之多，selenium是浏览器测试的大杀器，关... 背景 之前一直在研究scrapy下数据抓取，在研究ajax数据抓取时碰巧研究了一下selenium，确实很实用，不过只做scrapy下的数据抓取，不怎么合适 一是性能的损耗，一直需要开一个浏览器 二是对于爬虫来说，分析ajax的请求才是正事 好吧，说远了，今天来扯一下我对于自动化测试一些见解。 python下的自动化测试库实在之多，selenium是浏览器测试的大杀器，关...
- 源起 还是爬虫里面的某个场景需要重度使用selenium场景 ，所以需要起这样一个集群 对比 单机 docker docker-compose 分布式集群 我们在使用selenium 的时候，我们一般就使用以上的环境和模式,单机怎么操作呢，下载相应的webdriver 单机 对于小型的使用环境，比如单线程操作，我们直接下载好相应版本的driver ，直接安装 sele... 源起 还是爬虫里面的某个场景需要重度使用selenium场景 ，所以需要起这样一个集群 对比 单机 docker docker-compose 分布式集群 我们在使用selenium 的时候，我们一般就使用以上的环境和模式,单机怎么操作呢，下载相应的webdriver 单机 对于小型的使用环境，比如单线程操作，我们直接下载好相应版本的driver ，直接安装 sele...
- 背景 在新创建python环境之后，总是免不了要去找selenium-driver 二进制文件，然后安装相应的python selenium包，实在是太麻烦了，下面介绍一种省时省力的方法 pip install webdriver-manager 12 pip install webdriver-manager 使用以上命令安... 背景 在新创建python环境之后，总是免不了要去找selenium-driver 二进制文件，然后安装相应的python selenium包，实在是太麻烦了，下面介绍一种省时省力的方法 pip install webdriver-manager 12 pip install webdriver-manager 使用以上命令安...
- 今天是持续写作的第 31 / 100 天。 如果你有想要交流的想法、技术，欢迎在评论区留言。 本篇文章主要承接的是 《用 Selenium 搞定自动化测试项目，途牛搜机票。》 ，本文将对其代码进行优化与重构。 文章目录 封装元素定位函数提炼函数到单独的文件中Selenium 代码异常补充知识点 `implicitly_wait()` 方... 今天是持续写作的第 31 / 100 天。 如果你有想要交流的想法、技术，欢迎在评论区留言。 本篇文章主要承接的是 《用 Selenium 搞定自动化测试项目，途牛搜机票。》 ，本文将对其代码进行优化与重构。 文章目录 封装元素定位函数提炼函数到单独的文件中Selenium 代码异常补充知识点 `implicitly_wait()` 方...
- Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作。对于一些 JavaScript 渲染的页面来说，这种抓取方式非常有效。下面我们来看看 Selenium 的安装过程。 1. 相关链接 官方网站：http://www.seleniumhq.org GitHub：https://github.com/SeleniumHQ/se... Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作。对于一些 JavaScript 渲染的页面来说，这种抓取方式非常有效。下面我们来看看 Selenium 的安装过程。 1. 相关链接 官方网站：http://www.seleniumhq.org GitHub：https://github.com/SeleniumHQ/se...
- 更新 其实本文的初衷是为了获取淘宝的非匿名旺旺，在淘宝详情页的最下方有相关评论，含有非匿名旺旺号，快一年了淘宝都没有修复这个。 可就在今天，淘宝把所有的账号设置成了匿名显示，SO，获取非匿名旺旺号已经不可能了。那本节就带大家抓取匿名旺旺号熟悉一下 Selenium 吧。 2016/7/1 前言 嗯，淘宝，它一直是个难搞的家伙。 而且买家在买宝贝的时候大多数都是匿名评论的，大... 更新 其实本文的初衷是为了获取淘宝的非匿名旺旺，在淘宝详情页的最下方有相关评论，含有非匿名旺旺号，快一年了淘宝都没有修复这个。 可就在今天，淘宝把所有的账号设置成了匿名显示，SO，获取非匿名旺旺号已经不可能了。那本节就带大家抓取匿名旺旺号熟悉一下 Selenium 吧。 2016/7/1 前言 嗯，淘宝，它一直是个难搞的家伙。 而且买家在买宝贝的时候大多数都是匿名评论的，大...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
苏州工业园区“华为云杯”2025人工智能应用创新大赛赛中直播2025/08/21 周四 16:00-17:00
Vz 华为云AIoT技术布道师
本期直播将与您一起探讨如何基于华为云IoT平台全场景云服务，结合AI、鸿蒙、大数据等技术，打造有创新性，有竞争力的方案和产品。
回顾中 -
深入解读架构师专业级培训认证2025/08/22 周五 16:30-17:30
阿肯-华为云生态技术讲师
解决方案架构专业级是开发者认证中的顶端明珠。这门认证聊什么？值得学吗？怎么考、考什么、难不难？这门课程深入解答
回顾中
热门标签