​618购物节,我用python逛淘宝、亚马逊,摸鱼被领导发现了

python 专栏收录该内容
56 篇文章 35 订阅

事情是这样的

下午两点,闷热的会议室

空调稳稳的坐在那里 好像睡着了

领导的嘴在幻灯片刺眼亮光的映照下

非常斗志昂扬的一张一合

我敏锐的察觉到领导突然扬起的声调

若有所思的对着他深深的点了点头

然后,摸出了我的开发工具。。。

亚马逊是全球最大的购物平台

很多商品信息、用户评价等等都是最丰富的。

今天,手把手带大家,越过亚马逊的反爬虫机制

爬取你想要的商品、评论等等有用信息

反爬虫机制

但是,我们想用爬虫来爬取相关的数据信息时

像亚马逊、TBao、JD这些大型的购物商城

他们为了保护自己的数据信息,都是有一套完善的反爬虫机制的

先试试亚马逊的反爬机制

我们用不同的几个python爬虫模块,来一步步试探

最终,成功越过反爬机制。

一、urllib模块

代码如下:

# -*- coding:utf-8 -*-
import urllib.request
req = urllib.request.urlopen('https://www.amazon.com')
print(req.code)

返回结果:状态码:503。

分析:亚马逊将你的请求,识别为了爬虫,拒绝提供服务。

本着科学严谨的态度,我们拿万人上的百度试一下。

返回结果:状态码 200

分析:正常访问

那说明,urllib模块的请求,被亚马逊识别为爬虫,并拒绝提供服务

二、requests模块

1、requests直接爬虫访问

效果如下 ↓ ↓ ↓

代码如下 ↓ ↓ ↓

import requests
url='https://www.amazon.com/KAVU-Rope-Bag-Denim-Size/product-reviews/xxxxxx'
r = requests.get(url)
print(r.status_code)

返回结果:状态码:503。

分析:亚马逊同样拒绝了requsets模块的请求

将其识别为了爬虫,拒绝提供服务。

2、我们给requests加上cookie

加上请求cookie等相关信息

效果如下 ↓ ↓ ↓

代码如下 ↓ ↓ ↓

import requests

url='https://www.amazon.com/KAVU-Rope-Bag-Denim-Size/product-reviews/xxxxxxx'
web_header={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:88.0) Gecko/20100101 Firefox/88.0',
'Accept': '*/*',
'Accept-Language': 'zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2',
'Accept-Encoding': 'gzip, deflate, br',
'Connection': 'keep-alive',
'Cookie': '你的cookie值',
'TE': 'Trailers'}
r = requests.get(url,headers=web_header)
print(r.status_code)

返回结果:状态码:200

分析:返回状态码是200了,正常了,有点爬虫那味了。

3、检查返回页面

我们通过requests+cookie的方法,得到的状态码为200

目前至少被亚马逊的服务器正常提供服务了

我们将爬取的页面写入文本中,通过浏览器打开。

我踏马...返回状态是正常了,但返回的是一个反爬虫的验证码页面。

还是 被亚马逊给挡住了。

三、selenium自动化模块

相关selenium模块的安装

pip install selenium

代码中引入selenium,并设置相关参数

import os
from requests.api import options
from selenium import webdriver
from selenium.webdriver.chrome.options import Options

#selenium配置参数
options = Options()
#配置无头参数,即不打开浏览器
options.add_argument('--headless')
#配置Chrome浏览器的selenium驱动 
chromedriver="C:/Users/pacer/AppData/Local/Google/Chrome/Application/chromedriver.exe"
os.environ["webdriver.chrome.driver"] = chromedriver
#将参数设置+浏览器驱动组合
browser = webdriver.Chrome(chromedriver,chrome_options=options)

 测试访问

url = "https://www.amazon.com"
print(url)
#通过selenium来访问亚马逊
browser.get(url)

返回结果:状态码:200

分析:返回状态码是200了,访问状态正常,我们再看看爬到的网页信息。

将网页源码保存到本地

#将爬取到的网页信息,写入到本地文件
fw=open('E:/amzon.html','w',encoding='utf-8')
fw.write(str(browser.page_source))
browser.close()
fw.close()

打开我们爬取的本地文件,查看 ,

我们已经成功越过了反爬虫机制,进入到了Amazon的首页

结局

通过selenium模块,我们可以成功的越过

亚马逊的反爬虫机制。

下一篇:我们继续介绍,如何来爬取亚马逊的数十万商品信息及评论。

【有问题,请留言~~~】

Selenium各大浏览器驱动【谷歌chrme、火狐Firefox、IE浏览器】

https://download.csdn.net/download/weixin_42350212/14983610

 推荐阅读

【资源推荐】

python实战

【pygame开发实战开发30例 完整源码】

【pygame游戏开发专栏,获取完整源码+教程】

CSDN官方学习推荐 ↓ ↓ ↓

  • CSDN出的Python全栈知识图谱,太强了,推荐给大家!

<p> <span><strong> </strong></span> </p> <p> <strong><span style="color:#337FE5;">【</span><strong><span style="color:#337FE5;">为什么学</span></strong><strong><span style="color:#337FE5;">Python?</span></strong><span style="color:#337FE5;">】</span></strong> </p> <p> Python 是当今非常热门的语言之一2020年的 TIOBE 编程语言排行榜中 Python名列第一并且其流行度依然处在上升势头。 </p> <p> 借此机会裴老师联合CSDN推出本课程希望能影响更多的人走进Python踏入编程的大门。 </p> <p> <br /> </p> <p> <strong><span style="color:#337FE5;">【</span><strong><span style="color:#337FE5;">你将收获什么?</span></strong><span style="color:#337FE5;">】</span></strong> </p> <p> · 本课程就是为开发者抓住“新基建”这个历史机遇而设置的。认真地学完本课程你就有一把钥匙所谓“时势造英雄”Python语言就是未来成长的垫脚石。 </p> <p> · 从核心基础概念到常见第三方模块包括数据结构逻辑运算常见语句函数类及第三方模块丰富的案例帮助学员快速入门Python。 </p> <p> · “授人以鱼”和“授人以渔”并重是本课程的特色。通过在本课程的学习学员能够以Python语言为载体掌握研习高级编程语言的一般方法为后续个人发展奠定基础。  </p> <p> <br /> </p> <p> <span style="color:#337FE5;"><strong>[知识脉络图]</strong></span> </p> <p> <span style="color:#337FE5;"><strong><img src="https://img-bss.csdnimg.cn/202007220623236011.png" alt="" /><br /> </strong></span> </p>
相关推荐
<span> </span> <p> <span style="font-size:16px;"> </span> </p> <p style="font-family:"color:#3D3D3D;font-size:16px;background-color:#FFFFFF;"> <span style="font-family:"font-size:16px;"> </span><span style="font-family:"font-size:16px;">当你需要一门语法简单功能强悍的编程语言时Python一定是开发者的首选经过Google多年以来不断的完善使得Python成为今天世界上最流行的编程语言之一同时由于各个开源技术爱好者的不断贡献使得Python拥有完善生态体系本课程将为读者揭开Python程序开发的神秘面纱。</span> </p> <p> <br /> </p> <p> <span></span><span style="font-size:16px;">       在本课程之中详尽的为读者分析Python之中的各个语法组成结构通过大量的案例对Python语言使用特点的进行全面讲解同时采用大量的图形与直白的对话进行程序使用分析。</span><span style="font-size:16px;"></span> </p> <p> <br /> </p> <p> <span></span><span style="font-size:16px;">      本课程除Python语言的语法讲解透彻之外还为读者讲解PyPI分享PyCharm开发工具模块的创建与管理并发编程IO操作网络编程数据库编程网络爬虫等内容。</span><span style="font-size:16px;"></span> </p> <p> <br /> </p> <p> <span style="font-size:16px;background-color:#E53333;color:#FFFFFF;">       课程开发工具与代码下载地址:</span><span style="font-size:16px;background-color:#E53333;color:#FFFFFF;">https://pan.baidu.com/s/1ag6uz_UiG_w6EOljWcxi8A</span> </p>
<span style="color:#333333;font-size:14px;">课程介绍:</span> <br /> <p style="font-size:14px;background-color:#FFFFFF;">         全面系统的学习Python爬虫入门视频课程从零开始掌握Python爬虫项目的编写学会独立开发常见的爬虫项目让掌握好Python基础的你Python用起来! </p> <br /> <p style="font-size:14px;background-color:#FFFFFF;">         1学完能够 从零开始掌握Python爬虫项目的编写学会独立开发常见的爬虫项目; </p> <p style="font-size:14px;background-color:#FFFFFF;"> <br /> </p> <p style="font-size:14px;background-color:#FFFFFF;">         2学完能够掌握常见的 反爬处理手段比如验证码处理浏览器伪装代理IP池技术用户代理池技术等; </p> <p style="font-size:14px;background-color:#FFFFFF;"> <br /> </p> <p style="font-size:14px;background-color:#FFFFFF;">         3学完能够熟练使用 正则表达式 XPath表达式进行信息提取; </p> <p style="font-size:14px;background-color:#FFFFFF;"> <br /> </p> <p style="font-size:14px;background-color:#FFFFFF;">         4学完掌握 抓包技术掌握 屏蔽的数据信息如何进行提取学会自动 模拟加载行为进行网址构造自动模拟进行 Ajax异步请求数据; </p> <p style="font-size:14px;background-color:#FFFFFF;"> <br /> </p> <p style="font-size:14px;background-color:#FFFFFF;">         5熟练掌握urllib模块 熟练使用Scrapy框架进行爬虫项目开发。 </p>
©️2020 CSDN 皮肤主题: 猿与汪的秘密 设计师:白松林 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值