python爬虫设置每个代理ip的简单方法
作者：饮醉不止马匹 发布时间：2022-11-01 19:18:52
标签：python爬虫,设置代理
python爬虫设置每个代理ip的方法：
1.添加一段代码，设置代理，每隔一段时间换一个代理。
urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。假如一个网站它会检测某一段时间某个 IP 的访问次数，如果访问次数过多，它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作，每隔一段时间换一个代理，网站君都不知道是谁在捣鬼了，这酸爽！ 下面一段代码说明了代理的设置用法。
import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
opener = urllib2.build_opener(proxy_handler)
else:
opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)
2.Timeout 设置，可以解决一些网站出现响应过慢而造成的影响问题。
之前已经说过urlopen 方法了，第三个参数就是 timeout 的设置，可以设置等待多久超时，为了解决一些网站实在响应过慢而造成的影响。 例如下面的代码，如果第二个参数 data 为空那么要特别指定是 timeout 是多少，写明形参，如果 data 已经传入，则不必声明。
import urllib2
response = urllib2.urlopen('http://www.baidu.com', timeout=10)
import urllib2
response = urllib2.urlopen('http://www.baidu.com',data, 10)
来源：https://www.py.cn/jishu/spider/32881.html
0
投稿猜你喜欢
- 跨浏览器方法function getStyle(elem, cssprop, cssprop2){ if(elem.currentStyle
使用Python加载最新的Excel读取类库xlwings可以说是Excel数据处理的利器，但使用起来还是有一些注意事项，否则高大上的Pyt- 一、游戏展示所谓：开局一张图，后面全靠编。先放图片、动画展示一波。游戏玩法很简单，按空格猴子↑跳起来，躲开巨浪袭击，时间越
- 好吧，我承认我是对晚上看到一张合适的票转让但打过电话去说已经被搞走了这件事情感到蛋疼。直接上文件吧。#coding: utf-8'&
- jQuery 真是一个非常伟大的 javascript library，至少在我不会写 JS 的时候第一时间接触了它，虽然还有其他很多优秀的
- 加入CDC的这段日子里，工作中积累的小心得都密密麻麻的收在册子里。恰逢近期的校园招聘正如火如荼的展开着，借此机会，我把这一些不太成熟的小想法
- 大家可能都不大熟悉关于pdb这个模块，实际上就是python中的内置模块，主要作用于命令行调试代码，下面我们将通过是哪个小结给大家详细介绍下
- BLOG地址：http://www.planabc.net/article.asp?id=107学习标准的朋友，一般都会在学习的过程中接触到
- 一、什么是 Postman（前世今生）Postman 诞生于 2013 年，一开始只是 Abhinav Asthana 着手于解决 API
- 收集所有外部链接的网站爬虫程序流程图下例是爬取本站python绘制条形图方法代码详解的实例，大家可以参考下。完整代码：#! /usr/bin
- 来自 Nine Javascript Gotchas , 以下是JavaScript容易犯错的九个陷阱。虽然不是什么很高深的技术问题，但注意
- 本文实例讲述了Python装饰器用法。分享给大家供大家参考，具体如下：写装饰器装饰器只不过是一种函数，接收被装饰的可调用对象作为它的唯一参数
- 一、requestsrequest的说法网上有很多，简单来说就是就是python里的很强大的类库，可以帮助你发很多的网络请求，比如get,p
- 简介如果你经常网上冲浪，这样参差不齐的多栏布局，是不是很眼熟啊？类似的布局，似乎一夜之间出现在国内外大大小小的网站上，比如 Pinteres
- 前言：最近在学习单片机，老师要求自己写串口通信的上位机程序，我采用比较简单的pyqt5+serial模块来完成任务，pycharm测试一切正
- 前几篇都是手动录入或随机函数产生的数据。实际有许多类型的文件，以及许多方法，用它们从文件中提取数据来图形化。比如之前python基础(12)
- 最近要做个从 pdf 文件中抽取文本内容的工具，大概查了一下 python 里可以使用 pdfminer 来实现。下面就看看怎样使用吧。PD
- 本文分析了PHP中$GLOBALS['HTTP_RAW_POST_DATA']和$_POST的区别。分享给大家供大家参考，具
- linux下使用python打开terminal时报错场景一：在jenkins上执行自动化任务，测试任务执行时使用jenkins用户（有su
-   本文介绍基于Python中ArcPy模块，实现基于栅格图像批量裁剪栅格图像，同时对齐各个栅格图像的空
