对python多线程与global变量详解
作者：hsj_csdn 发布时间：2021-03-05 20:34:48
标签：python,多线程,global
今天早上起来写爬虫，基本框架已经搭好，添加多线程爬取功能时，发现出错：
比如在下载文件的url列表中加入200个url，开启50个线程。我的爬虫…竟然将50个url爬取并全部命名为0.html，也就是说，最后的下载结果，是有1个0.html（重复的覆盖了），还有1-150。下面是我的代码：
x = str(theguardian_globle.g)
#x为给下载的文件命的名
filePath = "E://wgetWeiBao//"+x+".html"
try:
wget.download(url,filePath)
theguardian_globle.g+=1
print x+" is downloading..."
except:
print "error!"
#这个是全局变量g的定义
global g
g = 0
后来终于发现问题：多线程+全局变量是个危险的组合，因为程序有多个线程在同时执行，多个线程同时操作全局变量，会引起混乱。在多线程中操作全局变量，应当给该操作加锁。
以下为修改后的代码：
函数：
def downLoad(url,num):
x = str(num)
filePath = "E://wgetWeiBao//"+x+".html"
try:
wget.download(url,filePath)
print x+" is downloading..."
except:
print "error!"
多线程消费者_给操作全局变量的语句加锁
class Cosumer(threading.Thread):
def run(self):
print('％s:started' ％ threading.current_thread())
while True:
global gCondition
gCondition.acquire()
while q.empty()==True:
gCondition.wait()
url = q.get()
num = theguardian_globle.g
theguardian_globle.g+=1
gCondition.release()
downLoad(url,num)
大功告成！
来源：https://blog.csdn.net/hsj_csdn/article/details/55505475
0
投稿猜你喜欢
- Python的property属性的功能是：property属性内部进行一系列的逻辑计算，最终将计算结果返回。使用property修饰的实例
- 本文实例为大家分享了python学生管理系统的具体代码，供大家参考，具体内容如下类class Student: stuID = "
- JavaScript 有三种弹窗 Alert (只有确定按钮), Confirmation (确定,取消等按钮), Prompt (有输入对
- 1.获取页面titletitle：获取当前页面的标题显示的字段from selenium import webdriverimport ti
- 下面看下python调用函数加括号和不加括号的区别，具体代码如下所示； def bracket(data):return dat
- 通过界面设计上是能手工操作的，无法达到我批量修改几千台服务器。 因为此了一个脚本来批量执行。 环境：redgate + mssql 2008
- Python2.6 之前：字符串转换为整形和浮点型>>>import string>>>string.a
本文实例为大家分享了Python版名片管理系统的具体代码，供大家参考，具体内容如下先建立cards_main的文件import cards_- 1> 如何在浏览器地址栏前添加自定义的小图标？你是不是记得有时在浏览网易网站的首页时，在地址WWW.PUTAOJIAYUAN.COM前
- 安装TensorFlow后，在Python中输入 import tensorflow as tf 时 提示一下类似错误ImportError
- 可视化单词统计词频统计中文分词项目架构新建一个文件，输入文件的内容，查询此文件中关键字的出现的次数，关键字出现的位置，将所有的文本按照中文分
- 这几天在落伍上转转，发现有朋友不太明白一些网站在会员注册时，当输入用户名后没按“确定”提交数据，系统也能马上检测该用户名是否已经存在。在此我
- 昨天在做mergeCSS的时候遇到两个正则匹配的问题，也花了不少的时间，最后在CSS森林群的 CE 同学帮助下，才完成了这俩正则，特别记录下
- 一、下载instant client1.附链接：http://www.oracle.com/technetwork/topics/winx6
- Python中列表（list）的实现其实是一个数组，当要查找某一个元素的时候时间复杂度是O(n)，使用list.index()方法，但是随着
- 背景学习 Python 的话，仅掌握标准库是远不够的，有很多好用的第三方库我们也需要用到的，比如，由鼎鼎大名的 K 神开发的爬虫必不可少的
- 一个几百行代码做出http/https代理服务器的脚本，启动即可做http https透明代理使用python proxy.py 8992使
- JavaScript 中的并没有提供像 VBScript 里的 DateAdd 方法用于日
- 最近微信迎来了一次重要的更新，允许用户对”发现”页面进行定制。不知道从什么时候开始，微信朋友圈变得越来越复杂，当越来越多的人选择”仅展示最近
- 在SQL Server 2008里安装审计，步骤如下：1. 给每个SQL Server 2008具体实例创建一个SQL Server审计2.
