由于主要用java做web开发,除了以前的在线聊天试验
,对于Object下的wait与notify确实很少使用,并且java中wait与notify都是native的方法,也只能看看api doc,注意下使用事项,总觉得不很踏实,一般来说对于多线程同步问题,最基本的思想就是加锁,其他一切同步机制实际上都是由锁来构造的,那么wait与notify也应该能用锁来实现,近来学习python知道,python中最基本的同步机制就是锁 (Lock),用C实现,而wait与notify则是在锁的基础上用python自身实现,定义在lib/threading.py的Condition类中,看完之后终于对wait机制有了更深刻的理解。
java
简单介绍一下java中的wait以及notify:
首先可以这样理解,每个object实际上自身和一个monitor(锁)关联,
object.wait(timeout) :使当前线程放弃object的锁并等待,除非其它线程调用了object.notify()或者object.notifyAll(),或者使等待线程中断,或者等待了timeout时间
object.notify():随机唤醒一个等待在object的线程 ,该线程和其他活动线程一起争夺object的锁
object.notifyAll():唤醒所有等待在object的线程 ,线程和其他活动线程一起争夺object的锁
根据 java api doc ,使用wait,notify注意事项:
1。调用线程必须已经获得了object的锁,即在synchronized方法或者synchronized(object){}语句块中调用
2。调用线程被唤醒后实际上并不会立即执行后续操作,它要先和其它活动线程竞争获得当前对象的锁,得到对象锁后才能接着执行wait后代码。
python
python对象没有隐式的和一个锁关联,且python中的wait,notify是由python语言自身利用锁(Lock)实现,实现类为Condition,但是概念思想上是和java保留一致,如果要模拟java的话,只需创建python对象时,显式将一个Condition实例赋给创建对象的一个成员属性,那么可以对应java中的doc来看一下python的实现:
threading.py Condition类:
1。wait,notify必须在获得当前对象锁的前提下:
def wait(self, timeout=None):
if not self._is_owned():
raise RuntimeError("cannot wait on un-aquired lock")
.......
def notify(self, n=1):
if not self._is_owned():
raise RuntimeError("cannot notify on un-aquired lock")
.......
可见在wait,notify时都要进行检查,其中self._is_owned()正是判断调用线程是否获得了Condition的内置锁,也即java中对象monitor的概念。
2.wait调用后会使当前线程放弃已经获得对象锁:
def wait(self, timeout=None):
.....
saved_state = self._release_save()
其中 self._release_save正是进行了放弃Condition内置锁的操作,也对应着java先放弃对象monitor的概念
3.wait 使当前线程等待的实现
java doc说明:将当前线程加入object的waitset,然后等待。
python实现为:当前线程在一个新建锁上等待,把改锁加入到condition的等待数组中,线程等待锁的release
def wait(self, timeout=None):
...
#新建一把锁
waiter = _allocate_lock()
#现获得一次,后面再获得就阻测
waiter.acquire()
#记录等待
self.__waiters.append(waiter)
.....
if timeout is None:
#在改锁上等待
waiter.acquire()
if __debug__:
self._note("%s.wait(): got it", self)
4.notify唤醒等待线程实现
同java不同,java notify唤醒的线程不能确定,而python则能确定,一定是第一个调用wait的线程被唤醒,即为先进先出的队列结构。
对于python为:release __waiters等待数组的第一个锁,对应的等待线程即可重新开始在wait函数内运行:
def notify(self, n=1):
....
waiters = __waiters[:n]
for waiter in waiters:
#锁释放,意味着等待锁的对应线程可是从wait函数运行
waiter.release()
try:
__waiters.remove(waiter)
except ValueError:
pass
5.唤醒线程和其他活动线程争夺对象锁
唤醒线程并不是立刻从wait()返回开始它的实际操作,而是要先争夺conditon的内置锁,即java的object monitor:
def wait(self, timeout=None):
#等待在新建锁上
if timeout is None:
waiter.acquire()
#新建锁释放了,但是要先获得condition内置锁才能返回
self._acquire_restore(saved_state)
6.wait的超时处理与notifyAll 略
实例:
分别用java与python实现了经典的生产者与消费者模型
java:
class Q {
int n;
boolean valueSet = false;
/*
如果不同步获得monitor,则会抛出java.lang.IllegalMonitorStateException
*/
/*
同步方式1:By executing a synchronized instance method of that object.
*/
synchronized int get() {
if (!valueSet)
try {
wait();
} catch (InterruptedException e) {
System.out.println("InterruptedException caught");
}
System.out.println("Got: " + n);
valueSet = false;
notify();
return n;
}
/*
如果不同步获得monitor,则会抛出java.lang.IllegalMonitorStateException
*/
void put(int n) {
/*
同步方式2:By executing the body of a synchronized statement
* that synchronizes on the object.
*/
synchronized (this) {
if (valueSet)
try {
wait();
} catch (InterruptedException e) {
System.out.println("InterruptedException caught");
}
this.n = n;
valueSet = true;
System.out.println("Put: " + n);
notify();
}
}
}
class Producer implements Runnable {
Q q;
Producer(Q q) {
this.q = q;
new Thread(this, "Producer").start();
}
public void run() {
int i = 0;
while (i < 7) {
q.put(i++);
}
}
}
class Consumer implements Runnable {
Q q;
Consumer(Q q) {
this.q = q;
new Thread(this, "Consumer").start();
}
public void run() {
int i = 0;
while (i < 7) {
q.get();
i++;
}
}
}
class WaitTest {
public static void main(String args[]) {
Q q = new Q();
new Producer(q);
new Consumer(q);
}
}
python:
# -*- coding: utf-8 -*-
import threading
class Q(object):
def __init__(self):
self.n=0
self.valueSet=False
#相对于java,这里的要自己声明
self.cv=threading.Condition()
def get(self):
cv=self.cv
#先得到锁
cv.acquire()
if not self.valueSet:
cv.wait()
print "Got:",self.n
self.valueSet=False
cv.notify()
#放弃锁
cv.release()
return self.n
def put(self,n):
cv=self.cv
#先得到锁
cv.acquire()
if self.valueSet:
cv.wait()
self.n=n;
self.valueSet=True
print "Put:",n
#放弃锁
cv.notify()
cv.release()
class Producer(threading.Thread):
def __init__(self,q):
threading.Thread.__init__(self)
self.q=q
self.start()
def run(self):
i=0
while i<7:
i+=1
self.q.put(i)
class Consumer(threading.Thread):
def __init__(self,q):
threading.Thread.__init__(self)
self.q=q
self.start()
def run(self):
i=0
while i<7:
i+=1
self.q.get()
if __name__=="__main__":
q=Q()
Producer(q)
Consumer(q)
分享到:
相关推荐
主要为大家详细介绍了python多线程同步之文件读写控制,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
Python 多线程编程实例,一个综合示例
基于Linux的python多线程爬虫程序设计.pdf
Python里的多线程是假的多线程,不管有多少核,同一时间只能在一个核中进行操作!利用Python的多线程,只是利用CPU上下文切换的优势,看上去像是并发,其实只是个单线程,所以说他是假的单线程。 那么什么时候用多...
python多线程压测demo
提供了使用python多线程与但线程下载在线地图瓦片的源码。多线程方式,经过实测检验,可以稳定长时间运行,下载失败,自动重试。python3.0环境
python 多线程封装脚本,可以直接拿来当lib导入使用。
一个Python多线程爬虫,在工作时,开10个线程来抓取新浪网页的数据,抓取并保存页面, 并且根据deep返回页面链接,根据key确定是否保存该页面,其中: deep == 0时,是抓取的最后一层深度,即只抓取并保存页面,不...
python多线程编程实现网络串口透传, 为TCP客户端网口数据串口透传。
python 多线程 实例 注释详解
python多线程,断点续传下载程序,功能比较简单,可以进行二次开发。实现更好用的 功能。
使用python多线程异步提高模型部署到rk3588NPU使用率_python源码+项目使用说明.zip 【项目资源说明】 使用多线程异步操作rknn模型, 提高rk3588/rk3588s的NPU使用率, 进而提高推理帧数(rk3568之类修改后应该也能使用,...
Python多线程编程文档说明 多进程编程 一、 multiprocessing 模块 1. multiprocessing 模块提供了多进程编程的能力 它的API非常类似于 threading 模块,但是也提供了一些threading 模块不具有的能力 相比于线程,它...
python 多线程测试 源码python 多线程测试 源码
Python多线程超大日志文件解析转储,实现几十G超大文件并发处理。 实现功能如下: 1.多线程分块解析某超大日志文件,实现超大文件多线程分块处理 2.多线程写入数据到数据库postgresql/mysql 3.线程之间通过队列queue...
能根据url的个数快速开启对个线程,单个线程可以实现对同一个url的多次访问,返回访问成功或者失败的结果
这是讲解Python在使用过程中,多线程与多进程的使用。
java2python--java代码转python工具
在Python中可使用的多线程模块主要有两个,thread和threading模块。 threading模块允许创建和管理线程,提供了更多的同步原语。threading模块中最常用的类是Thread。 Python多线程爬虫 多线程爬虫代码 ...