day30总结

              回顾

              1.进程互斥锁
              让并发变成串行,牺牲了效率,保证数据安全.
              mutex = Lock()
              # 加锁
              ? mutex.acquire()
              # 释放锁
              ? mutex.release()

              2.队列:
              相当于在内存中开启了一个空间,可以存放一堆数据,这堆数据都得遵循"先进先出".
              管道(阻塞) + 锁
              q = Queue()
              # 添加数据
              ? q.put(1)
              # 若队列满了,会原地等待
              ? q.put(2)
              # 若队列满了,不会等待直接报错
              ? q.put_nowait(2)

              获取数据,遵循先进先出
              若队列中没数据,会原地等待
              q.get() # 1
              若队列中没数据,会直接报错
              q.get_nowait() # 1

              q.empty() # 判断队列是否为空
              q.full() # 判断队列是否满了

              3.IPC进程间通信
              通过队列让进程间实现通信.

              4.生产者与消费者
              生产者: 生产数据的
              消费者; 使用数据的

              目的: 解决供需不平衡问题.
              通过队列来实现,生产者消费者供需不平衡问题.

              5.线程
              1.什么是线程?
              进程: 资源单位
              线程: 执行单位

              注意: 只要开启一个进程就会有一个线程(主线程).
              主线程会在进程结束时,一并销毁.

              2.为什么要使用线程?
              节省内存资源

              开启进程:
              1) 开辟一个新的内存空间
              2) 会自带一个主线程

              开启线程:
              1) 一个进程内可以开启多个线程
              2) 开启线程的资源远小于进程

              创建线程的两种方式
              一:
              from threading import Thread
              def task():
              pass

              t = Thread(target=task) # 异步提交任务,开启线程
              t.start()
              t.join() # 主线程等待子线程结束之后再结束.

              二:
              class MyThread(Thread):
              def run(self):
              执行任务
              ? pass

              t = MyThread()
              t.start()
              t.join()

              6.线程对象的属性
              current_thread().name # 获取当前线程对象的名字
              # 返回一个列表,列表中包含当前执行的所有线程对象
              print(enumerate())
              # 获取当前执行线程的个数
              print(activeCount())
              is_alive() # 判断线程是否存活

              7.线程互斥锁
              from threading import Lock()
              mutex = Lock()
              mutex.acquire()
              t1
              mutex.release()

              TCP服务端实现并发

              '''
              服务端的工作:
                  1.接收客户端的请求
                  2.24小时不间断提供服务
                  3.实现并发
              
              '''
              
              import socket
              import time
              from threading import Thread
              
              server = socket.socket()
              
              server.bind(
                  ('127.0.0.1', 9527)
              )
              
              server.listen(5)
              print('启动服务端...')
              
              
              # 线程任务,执行接收客户端消息与发送消息给客户端
              def working(conn):
                  while True:
                      try:
                          data = conn.recv(1024)
                          if len(data) == 0:
                              break
                          print(data)
                          time.sleep(1)
                          conn.send(data.upper())
                      except Exception as e:
                          print(e)
                          break
              
                  conn.close()
              
              
              while True:
                  conn, addr = server.accept()
                  print(addr)
                  t = Thread(target=working, args=(conn, ))
                  t.start()xxxxxxxxxx?'''服务端的工作: ?  1.接收客户端的请求 ?  2.24小时不间断提供服务 ?  3.实现并发'''import socketimport timefrom threading import Threadserver = socket.socket()server.bind( ?  ('127.0.0.1', 9527))server.listen(5)print('启动服务端...')# 线程任务,执行接收客户端消息与发送消息给客户端def working(conn): ?  while True: ? ? ?  try: ? ? ? ? ?  data = conn.recv(1024) ? ? ? ? ?  if len(data) == 0: ? ? ? ? ? ? ?  break ? ? ? ? ?  print(data) ? ? ? ? ?  time.sleep(1) ? ? ? ? ?  conn.send(data.upper()) ? ? ?  except Exception as e: ? ? ? ? ?  print(e) ? ? ? ? ?  break ?  conn.close()while True: ?  conn, addr = server.accept() ?  print(addr) ?  t = Thread(target=working, args=(conn, )) ?  t.start()'''服务端的工作: ?  1.接收客户端的请求 ?  2.24小时不间断提供服务 ?  3.实现并发'''import socketimport timefrom threading import Threadserver = socket.socket()server.bind( ?  ('127.0.0.1', 9527))server.listen(5)print('启动服务端...')# 线程任务,执行接收客户端消息与发送消息给客户端def working(conn): ?  while True: ? ? ?  try: ? ? ? ? ?  data = conn.recv(1024) ? ? ? ? ?  if len(data) == 0: ? ? ? ? ? ? ?  break ? ? ? ? ?  print(data) ? ? ? ? ?  time.sleep(1) ? ? ? ? ?  conn.send(data.upper()) ? ? ?  except Exception as e: ? ? ? ? ?  print(e) ? ? ? ? ?  break ?  conn.close()while True: ?  conn, addr = server.accept() ?  print(addr) ?  t = Thread(target=working, args=(conn, )) ?  t.start()
              import socket
              import time
              
              client = socket.socket()
              
              client.connect(
                  ('127.0.0.1', 9527)
              )
              
              print('启动客户端...')
              while True:
                  client.send(b'hello')
                  data = client.recv(1024)
                  print(data)
                  time.sleep(1)

              GIL全局解释器锁

              '''
              In CPython, the global interpreter lock, or GIL, is a mutex that prevents multiple
              native threads from executing Python bytecodes at once. This lock is necessary mainly
              because CPython’s memory management is not thread-safe. (However, since the GIL
              exists, other features have grown to depend on the guarantees that it enforces.)
              
              在CPython中,全局解释器锁(GIL)是一个防止多个锁的互斥锁
              本机线程从执行Python字节码一次。这把锁主要是必须的
              因为CPython的内存管理不是线程安全的。(然而,自从GIL
              存在时,其他功能已逐渐依赖于它所实施的保证。)
              
              '''
              
              '''
              python解释器:
                  1.Cpython
                      C
                      
                  2.Jpython
                      java
                      
                  3.Ppython
                      Python
              
              
              GIL全局解释器锁:
                  基于Cpython来研究全局解释器锁.
                  
                  1.GIL本质上是一个互斥锁.
                  2.GIL的为了阻止同一个进程内多个线程同时执行(并行)
                      - 单个进程下的多个线程无法实现并行,但能实现并发
                  
                  3.这把锁主要是因为CPython的内存管理不是 "线程安全" 的.
                      - 内存管理
                          - 垃圾回收机制
                          
                  GIL的存在就是为了保证线程安全的.
                  
                  注意: 多个线程过来执行,一旦遇到IO操作,就会立马释放GIL解释器锁,交给下一个先进来的线程.
                  
              '''
              
              import time
              from threading import Thread, current_thread
              
              number = 100
              
              
              def task():
                  global number
                  number2 = number
                  # time.sleep(1)
                  number = number2 - 1
                  print(number, current_thread().name)
              
              
              for line in range(100):
                  t = Thread(target=task)
                  t.start()

              验证多线程的作用

              '''
              多线程的作用:
                  站在两个角度去看问题:
              
                  - 四个任务, 计算密集型, 每个任务需要10s:
                      单核:
                          - 开启进程
                              消耗资源过大
                              - 4个进程: 40s
              
                          - 开启线程
                              消耗资源远小于进程
                              - 4个线程: 40s
              
                      多核:
                          - 开启进程
                              并行执行,效率比较高
                              - 4个进程: 10s
              
                          - 开启线程
                              并发执行,执行效率低.
                              - 4个线程: 40s
              
              
              
                  - 四个任务, IO密集型, 每个任务需要10s:
                      单核:
                          - 开启进程
                              消耗资源过大
                              - 4个进程: 40s
              
                          - 开启线程
                              消耗资源远小于进程
                              - 4个线程: 40s
              
                      多核:
                          - 开启进程
                              并行执行,效率小于多线程,因为遇到IO会立马切换CPU的执行权限
                              - 4个进程: 40s  +  开启进程消耗的额外时间
              
                          - 开启线程
                              并发执行,执行效率高于多进程
              
                              - 4个线程: 40s
              '''
              from threading import Thread
              from multiprocessing import Process
              import os
              import time
              
              
              # 计算密集型
              def work1():
                  number = 0
                  for line in range(100000000):
                      number += 1
              
              
              # IO密集型
              def work2():
                  time.sleep(1)
              
              
              if __name__ == '__main__':
              
                  # 测试计算密集型
                  # print(os.cpu_count())  # 6
                  # # 开始时间
                  # start_time = time.time()
                  # list1 = []
                  # for line in range(6):
                  #     p = Process(target=work1)  # 程序执行时间5.300818920135498
                  #     # p = Thread(target=work1)  # 程序执行时间24.000795602798462
                  #
                  #     list1.append(p)
                  #     p.start()
              
                  # IO密集型
                  print(os.cpu_count())  # 6
                  # 开始时间
                  start_time = time.time()
                  list1 = []
                  for line in range(40):
                      # p = Process(target=work2)  # 程序执行时间4.445072174072266
                      p = Thread(target=work2)  # 程序执行时间1.009237289428711
              
                      list1.append(p)
                      p.start()
              
                  for p in list1:
                      p.join()
                  end_time = time.time()
              
                  print(f'程序执行时间{end_time - start_time}')
              
              
              
              
              '''
              在计算密集型的情况下:
                  使用多进程
                  
              在IO密集型的情况下:
                  使用多线程
                  
              高效执行多个进程,内多个IO密集型的程序:
                  使用 多进程 + 多线程
              '''

              死锁现象

              '''
              死锁现象(了解):
              
              '''
              from threading import Lock, Thread, current_thread
              import time
              
              mutex_a = Lock()
              mutex_b = Lock()
              #
              # print(id(mutex_a))
              # print(id(mutex_b))
              
              
              class MyThread(Thread):
              
                  # 线程执行任务
                  def run(self):
                      self.func1()
                      self.func2()
              
                  def func1(self):
                      mutex_a.acquire()
                      # print(f'用户{current_thread().name}抢到锁a')
                      print(f'用户{self.name}抢到锁a')
                      mutex_b.acquire()
                      print(f'用户{self.name}抢到锁b')
                      mutex_b.release()
                      print(f'用户{self.name}释放锁b')
                      mutex_a.release()
                      print(f'用户{self.name}释放锁a')
              
                  def func2(self):
                      mutex_b.acquire()
                      print(f'用户{self.name}抢到锁b')
                      # IO操作
                      time.sleep(1)
              
                      mutex_a.acquire()
                      print(f'用户{self.name}抢到锁a')
                      mutex_a.release()
                      print(f'用户{self.name}释放锁a')
                      mutex_b.release()
                      print(f'用户{self.name}释放锁b')
              
              
              for line in range(10):
                  t = MyThread()
                  t.start()
              
              
              '''
              注意:
                  锁不能乱用.
              '''

              递归锁

              '''
              递归锁(了解):
                  用于解决死锁问题.
              
              RLock: 比喻成万能钥匙,可以提供给多个人去使用.
                  但是第一个使用的时候,会对该锁做一个引用计数.
                  只有引用计数为0, 才能真正释放让另一个人去使用
              '''
              
              from threading import RLock, Thread, Lock
              import time
              
              mutex_a = mutex_b = Lock()
              
              
              class MyThread(Thread):
              
                  # 线程执行任务
                  def run(self):
                      self.func1()
                      self.func2()
              
                  def func1(self):
                      mutex_a.acquire()
                      # print(f'用户{current_thread().name}抢到锁a')
                      print(f'用户{self.name}抢到锁a')
                      mutex_b.acquire()
                      print(f'用户{self.name}抢到锁b')
                      mutex_b.release()
                      print(f'用户{self.name}释放锁b')
                      mutex_a.release()
                      print(f'用户{self.name}释放锁a')
              
                  def func2(self):
                      mutex_b.acquire()
                      print(f'用户{self.name}抢到锁b')
                      # IO操作
                      time.sleep(1)
                      mutex_a.acquire()
                      print(f'用户{self.name}抢到锁a')
                      mutex_a.release()
                      print(f'用户{self.name}释放锁a')
                      mutex_b.release()
                      print(f'用户{self.name}释放锁b')
              
              
              for line in range(10):
                  t = MyThread()
                  t.start()

              信号量

              '''
              信号量(了解):
              
                  互斥锁: 比喻成一个家用马桶.
                      同一时间只能让一个人去使用
              
                  信号量: 比喻成公厕多个马桶.
                      同一时间可以让多个人去使用
              '''
              from threading import Semaphore, Lock
              from threading import current_thread
              from threading import Thread
              import time
              
              sm = Semaphore(5)  # 5个马桶
              mutex = Lock()  # 5个马桶
              
              
              def task():
                  # mutex.acquire()
                  sm.acquire()
                  print(f'{current_thread().name}执行任务')
                  time.sleep(1)
                  sm.release()
                  # mutex.release()
              
              
              for line in range(20):
                  t = Thread(target=task)
                  t.start()

              线程队列

              '''
              线程Q(了解级别1): 线程队列  面试会问: FIFO
              
                  - FIFO队列: 先进先出
                  - LIFO队列: 后进先出
                  - 优先级队列: 根据参数内,数字的大小进行分级,数字值越小,优先级越高
              '''
              import queue
              
              # 普通的线程队列: 先进先出
              # q = queue.Queue()
              # q.put(1)
              # q.put(2)
              # q.put(3)
              # print(q.get())  # 1
              
              
              # LIFO队列: 后进先出
              # q = queue.LifoQueue()
              # q.put(1)
              # q.put(2)
              # q.put(3)
              # print(q.get())  # 3
              
              
              # 优先级队列
              q = queue.PriorityQueue()  # 超级了解
              # 若参数中传的是元组,会以元组中第一个数字参数为准
              q.put(('a优', '先', '娃娃头', 4))  # a==97
              q.put(('a先', '优', '娃娃头', 3))  # a==98
              q.put(('a级', '级', '娃娃头', 2))  # a==99
              '''
              1.首先根据第一个参数判断ascii表的数值大小
              2.判断第个参数中的汉字顺序.
              3.再判断第二参数中数字--> 字符串数字 ---> 中文
              4.以此类推
              '''
              print(q.get())
              相关文章
              相关标签/搜索
              惠泽群社论坛精选资料