python 프로 세 스 풀 사용 설명

다 중 스 레 드 풀 을 선택 하 는 것 과 유사 합 니 다.프로그램 에서 다 중 프로 세 스 프로 그래 밍 으로 설정 되 었 을 때 Python 은 여러 프로 세 스 를 더 잘 관리 하 는 방식 을 제공 합 니 다.바로 프로 세 스 풀 을 사용 하 는 것 입 니 다.
Python 을 이용 하여 시스템 관 리 를 할 때,특히 여러 개의 파일 디 렉 터 리 를 동시에 조작 하거나,여러 대의 호스트 를 원 격 으로 제어 할 때,병행 작업 은 많은 시간 을 절약 할 수 있다.
피 조작 대상 의 수가 많 지 않 을 때 multiprocessing 중의 Process 동 태 를 직접 이용 하여 여러 프로 세 스 를 생 성 할 수 있 습 니 다.10 여 개 는 괜 찮 지만 수백 개,수천 개의 목표 라면 수 동 으로 프로 세 스 의 수량 을 제한 하 는 것 이 너무 번 거 롭 습 니 다.이때 프로 세 스 탱크 의 효 과 를 발휘 할 수 있 습 니 다.
Pool 은 사용자 가 호출 할 수 있 도록 지정 한 프로 세 스 를 제공 할 수 있 습 니 다.새로운 요청 이 pool 에 제출 되 었 을 때 프로 세 스 풀 이 채 워 지지 않 으 면 이 요청 을 수행 할 새로운 프로 세 스 를 만 듭 니 다.그러나 풀 의 프로 세 스 수가 규정된 최대 치 에 이 르 렀 다 면 이 요청 은 풀 에 프로 세 스 가 끝 날 때 까지 기 다 려 야 새로운 프로 세 스 를 만 들 수 있 습 니 다.
Python multiprocessing 모듈 은 Pool()함 수 를 제공 합 니 다.프로 세 스 풀 을 만 드 는 데 사 용 됩 니 다.이 함수 의 문법 형식 은 다음 과 같 습 니 다.

multiprocessing.Pool( processes )

프로 세 스 매개 변 수 는 프로 세 스 풀 에 포 함 된 프로 세 스 수 를 지정 하 는 데 사 용 됩 니 다.
프로 세 스 가 None 이면 기본적으로 os.cpu 를 사용 합 니 다.count()가 되 돌아 오 는 숫자(로 컬 cpu 개수 에 따라 프로 세 스 가 로 컬 cpu 개수 보다 작 음).
다음 실례 를 보십시오.

from multiprocessing import Pool
import os
import time
import random

def worker(msg):
  t_start = time.time()
  print("%s    ,    %d" % (msg, os.getpid()))
  # random.random()    0~1      
  time.sleep(random.random()*2)
  t_stop = time.time()
  print(msg, "    ，  %0.2f" % (t_stop-t_start))

if __name__ == "__main__":
  po = Pool(3) #        ，     3
  for i in range(0, 8):
    # Pool().apply_async(      ,(          ,))
    #                     
    po.apply_async(worker, (i,))

  print("----start----")
  #      ，   po        
  po.close()
  #   po          ，    close    
  po.join()
  print("-----end-----")

실행 결과:

multiprocessing.Pool 상용 방법 설명
apply_async(func[,args[,kwds]]):비 차단 방식 으로 func 를 호출 합 니 다.
close():Pool 을 닫 고 새로운 작업 을 받 지 않도록 합 니 다.
terminate():작업 이 완료 되 든 안 되 든 즉시 종료 합 니 다.
join():주 프로 세 스 가 막 혀 서 하위 프로 세 스 가 종 료 될 때 까지 기 다 려 야 합 니 다.close 나 terminate 후에 사용 해 야 합 니 다.
프로 세 스 풀 의 Queue
Pool 을 사용 하여 프로 세 스 를 만 들 려 면 multiprocessing.Manager()의 Queue()가 아니 라 multiprocessing.Queue()를 사용 해 야 합 니 다.그렇지 않 으 면 다음 과 같은 오류 정 보 를 얻 을 수 있 습 니 다.

RuntimeError: Queue objects should only be shared between processes through inheritance.

다음 인 스 턴 스 는 프로 세 스 풀 의 프로 세 스 가 어떻게 통신 하 는 지 보 여 줍 니 다.

from multiprocessing import Manager, Pool
import os
import time
import random

def writer(q):
  print("writer  (%s),    (%s)" % (os.getpid(), os.getppid()))
  for i in "xiaoming":
    q.put(i)

def reader(q):
  print("reader  (%s),    (%s)" % (os.getpid(), os.getppid()))
  for i in range(q.qsize()):
    print("reader Queue     ：%s" % q.get(True))

if __name__ == "__main__":
  print("(%s) start" % os.getpid())
  #   Manager  Queue
  q = Manager().Queue()
  po = Pool()
  po.apply_async(writer, (q,))
  #         Queue    ，                
  time.sleep(1)
  po.apply_async(reader, (q,))
  po.close()
  po.join()
  print("(%s) End" % os.getpid())

실행 결과:

(17528) start
writer  (2216),    (17528)
reader  (2216),    (17528)
reader Queue     ：x
reader Queue     ：i
reader Queue     ：a
reader Queue     ：o
reader Queue     ：m
reader Queue     ：i
reader Queue     ：n
reader Queue     ：g
(17528) End

이상 은 python 프로 세 스 풀 에서 자세 한 내용 을 사용 하 는 것 입 니 다.python 프로 세 스 풀 에 대한 더 많은 자 료 는 다른 관련 글 을 주목 하 십시오!