python RabbitMQ 사용 에 대한 상세 설명(소결)
주로 협정,프로 세 스,비동기 IO 다 중 복용 에 대해 이야기 했다.
협정 과 IO 다 중 복용 은 모두 단일 라인 이다.
epoll Liux 에서 이 모듈 libevent.so 를 통 해 이 루어 집 니 다.
gevent 밑 에 도 libevent.so 를 썼어 요.
gevent 는 더 높 은 포장 으로 이해 할 수 있 습 니 다.
selector 또는 selectors 를 사용 하여 데 이 터 를 받 거나 보 낼 때마다 select 를 한 번 씩 사용 합 니 다.
twisted 비동기 네트워크 프레임 워 크 는 강력 하고 방대 하 며 python 3(코드 량 python 중 배열 top 3)을 지원 하지 않 습 니 다.거의 모든 인터넷 서 비 스 를 다시 썼 다.
1.RabbitMQ 메시지 큐 소개
RabbitMQ 도 메시지 큐 입 니 다.RabbitMQ 는 이전 python 의 Queue 와 어떤 차이 가 있 습 니까?
py 메시지 큐:
스 레 드 quue(같은 프로 세 스 에서 스 레 드 간 상호작용)
프로 세 스 Queue(부자 프로 세 스 가 상호작용 을 하거나 같은 프로 세 스에 속 하 는 여러 하위 프로 세 스 와 상호작용 을 합 니 다)
만약 에 두 개의 완전히 독립 된 python 프로그램 이 라면 위의 두 개의 quue 로 상호작용 을 할 수 없 거나 다른 언어 와 의 상호작용 은 어떤 실현 방식 이 있 습 니까?
[Disk,Socket,기타 미들웨어]여기 미들웨어 는 두 프로그램 간 의 상호작용 을 지원 할 뿐만 아니 라 여러 프로그램 을 지원 할 수 있 으 며 여러 프로그램의 대기 열 을 유지 할 수 있 습 니 다.
이런 공공 중간물 에는 성숙 한 제품 이 많다.
RabbitMQ
ZeroMQ
ActiveMQ
……
RabbitMQ:erlang 언어 개발.
Python 에서 RabbitMQ 를 연결 하 는 모듈:pika,Celery(분포 식 작업 대기 열),haigha
많은 대기 열 을 유지 할 수 있 습 니 다.
RabbitMQ 튜 토리 얼 홈 페이지:http://www.rabbitmq.com/getstarted.html
몇 가지 개념 설명:
Broker:쉽게 말 하면 메시지 큐 서버 실체 입 니 다.
Exchange:메시지 교환기,메시지 가 어떤 규칙 에 따라,경로 가 어느 대기 열 로 가 는 지 지정 합 니 다.
Queue:메시지 대기 열 캐리어,모든 메시지 가 하나 이상 의 대기 열 에 투 입 됩 니 다.
Binding:바 인 딩,그 역할 은 exchange 와 quue 를 경로 규칙 에 따라 바 인 딩 하 는 것 입 니 다.
Routing Key:루트 키워드,exchange 는 이 키워드 에 따라 메 시 지 를 배달 합 니 다.
vhost:가상 호스트,하나의 broker 에 여러 개의 vhost 를 개설 하여 서로 다른 사용자 의 권한 으로 분리 할 수 있 습 니 다.
producer:메시지 생산자,바로 메 시 지 를 배달 하 는 절차 입 니 다.
consumer:메시지 소비 자 는 바로 정 보 를 받 아들 이 는 절차 입 니 다.
channel:메시지 채널,클 라 이언 트 의 모든 연결 에 여러 채널 을 만 들 수 있 습 니 다.각 channel 은 세 션 작업 을 대표 합 니 다.
2.RabbitMQ 기본 예제.
1.Rabbitmq 설치
ubuntu 시스템
install rabbitmq-server # 1）Install Erlang
# For EL5:
rpm -Uvh http://download.fedoraproject.org/pub/epel/5/i386/epel-release-5-4.noarch.rpm
# For EL6:
rpm -Uvh http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm
# For EL7:
rpm -Uvh http://download.fedoraproject.org/pub/epel/7/x86_64/e/epel-release-7-8.noarch.rpm
yum install erlang
rpm --import https://www.rabbitmq.com/rabbitmq-release-signing-key.asc
yum install rabbitmq-server-3.6.5-1.noarch.rpm
chkconfig rabbitmq-server on
service rabbitmq-server stop/start송신 단 프로듀서
import pika
#
connection = pika.BlockingConnection(
pika.ConnectionParameters('localhost',5672) # 5672，
)
# ，
channel = connection.channel()
# queue
channel.queue_declare(queue='hello')
# RabbitMQ a message can never be sent directly to the queue, it always needs to go through an exchange.
channel.basic_publish(exchange='',
routing_key='hello', # queue
body='Hello World!') #
print(" [x] Sent 'Hello World!'")
connection.close() #
import pika
import time
#
connection = pika.BlockingConnection(pika.ConnectionParameters(
'localhost'))
#
channel = connection.channel()
# ‘hello' ？
# ， 。 ， 。
channel.queue_declare(queue='hello')
def callback(ch, method, properties, body): #
print(ch, method, properties) #
#
print(" [x] Received %r" % body)
time.sleep(15)
ch.basic_ack(delivery_tag = method.delivery_tag) # ，
channel.basic_consume( #
callback, # ， callback
queue='hello', #
# no_ack=True # ， ，
# 。
)
print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming() # 위의 것 은 단지 하나의 생산자,하나의 소비자 일 뿐 인 데,한 생산자 에 여러 명의 소비자 가 있 을 수 있 습 니까?
위의 예 를 들 어 몇 명의 소비자 consumer 를 더 가동 하여 메시지 의 수신 상황 을 볼 수 있다.
폴 링 메커니즘 을 채택 하 다.소식 을 차례차례 나누어주다
만약 소비자 가 소식 을 처리 하 는 데 15 초가 필요 하 다 면,만약 전화 가 되 었 다 면,이 소식 의 처 리 는 분명히 아직 끝나 지 않 았 는데,어떻게 처리 합 니까?
(소비 단 이 끊 어 진 것 을 모 의 할 수 있 습 니 다.각각 주석 과 주석 없 음 noack=True 보 세 요)
네가 나 에 게 확인 을 답장 하지 않 은 것 은 소식 이 다 처리 되 지 않 았 다 는 것 을 의미한다.
위의 효과 소비 단 이 끊 어 지면 다른 소비 단 으로 넘 어 갑 니 다.그런데 생산 자 는 소비 단 이 끊 어 진 것 을 어떻게 압 니까?
생산자 와 소비 자 는 socket 으로 연결 되 어 있 기 때문에 socket 이 끊 어 졌 다 는 것 은 소비 단 이 끊 어 졌 다 는 것 을 의미한다.
위의 모델 은 순서대로 나 누 어 주 는 것 일 뿐 실제 상황 은 기계 배치 가 다르다 는 것 이다.가중치 와 유사 한 조작 을 어떻게 설정 합 니까?
RabbitMQ 는 어떻게 할 까요?RabbitMQ 는 간단하게 처리 하면 공정 한 배 포 를 실현 할 수 있 습 니 다.
바로 RabbitMQ 가 소비자 에 게 메 시 지 를 보 낼 때 소비자 의 메시지 수량 을 측정 하고 지정 치(예 를 들 어 1 개)를 초과 하면 보 내지 않 는 다 는 것 이다.
소비자 쪽 에서 만 channel.basicconsume 에 넣 으 면 됩 니 다.
channel.basic_qos(prefetch_count=1) # ， ， ，
channel.basic_consume( # 1.RabbitMQ 관련 명령
rabbitmqctl list_queues # queue queue 만약 대열 에 또 소식 이 있다 면,RabbitMQ 서버 가 다운 되 었 습 니까?소식 은 아직 있 습 니까?
RabbitMQ 서 비 스 를 다시 시작 해서 메시지 가 있 는 지 확인 하 세 요.
위의 상황 에서 지연 되 었 으 니 소식 이 오래 되 었 습 니 다.다음은 어떻게 소식 을 지속 시 키 는 지 보 겠 습 니 다.
매번 성명 대기 열 에 durable 을 추가 합 니 다.모든 대기 열 에 써 야 합 니 다.클 라 이언 트,서버 성명 을 쓸 때 써 야 합 니 다.
# queue
channel.queue_declare(queue='hello2', durable=True)durable 의 역할 은 대기 열 을 지속 시 키 는 것 입 니 다.메시지 가 오래 지속 되 려 면 아직 한 걸음 이 부족 합 니 다.
송신 단 에서 메 시 지 를 보 낼 때 properties 를 추가 합 니 다.
properties=pika.BasicProperties(
delivery_mode=2, #
)
import pika
connection = pika.BlockingConnection(pika.ConnectionParameters(
'localhost',5672)) # 5672，
channel = connection.channel()
# queue
channel.queue_declare(queue='hello2', durable=True) # ，
#n RabbitMQ a message can never be sent directly to the queue, it always needs to go through an exchange.
channel.basic_publish(exchange='',
routing_key='hello2',
body='Hello World!',
properties=pika.BasicProperties(
delivery_mode=2, # make message persistent
)
)
print(" [x] Sent 'Hello World!'")
connection.close()
import pika
import time
connection = pika.BlockingConnection(pika.ConnectionParameters(
'localhost'))
channel = connection.channel()
channel.queue_declare(queue='hello2', durable=True)
def callback(ch, method, properties, body):
print(" [x] Received %r" % body)
time.sleep(10)
ch.basic_ack(delivery_tag = method.delivery_tag) # ，
channel.basic_qos(prefetch_count=1) # ， ， ，
channel.basic_consume( #
callback, # ， callback
queue='hello2',
# no_ack=True # ， 。
)
print(' [*] Waiting for messages. To exit press CTRL+C')
channel.start_consuming()
앞의 효 과 는 모두 1 대 1 발 입 니 다.라디오 효 과 를 내 면 안 되 겠 습 니까?이 럴 때 exchange 를 사용 해 야 합 니 다.
exchange 는 받 은 소식 을 누구 에 게 보 낼 지 정확하게 알 아야 합 니 다.exchange 의 유형 은 어떻게 처리 할 것 인 가 를 결정 합 니 다.
유형 은 다음 과 같은 몇 가지 가 있다.
queue 와 exchange 연결 이 필요 합 니 다.소비 자 는 exchange 와 직접 연결 되 어 있 지 않 기 때문에 소비 자 는 queue 에 연결 되 어 있 고 queue 는 exchange 에 연결 되 어 있 으 며 소비 자 는 queu 에서 만 정 보 를 보 냅 니 다.
|------------------------|
| /―― queue <―|―> consumer1
producer ―|―exchange1 <bind |
\ | \―― queue <―|―> consumer2
\-|-exchange2 …… |
|------------------------|
import pika
import sys
connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
channel = connection.channel()
# ： ， queue
channel.exchange_declare(exchange='logs', #
type='fanout')
# message = ' '.join(sys.argv[1:]) or "info: Hello World!"
message = "info: Hello World!"
channel.basic_publish(exchange='logs',
routing_key='', # ，
body=message)
print(" [x] Sent %r" % message)
connection.close()
import pika
connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
channel = connection.channel()
channel.exchange_declare(exchange='logs',
type='fanout')
# queue ,rabbit ,exclusive=True queue , queue
result = channel.queue_declare(exclusive=True)
# queue
queue_name = result.method.queue
print("random queuename:", queue_name)
channel.queue_bind(exchange='logs', # queue
queue=queue_name)
print(' [*] Waiting for logs. To exit press CTRL+C')
def callback(ch, method, properties, body):
print(" [x] %r" % body)
channel.basic_consume(callback,
queue=queue_name,
no_ack=True)
channel.start_consuming()
2.direct 에서 선택 한 수신 메시지
수신 자 는 메 시 지 를 걸 러 내 고 내 가 원 하 는 메시지 만 받 을 수 있다.
송신 단 게시 자
import pika
import sys
connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
channel = connection.channel()
channel.exchange_declare(exchange='direct_logs',
type='direct')
# ， info
severity = sys.argv[1] if len(sys.argv) > 1 else 'info'
message = ' '.join(sys.argv[2:]) or 'Hello World!'
channel.basic_publish(exchange='direct_logs',
routing_key=severity,
body=message)
print(" [x] Sent %r:%r" % (severity, message))
connection.close()
import pika
import sys
connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
channel = connection.channel()
channel.exchange_declare(exchange='direct_logs',
type='direct')
result = channel.queue_declare(exclusive=True)
queue_name = result.method.queue
#
severities = sys.argv[1:]
if not severities:
sys.stderr.write("Usage: %s [info] [warning] [error]
" % sys.argv[0])
sys.exit(1)
#
for severity in severities:
channel.queue_bind(exchange='direct_logs',
queue=queue_name,
routing_key=severity)
print(' [*] Waiting for logs. To exit press CTRL+C')
def callback(ch, method, properties, body):
print(" [x] %r:%r" % (method.routing_key, body))
channel.basic_consume(callback,
queue=queue_name,
no_ack=True)
channel.start_consuming()
python direct_sonsumer.py info warning
python direct_sonsumer.py warning error
3.topic 보다 세밀 한 필터
예 를 들 어 error 에서 apache 와 my sql 의 구분 또는 추출
송신 단 게시 자
import pika
import sys
connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
channel = connection.channel()
channel.exchange_declare(exchange='topic_logs',
type='topic')
routing_key = sys.argv[1] if len(sys.argv) > 1 else 'anonymous.info'
message = ' '.join(sys.argv[2:]) or 'Hello World!'
channel.basic_publish(exchange='topic_logs',
routing_key=routing_key,
body=message)
print(" [x] Sent %r:%r" % (routing_key, message))
connection.close()
import pika
import sys
connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
channel = connection.channel()
channel.exchange_declare(exchange='topic_logs',
type='topic')
result = channel.queue_declare(exclusive=True)
queue_name = result.method.queue
binding_keys = sys.argv[1:]
if not binding_keys:
sys.stderr.write("Usage: %s [binding_key]...
" % sys.argv[0])
sys.exit(1)
for binding_key in binding_keys:
channel.queue_bind(exchange='topic_logs',
queue=queue_name,
routing_key=binding_key)
print(' [*] Waiting for logs. To exit press CTRL+C')
def callback(ch, method, properties, body):
print(" [x] %r:%r" % (method.routing_key, body))
channel.basic_consume(callback,
queue=queue_name,
no_ack=True)
channel.start_consuming()
python topic_sonsumer.py *.info
python topic_sonsumer.py *.error mysql.*
python topic_sonsumer.py '#' #
# logs run:
# python receive_logs_topic.py "#"
# To receive all logs from the facility "kern":
# python receive_logs_topic.py "kern.*"
# Or if you want to hear only about "critical" logs:
# python receive_logs_topic.py "*.critical"
# You can create multiple bindings:
# python receive_logs_topic.py "kern.*" "*.critical"
# And to emit a log with a routing key "kern.critical" type:
# python emit_log_topic.py "kern.critical" "A critical kernel error"
위의 흐름 이 모두 단 방향 이라는 것 을 발 견 했 는 지 모 르 겠 지만 원 격 기계 가 실행 을 마치 고 돌아 오 면 실현 할 수 없다.
되 돌아 오 면 이 모드 를 뭐라고 부 릅 니까?RPC(원 격 프로 세 스 호출),snmp 는 전형 적 인 RPC 입 니 다.
RabbitMQ 는 돌아 갈 수 있 을까요? 어떻게 돌아 갈 까요?송신 단 이자 수신 단.
그런데 수신 단 반환 메 시 지 는 어떻게 되 돌아 갑 니까?보 내주 신 큐 에 보 내주 실 수 있 나 요?안 됩 니 다.
돌아 올 때,결 과 를 새로운 queue 로 보 냅 니 다.
서버 에서 돌아 오 는 queue 가 죽 었 다 고 쓰 지 않 기 위해 클 라 이언 트 가 서버 에 명령 을 내 릴 때,동시에 메 시 지 를 가지 고 당신 의 결 과 는 어느 queue 에 게 되 돌아 갑 니까?
RPC client
import pika
import uuid
import time
class FibonacciRpcClient(object):
def __init__(self):
self.connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
self.channel = self.connection.channel()
result = self.channel.queue_declare(exclusive=True)
self.callback_queue = result.method.queue
self.channel.basic_consume(self.on_response, # on_response
no_ack=True,
queue=self.callback_queue) # queue
def on_response(self, ch, method, props, body): #
# ID ，
if self.corr_id == props.correlation_id:
self.response = body
def call(self, n):
self.response = None # self.response None
self.corr_id = str(uuid.uuid4()) #
self.channel.basic_publish(
exchange='',
routing_key='rpc_queue', # rpc_queue
properties=pika.BasicProperties( #
reply_to = self.callback_queue, # callback_queue
correlation_id = self.corr_id, # uuid
),
body=str(n)
)
while self.response is None: # ，
# ，on_response ，self.response
self.connection.process_data_events() # start_consuming()
# print("no msg……")
# time.sleep(0.5)
# on_response
return int(self.response)
if __name__ == '__main__':
fibonacci_rpc = FibonacciRpcClient()
print(" [x] Requesting fib(7)")
response = fibonacci_rpc.call(7)
print(" [.] Got %r" % response)
import pika
import time
def fib(n):
if n == 0:
return 0
elif n == 1:
return 1
else:
return fib(n-1) + fib(n-2)
def on_request(ch, method, props, body):
n = int(body)
print(" [.] fib(%s)" % n)
response = fib(n)
ch.basic_publish(
exchange='', #
routing_key=props.reply_to, # queue
# correction_id
properties=pika.BasicProperties(correlation_id = props.correlation_id),
body=str(response)
)
ch.basic_ack(delivery_tag = method.delivery_tag) # ，
if __name__ == '__main__':
connection = pika.BlockingConnection(pika.ConnectionParameters(
host='localhost'))
channel = connection.channel()
channel.queue_declare(queue='rpc_queue') # rpc_queue ,
channel.basic_qos(prefetch_count=1)
# rpc_queue , on_request
channel.basic_consume(on_request, queue='rpc_queue')
print(" [x] Awaiting RPC requests")
channel.start_consuming()
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
로마 숫자를 정수로 또는 그 반대로 변환그 중 하나는 로마 숫자를 정수로 변환하는 함수를 만드는 것이었고 두 번째는 그 반대를 수행하는 함수를 만드는 것이었습니다. 문자만 포함합니다'I', 'V', 'X', 'L', 'C', 'D', 'M' ; 문자열이 ...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
