logstash 쓰기 로그elaticsearch 응답하지 않음

1656 단어
대량의 분석 로그와elasticsearch에 기록되며, 백엔드 노드 데이터 수량과 디스크 성능 등의 영향으로es가 응답하지 않습니다.
문제 설명:
[2018-04-12T17:02:16,861][WARN ][logstash.outputs.elasticsearch] Marking url as dead. Last error: [LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError] Elasticsearch Unreachable: [http://x.x.x.x:9200/][Manticore::SocketTimeout] Read timed out {:url=>http://x.x.x.x:9200/, :error_message=>"Elasticsearch Unreachable: [http://x.x.x.x:9200/][Manticore::SocketTimeout] Read timed out", :error_class=>"LogStash::Outputs::ElasticSearch::HttpClient::Pool::HostUnreachableError"}
Attempted to send a bulk request  to elasticsearch, but no there are no living connections in the connection pool

해결 방법:
  1)you should run logstash separate from ES cluster as both can use a lot of cpu resources.//lg와 es를 분리하여 한 기계에 놓는 것을 금지합니다. lg 해석은 대량의 CPU를 소모합니다. 2) You should also have more than one node for ES cluster in which case logstash can use the other ES nodes when one node is not accessible//es 수량 증가 - 데이터 노드의
03) 캐시 로그 대기열을kafka로 바꾸어 소비 대기열을 제어하고elasticsearch를 안정적으로 쓰기

좋은 웹페이지 즐겨찾기