ElasticSearch 쿼리 작업 최대 sharding 수 제한

1. 문제 설명

ES에서 광범위한 조회를 할 때 이 오류를 자주 보고합니다.

{
    "error":{
        "root_cause":[
            {
                "type":"illegal_argument_exception",
                "reason":"Trying to query 1230 shards, which is over the limit of 1000. This limit exists because querying many shards at the same time can make the job of the coordinating node very CPU and/or memory intensive. It is usually a better idea to have a smaller number of larger shards. Update [action.search.shard_count.limit] to a greater value if you really want to query that many shards at the same time."
            }
        ],
        "type":"illegal_argument_exception",
        "reason":"Trying to query 1230 shards, which is over the limit of 1000. This limit exists because querying many shards at the same time can make the job of the coordinating node very CPU and/or memory intensive. It is usually a better idea to have a smaller number of larger shards. Update [action.search.shard_count.limit] to a greater value if you really want to query that many shards at the same time."
    }
}

주요 뜻은 이 조회가 관련된 조각이 너무 많아서 제한을 초과하면 이 파라미터를 조절할 수 있다는 것이다action.search.shard_count.limit 이 제한을 수정합니다.

2. 매개변수 설명

action.search.shard_count.limit 이 매개 변수는 주로 한 번에 너무 많은 조각을 조작하는 것을 제한하고 메모리와 CPU 자원을 너무 많이 차지하는 것을 방지하는 데 쓰인다.
관련 매개 변수는 다음과 같습니다. - index.max_result_window: 한 번에 조회되는 데이터 막대 수 제한 - TODO

ref

https://discuss.elastic.co/t/too-many-shards/59668

이 내용에 흥미가 있습니까?

현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:

ELK 스택 구축

ElasticSearch, LogStash, Kibana 조합으로 로그 수집 - 로그 저장 및 검색 - 시각화로 쓰이게 된다. Logstash는 실시간 파이프라인 기능을 갖는 데이터 수집 엔지이며, Input을 받아...

텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.

CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.

ElasticSearch 쿼리 작업 최대 sharding 수 제한