Elasticsearch -- search_after

Elasticsearch 검색에서 되돌아오는 데이터는 기본적으로 최대 10000개입니다. 모든 데이터를 되돌려야 한다면 기본 설정이나scroll 또는search after의 해결 방안을 수정해야 합니다.그 중에서 Search after 솔루션은 별도의 설정과 조작이 필요 없는 세 가지 해결 방안 중 가장 적합한 해결 방안이다

HTTP를 사용하여 구현 요청

GET phonebills/_search
{
     
  "query": {
     
    "term": {
     
      "name": {
     
        "value": " "
      }
    }
  }, 
  "size": 10000,
  "sort": [
    {
     
      "name": {
     
        "order": "desc"
      },
      "_id":{
     
        "order": "desc"
      }
    }
  ]
}
#  sort search after
GET phonebills/_search
{
     
  "query": {
     
    "term": {
     
      "name": {
     
        "value": " "
      }
    }
  },
  "size": 10000,
  "search_after": [
    " ",
    "zzzVumsBieuR7aAcDbV-"
  ],
  "sort": [
    {
     
      "name": {
     
        "order": "desc"
      },
      "_id": {
     
        "order": "desc"
      }
    }
  ]
}

Java High Level REST Client 사용 사례

    public static void main(String[] args) throws IOException {
     
        RestHighLevelClient client = new RestHighLevelClient(
                RestClient.builder(
                        new HttpHost("localhost", 9200, "http")));
        Object[] objects = new Object[]{
     "start","start"};
        List<Map<String, Object>> data = new ArrayList<Map<String, Object>>();
        boolean type = true;
        while (type) {
     
            SearchHit[] hits = searchAfter(client, objects);
            objects = hits[hits.length-1].getSortValues();
            if (hits.length < 10000) type = false;
            for (SearchHit hit : hits) {
     
                data.add(hit.getSourceAsMap());
            }
        }
        Iterator<Map<String, Object>> iterator = data.iterator();
        while (iterator.hasNext()) {
     
            System.out.println(iterator.next().toString());
        }
        System.out.println(data.size() + "-----------------");
        client.close();
    }

    public static SearchHit[] searchAfter(RestHighLevelClient client, Object[] objects) throws IOException {
     
        SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();
        sourceBuilder.query(QueryBuilders.termQuery("name", " "));
        sourceBuilder.size(10000);
        sourceBuilder.sort("name", SortOrder.DESC);
        sourceBuilder.sort("_id", SortOrder.DESC);
        if(!objects[1].toString().equals("start") && !objects[1].toString().equals("start")) {
     
            sourceBuilder.searchAfter(objects);
        }
        SearchRequest searchRequest = new SearchRequest();
        searchRequest.indices("phonebills");
        searchRequest.source(sourceBuilder);
        SearchResponse response = client.search(searchRequest, RequestOptions.DEFAULT);
        SearchHit[] hits = response.getHits().getHits();
        return hits;
    }

윈도우즈 단일 버전 테스트 결과