자바 빅 데이터 분할 + 스 레 드 처리
2251 단어 자바
해결 방법: 1. 먼저 데 이 터 를 분할 하고 2. 스 레 드 비동기 처리 에 가입 합 니 다.
코드 는 다음 과 같 습 니 다:
public static void main(String[] args) {
//1.
List> batchList = this.splitListToList(ids,500);
// , 500
for (List list : batchList) {
//2. , 。
AsyncThreadPool.getInstance().execute(new Runnable() {
@Override public void run() {
try {
//
} catch (Exception e) {
logger.error(" :",e);
}
}
}
}
}
/**
* list list
* @param list list
* @param splitSize
* @return list List
*/
public static List> splitListToList(List list, int splitSize) {
List> listBatch= new ArrayList>();
int listSize = list.size();
int batchSize = listSize / splitSize; //
if (listSize % splitSize > 0) {
batchSize += 1;
}
for (int i = 0; i < batchSize; i++) {
int start = i * splitSize;
int end = (i + 1) * splitSize;
if (end > listSize) {
end = listSize;
}
List batchList = list.subList(start, end);
listBatch.add(batchList);
}
return listBatch;
}
/**
* 10
*/
public class AsyncThreadPool {
protected final Logger logger = Logger.getLogger(getClass());
private static AsyncThreadPool asyncThreadPool = null;
private static ExecutorService threadPool = null;
private AsyncThreadPool(){
int processors = 10;
logger.info(" :" + processors + " ");
threadPool = Executors.newFixedThreadPool(processors);
}
public final static AsyncThreadPool getInstance(){
if(asyncThreadPool == null){
asyncThreadPool = new AsyncThreadPool();
}
return asyncThreadPool;
}
public void execute(Runnable thread){
threadPool.execute(thread);
}
public void submit(Runnable thread){
threadPool.submit(thread);
}
}
호 남 에 오신 것 을 환영 합 니 다. 호 남 사람들 은 심 천 - 자바 군: 557651502
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Is Eclipse IDE dying?In 2014 the Eclipse IDE is the leading development environment for Java with a market share of approximately 65%. but ac...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.