mapreduce 2차 정렬

3545 단어
2차 정렬의 원리는 키를 다른 빈 대상으로 정의하는 것이다. 이 대상에는 두 개의 변수가 저장되어 있다. 하나는 정상적으로 정렬해야 하는 키이고, 두 번째는 2차 정렬이 필요한 키이다. 이 대상에 비교 방법을 제공한다.
        /**
     * @ClassName IntPair
     * @Description 
     *                IntPair  ,     WritableComparable  ,           ,             
     *              ,          
     * @date 2014 11 10    10:15:34
     * 
     */
    public static class IntPair implements WritableComparable<IntPair> {
        String first;
        int second;
      
        /**
         * Set the left and right values.
         */
        public void set(String left, int right) {
            first = left;
            second = right;
        }

        public String getFirst() {
            return first;
        }

        public int getSecond() {
            return second;
        }
        
        
        public int getFileName() {
            return fileName;
        }

        public void setFileName(int fileName) {
            this.fileName = fileName;
        }

        @Override
        //     ,          IntPair
        public void readFields(DataInput in) throws IOException {
            first = in.readUTF();
            second = in.readInt();
            fileName = in.readInt();
        }
        
        @Override
        //    , IntPair            
        public void write(DataOutput out) throws IOException {
            out.writeUTF(first);
            out.writeInt(second);
            out.writeInt(fileName);
        }

        @Override
        // key   
        public int compareTo(IntPair o) {
            if (!first.equals(o.first)) {
                return o.first.compareTo(first);
            } else if (second != o.second) {
                return second > o.second ? 1 : -1;
            } else {
                return 0;
            }
        }


        @Override
        public boolean equals(Object right) {
            if (right == null)
                return false;
            if (this == right)
                return true;
            if (right instanceof IntPair) {
                IntPair r = (IntPair) right;
                return r.first.equals(first) && r.second == second;
            } else {
                return false;
            }
        }
    }

첫 번째 정렬의 정상적인 정렬을 위해Partitioner와
    /**
     *      。  first  Partition。
     */
    public static class FirstPartitioner extends
            Partitioner<IntPair, Text> {
        @Override
        public int getPartition(IntPair key, Text value, int numPartitions) {
            
            return key.first.hashCode()%numPartitions;
        }
    }
/**
     *      。  first         。
     */

    //      ,  WritableComparator
    public static class GroupingComparator extends WritableComparator {
        protected GroupingComparator() {
            super(IntPair.class, true);
        }

        @SuppressWarnings("rawtypes")
        @Override
        // Compare two WritableComparables.
        public int compare(WritableComparable w1, WritableComparable w2) {
            IntPair ip1 = (IntPair) w1;
            IntPair ip2 = (IntPair) w2;
            String l = ip1.getFirst();
            String r = ip2.getFirst();
            return r.compareTo(l);
        }
    }

그리고main 함수의job에 추가
job.setMapOutputKeyClass(IntPair.class);
job.setGroupingComparatorClass(GroupingComparator.class);
job.setPartitionerClass(FirstPartitioner.class);

물론 맵과 Reduce의 키 대상도 IntPair로 설정해야 합니다

좋은 웹페이지 즐겨찾기