Semantic matching & Semantic correlation matching

1. 알고리즘 소개
크로스 미디어 교차 검색 분야 에서 실행 가능 한 서브 공간 학습 방법 은 추상 적 인 고 층 (의미 층 으로 볼 수 있 음) 에서 원시 데 이 터 를 나타 내 는 것 이다.그림 과 텍스트 를 예 로 들 면 특정한 감독 학습 알고리즘 을 통 해 원시 이미지 공간 I 와 텍스트 공간 T 를 상응하는 이미지 의미 공간 SI 와 텍스트 의미 공간 ST 에 비춘다.이들 의 의미 서브 공간 은 같은 의미 개념 라 이브 러 리 모델 로 생 성 된 것 이다. 추상 적 인 고 층 의미 개념 은 모두 K 개, 즉 V = {v1,..., vK} 이 라 고 가정 하면 두 개의 의미 서브 공간 특징 벡터 는 모두 해당 견본 (이미지 나 텍스트) 이 각 의미 개념 에 속 하 는 확률 을 대표 하기 때문에 SI 와 ST 는 같은 서브 공간 이 라 고 볼 수 있 고 이 서브 공간 에서 진행 할 수 있다.'이미지 - 텍스트' 간 교차 검색, 이것 이 SM (Semantic matching, 의미 일치) 알고리즘 입 니 다. SCM (Semantic correlation matching, 의미 일치) 알고리즘 은 CCA 알고리즘 을 사용 하여 I 와 T 를 관련 하위 공간 에 매 핑 한 다음 관련 하위 공간 에서 의미 서브 공간 으로 매 핑 합 니 다.
2. 의미 매 칭 SM 알고리즘
여기 서 사용 하 는 데 이 터 는 본인 의 다른 블 로그 인 'CCA 기반 이미지 텍스트 교차 검색' 과 마찬가지 로 위 키 피 디 아 에서 데이터 베 이 스 를 공개 합 니 다. 훈련 샘플 에 대해 CCA 알고리즘 은 훈련 샘플 의 태그 정 보 를 이용 하지 않 았 습 니 다. 각 '이미지 - 텍스트' 샘플 은 맨 뒤의 숫자 (범 위 는 1 - 10) 입 니 다.이 견본 에 대응 하 는 종류 번 호 를 나타 낸다. 이 10 가지 종 류 는 10 개의 인공 적 으로 표 시 된 의미 라벨 을 대표 한다. 구체 적 인 의미 내용 은 파일 'categories. list' 에서 수첩 으로 볼 수 있 고 구체 적 으로 는 다음 과 같다.

art
biology
geography
history
literature
media
music
royalty
sport
warfare

훈련 샘플 은 모두 상기 10 개 종류 에서 추출 되 었 기 때문에 자 연 스 럽 게 SM 알고리즘 에서 추상 적 인 의미 개념의 개수 K 를 10 으로 추출 할 수 있 습 니 다. 두 개의 맵 LT 를 설정 하고 LI 는 각각 텍스트 의 원시 적 특징 (10 주제 의 LDA 모델 로 생 성 된 10 차원 특징) 데이터 와 이미지 의 원시 적 특징 (128 차원 의 SIFT 특징) 데 이 터 를 사후 검사 확률 분포, 즉 x → PV | X 로 매 핑 할 수 있 습 니 다.(vi | x), i * 8712 ° {1, 2,..., K}, 본문 에서 K = 10, 그 중에서 x 는 텍스트 특징 T 또는 이미지 특징 I 이 고 PV | X (vi | x), i * 8712 ° {1, 2,..., K}의미 자 공간 에서 의 K 차원 확률 분포 벡터 입 니 다. 계산 후 확률 분 포 를 검사 할 수 있 는 실행 가능 한 알고리즘 은 다 중 논리 스 티 회귀 입 니 다. 이렇게 하면 확률 로 해석 할 수 있 는 선형 분류 기 를 생 성 할 수 있 습 니 다. 논리 스 티 회 귀 는 데이터 x 를 다음 과 같은 논리 스 티 프로 세 스에 대 입 하여 샘플 x 가 종류 j 에 속 하 는 후 험 확률 을 계산 할 수 있 습 니 다. 다음 식: PV| X (j | x; w) = 1Z (x, w) exp (wTjx) 중 Z (x, w) = ∑ jexp (wTjx) 는 귀 일화 상수 이 고 V 는 종류 라벨 이 며 X 는 입력 공간의 특징 벡터 (n 차원 으로 설정 하고 위 키 백과 데이터베이스 에 있 는 이미지 n = 128, 텍스트 n = 10), w = {w1, w2,..., wK}(그 중에서 wj 는 대응 하 는 종류 j 의 n 차원 매개 변수 벡터 이자 논리 스 티 회귀 과정 에서 계산 해 야 할 매개 변수 이다). 위의 방법 을 통 해 10 차원 텍스트 특징 과 128 차원 이미지 특징 을 모두 같은 10 차원 의미 공간 에 투사 하여 이미지 특징 과 텍스트 특징의 유사 도 를 계산 하여 최종 적 으로 크로스 미디어 검색 을 실현 할 수 있 습 니 다. 이상 은 SM 알고리즘 의 주요 원리 와 구현 방법 입 니 다.
3. 의미 관련 매 칭 SCM 알고리즘
SM 알고리즘 에 비해 SCM 알고리즘 은 CCA 알고리즘 과 SM 알고리즘 을 간단하게 조합 한 것 입 니 다. 즉, 먼저 CCA 알고리즘 을 사용 하여 이미지 특징 공간 I 와 텍스트 특징 공간 T 를 관련 하위 공간 I1 과 T1 에 비 추 는 것 입 니 다. 이때 두 가지 특징 공간 에 있 는 관련 정 보 를 이 용 했 을 뿐 훈련 샘플 에 있 는 태그 정 보 를 이용 하지 않 았 습 니 다. 그 다음 에 SM 알고리즘 을 사용 하여 관련 하위 공간 I 를1. T1 과 같은 의미 의 서브 공간 에 비 친 다음 처 리 는 SM 알고리즘 과 같 습 니 다.
참고 문헌:
[1] "CCA 기반 이미지 텍스트 교차 검색" [2] "A new approach to cross - modal multimedia retrieval"