Mulesoft 및 Salesforce 기반 이미지 인식

Mulesoft와 Salesforce는 기술의 정확한 조합으로 단시간 내에 건장하고 복잡한 프로젝트를 납품할 수 있을 것 같다.나는 우리가 이 두 가지 방법을 어떻게 사용하여 모바일 기기에서 생성된 이미지를 식별하고 한 장의 그림을 식별하는지 보여주고 싶다. 이 그림은 실제 장면에 더 많은 정보와 재미있는 데이터를 가져다 준다.
그렇다면, 이것은 어떻게 한 것입니까?다음은 제가 이 프로젝트에서 사용한 구성 요소들입니다. (저는 각 구성 요소에 대해 깊이 토론할 것입니다.)

Salesforce 개발자 모임

임의점 플랫폼(샌드박스) 계정

Mulesoft mule aws 인식 시스템api.

Mulesoft mule aws 식별 프로세스api

Salesforce 개발자 조직

나는 Salesforce의 개발자 사이트(developerforce.com)에서 Salesforce의 개발자 계정을 얻었다.이 경우 Salesforce는 다음과 같은 이점을 제공합니다.

사용자 정의 대상(표)

작성된 각 객체의 사용자 지정 필드

IOS 또는 안드로이드 장치

에 설치할 수 있는 모바일 애플리케이션(이전 Salesforce 1)을 공개하는 방법

Visualforce 페이지는 모바일 애플리케이션이나 브라우저에 표시할 수 없는 내용을 사용자 정의할 수 있습니다

.

Apex 클래스, 페이지 데이터를 처리하는 데 사용되는 사용자 정의 Apex 코드, 또는 사용자 정의 Apex(java 스타일) 정의에서 REST 서비스를 공개할 수 있습니다.

그래서 우리는 이런 디자인을 가지게 되었다.

표준 객체(컨텐트 버전 및 ContentDocumentLink)Salesforce

에 실제 바이너리 파일 저장 허용

사용자 정의 객체(Hackathon 이미지).레코드 링크로 찍은 사진 허용

사용자 정의 객체(이미지 레이블)이미지 정보 레이블과 AWS 레이블이 있는 이미지의 정확도를 저장합니다.

재미있는 부분이 왔어요.

Visualforce 페이지, 사진 찍는 사용자 인터페이스를 표시할 수 있음:

Apex 컨트롤러.그림에서 모든 정보를 가져오고 Hackathon 이미지와 관련된 내용 버전과 내용 링크 기록을 만들 수 있습니다.

정점 컨트롤러 브래킷.이동 장치에서 전송 알림을 터치할 수 있도록 허용하는 언급 단점을 공개합니다.

이 코드를 어디서 얻을 수 있습니까?https://github.com/emoran/sfdc-mulesoft-hackathon-2020.git
이제 기본 프로세스가 있습니다.

Mulesoft mule aws 식별 시스템api.

처음에 이 시스템api는 AWS에만 적용되었지만, 제가 이곳에서 소비한 시간과 자원도 이 연습을 완성하는 데 필요한 부분이기 때문입니다.
내가 언급한 바와 같이 이 시스템 API는 Base64 이미지를 처리하여 Amazon Rekognition API로 보낼 수 있습니다. 이 호출의 결과는 이 호출에서 생성된 탭을 검색할 수 있습니다.
같은 프로그램에는hashtags 기반 매개 변수를 사용하여 추문을 몇 개 끌어당기는 논리가 포함되어 있습니다.

#%RAML 1.0
title: mule-aws-recognition-system-api

/image:
  post:
    body:
      application/json:

    responses:
      200:
        body:
          application/json:

/twitter:
  /tweets:
    get:
      queryParameters:
        q:
          description: "Parameters to filter by hashtag"
      responses:
        200:
          body:
            application/json:

이미지를 처리하기 위해 API를 사용하기 위해 기본적으로 AWS Java SDK를 사용했습니다. 내 프로세스는 다음과 같습니다.

다른 한편, 트윗에 대해 우리는 GET 요청만 받고 제공된 라벨에 따라 모든 트윗을 되돌려주는 다른 단점을 가지고 있다.
다음은 프로세스의 모습입니다.

보시다시피 이것은 트위터 API에 대한 아주 간단한 HTTP 요청입니다. 프로세스 API에 포함되지 않습니다. 연결기를 사용해서 이 요청의 논리를 추출하지 않았기 때문입니다.


시스템 API 코드: https://github.com/emoran/mule-aws-recognition-system-api.git

Mulesoft mule aws 식별 프로세스api

프로세스api라는 점에서, 지금 우리는 정말 더 많은 일을 하고 있으며, 이 점들을 연결하고 있다.나는 무슨 일이 일어났는지 차근차근 설명할 것이다.
프로세스 API에는 다음과 같은 RAML이 있습니다.

#%RAML 1.0
title: mule-aws-recognition-process-api


/image:
  post:
    body:
      application/json:
    responses:
      200:
        body:
          application/json:
            example:

/sfdc:
  /images:
    get:
      responses:
        200:
          body:
            application/json:
  /contentVersion:
    get:
      queryParameters:
        id:
          description: imageId
          type: string
/tweets:
  get:
    responses:
      200:
        body:
          application/json:

모바일 프로그램에서 우리가 장치로 찍은 사진을 저장한 후, Salesforce는 Mulesoft에서 공개한/images 단점을 호출하여 기본적으로 세 개의 매개 변수인 이미지 RecordId(Hackathon Image), 콘텐츠Version Id(Saleforce에서 실제 파일의 Id)와 콘텐츠Document Link Id(문서를 그림에 연결)

Mulesoft에서 파라미터를 획득한 다음Salesforce 연결기로 내용 버전을 조회하고 파일(Base64의 실제 이미지)을 다운로드한 다음 시스템 API를 호출하여 이미지를 전달하고AWS가 식별할 탭을 기다린다

AWS가 응답하면 Salesforce에서 업로드된 이미지에 대한 탭 (이미지 탭) 을 작성하여 기록합니다. 마지막으로 Salesforce에서 공개된 REST 서비스를 호출하여 사용자가 이미지가 처리되었음을 알리고 탭이 생성되었습니다.

연결기에서 REST 서비스를 어떻게 호출하는지 검사하는 것은 정말 재미있다. 왜냐하면 이전 버전의 연결기에서 우리는 세션 ID를 가져와 연결하고 REST 단점을 직접 사용할 수 있기 때문이다.Mule 4에서는 이 점을 할 수 없습니다. 이 예에서는 커넥터 기능을 사용하여 이를 할 수 있습니다.

마지막 섹션에서는 디바이스를 사용하여 각 레코드가 생성된 레이블을 볼 수 있지만 이 프로세스 API에 기능이 만들어졌습니다.Mulesoft에 저장된 정보를 표시하는 페이지를 만들었습니다.

내가 어떻게 했지?같은 과정 API에'portal'이라는 새 프로필을 설치했습니다. 이 흐름은'Load Static Resource'를 포함하고 src/main/resources에 저장된'web'폴더의 페이지에 서비스를 제공합니다.

이제 홈 페이지에는 이미지와 트윗에 대한 정보를 표시하기 위해 JQuery를 사용하는 스크립트가 있습니다.
다음은 페이지의 모양새입니다.

기본적으로, 페이지는 우리가 AWS에서 얻은 라벨을 알려주고, 우리가 촬영한 사진과 생성된 라벨과 관련된 트윗을 보여 준다.
여기에서 이 코드를 얻을 수 있습니다 https://github.com/emoran/mule-aws-recognition-process-api.git
비디오 보기: