🕵️ 서비스로 얼굴을 검사하다🐍

28408 단어 serverless googlecloud python machinelearning

👋 안녕하세요.

이 문서에서는 다음을 볼 수 있습니다.

사진 속 사람의 얼굴을 어떻게 검출하는지,

어떻게 자동으로 익명, 재단... 사람의 얼굴이 담긴 사진,

서버 없는 온라인 프레젠테이션으로 만드는 방법

300줄 미만의 Python 코드에 있습니다.

이것은 저명한 얼굴로 자동 익명과 재단되었다.이게 누군지 알아맞혀 봐?

Note: We're talking about face detection, not face recognition. Though technically possible, face recognition can have harmful applications. Responsible companies have established AI principles and avoid exposing such potentially harmful technologies (e.g. Google AI Principles).

🛠️ 도구

몇 가지 도구는 다음과 같습니다.

이미지를 분석하는 기계 학습 모델,

이미지 처리 라이브러리,

웹 응용 프로그램 프레임워크

가장 저렴한 비용으로 연중무휴 24시간 프레젠테이션을 제공하는 서버 없는 솔루션

🧱 건축학

이것은 2개의 구글 클라우드 서비스를 사용하는 구조(App Engine+Vision API:

워크플로우는 다음과 같습니다.

프레젠테이션 열기: 응용 프로그램 엔진이 홈페이지에 서비스를 제공합니다.

셀카: 프런트엔드에서 /analyze-image단점으로 보냅니다.

백엔드에서 Vision API에 요청: 이미지를 분석하고 결과를 반환합니다(참고).

백엔드에서 주석과 검출된 면의 수를 되돌려줍니다. (웹 페이지에 직접 정보를 표시합니다.)

프런트엔드에서 이미지, 주석 및 처리 옵션을 /process-image 엔드포인트로 전송합니다.

백엔드에서 주어진 옵션을 사용하여 이미지를 처리하고 결과 이미지를 되돌려줍니다.

옵션 변경: 5단계와 6단계를 반복합니다.

새 옵션을 사용하여 이미지를 가져옵니다.

이것은 많은 가능한 구조 중의 하나다.이 방법의 장점은 다음과 같다.

웹 브라우저 캐시 셀카와 주석: 저장과 관련이 없고 구름 어느 곳에도 개인 이미지를 저장하지 않습니다.

이미지당 Vision API는 한 번만 호출됩니다.

🐍 Python 라이브러리

구글 클라우드 비전

Vision API를 호출하는 클라이언트 라이브러리를 봉인합니다.

https://pypi.org/project/google-cloud-vision

베개

매우 유행하는 이미지 라이브러리로 내용이 광범위하고 사용하기 쉽다.

https://pypi.org/project/Pillow

병.

가장 유행하는 웹 응용 프로그램 프레임워크 중 하나입니다.

https://pypi.org/project/Flask

의존항

requirements.txt 파일에서 종속성을 정의합니다.

google-cloud-vision==2.4.4

Pillow==8.3.2

Flask==2.0.2

Notes:

As a best practice, also specify the dependency versions. This freezes your production environment in a known state and prevents newer versions from potentially breaking future deployments.

App Engine will automatically deploy these dependencies.

🧠 이미지 분석

Vision API

Vision API는 이미지 분석에 사용되는 가장 선진적인 머신러닝 모델을 제공합니다.여러 가지 특징 중 하나는 얼굴 검사다.다음은 이미지에서 사람의 얼굴을 감지하는 방법입니다.

from google.cloud import vision_v1 as vision

Annotations = vision.AnnotateImageResponse
MAX_DETECTED_FACES = 50

def detect_faces(image_bytes: bytes) -> Annotations:
    client = vision.ImageAnnotatorClient()
    api_image = vision.Image(content=image_bytes)
    return client.face_detection(api_image, max_results=MAX_DETECTED_FACES)

백엔드 끝점

Flask를 사용하여 API 끝점을 공개하면 라우팅 패키지 함수가 포함됩니다.다음은 가능한 POST 끝점입니다.

import base64

import flask

app = flask.Flask(__name__)

@app.post("/analyze-image")
def analyze_image():
    image_file = flask.request.files.get("image")
    annotations = detect_faces(image_file.read())

    return flask.jsonify(
        faces_detected=len(annotations.face_annotations),
        annotations=encode_annotations(annotations),
    )

def encode_annotations(annotations: Annotations) -> str:
    binary_data = Annotations.serialize(annotations)
    base64_data = base64.urlsafe_b64encode(binary_data)
    base64_annotations = base64_data.decode("ascii")
    return base64_annotations

프런트엔드 요청

다음은 프런트엔드에서 API를 호출하는 javascript 함수입니다.

async function analyzeImage(imageBlob) {
  const formData = new FormData();
  formData.append("image", imageBlob);
  const params = { method: "POST", body: formData };
  const response = await fetch("/analyze-image", params);

  return response.json();
}

🎨 화상 처리

면 경계 상자 및 지표

시각 API는 검출된 사람의 얼굴의 경계 상자와 30여 개의 얼굴 표지점(입, 코, 눈 등)의 위치를 제공한다.다음은 베개(PIL)를 사용하여 시각화하는 방법입니다.

from PIL import Image, ImageDraw

PilImage = Image.Image
ANNOTATION_COLOR = "#00FF00"
ANNOTATION_LANDMARK_DIM_PERMIL = 8
ANNOTATION_LANDMARK_DIM_MIN = 4

def draw_face_landmarks(image: PilImage, annotations: Annotations):
    r_half = min(image.size) * ANNOTATION_LANDMARK_DIM_PERMIL // 1000
    r_half = max(r_half, ANNOTATION_LANDMARK_DIM_MIN) // 2
    border = max(r_half // 2, 1)

    draw = ImageDraw.Draw(image)
    for face in annotations.face_annotations:
        v = face.bounding_poly.vertices
        r = (v[0].x, v[0].y, v[2].x + 1, v[2].y + 1)
        draw.rectangle(r, outline=ANNOTATION_COLOR, width=border)

        for landmark in face.landmarks:
            x = int(landmark.position.x + 0.5)
            y = int(landmark.position.y + 0.5)
            r = (x - r_half, y - r_half, x + r_half + 1, y + r_half + 1)
            draw.rectangle(r, outline=ANNOTATION_COLOR, width=border)

익명

다음은 경계선을 통해 얼굴 익명을 실현하는 방법입니다.

ANONYMIZATION_PIXELS=13

def anonymize_faces(image: PilImage, annotations: Annotations):
    for face in annotations.face_annotations:
        v = face.bounding_poly.vertices
        face = image.crop((v[0].x, v[0].y, v[2].x + 1, v[2].y + 1))

        face1_w, face1_h = face.size
        pixel_dim = max(face1_w, face1_h) // ANONYMIZATION_PIXELS
        face2_w, face2_h = face1_w // pixel_dim, face1_h // pixel_dim
        face = face.resize((face2_w, face2_h), Image.NEAREST)
        face = face.resize((face1_w, face1_h), Image.NEAREST)

        image.paste(face, (v[0].x, v[0].y))

면재단

이와 유사하게 검출된 면에 초점을 맞추기 위해 면 주위의 모든 내용을 재단할 수 있다.

CROP_MARGIN_PERCENT = 10

def crop_faces(image: PilImage, annotations: Annotations) -> PilImage:
    mask = Image.new("L", image.size, 0x00)
    draw = ImageDraw.Draw(mask)
    for face in annotations.face_annotations:
        draw.ellipse(face_crop_box(face), fill=0xFF)
    image.putalpha(mask)
    return image

def face_crop_box(face_annotation) -> tuple[int, int, int, int]:
    v = face_annotation.bounding_poly.vertices
    x1, y1, x2, y2 = v[0].x, v[0].y, v[2].x + 1, v[2].y + 1
    w, h = x2 - x1, y2 - y1
    hx, hy = x1 + w / 2, y1 + h / 2
    m = max(w, h) * (100 + CROP_MARGIN_PERCENT) / 100 / 2
    return int(hx - m + 0.5), int(hy - m + 0.5), int(hx + m + 1.5), int(hy + m + 1.5)