자연 언어 처리 모델'BERT'를 이용하여 텍스트 분류 AI를 간단하게 할 수 있는 웹 응용 프로그램을 제작하였다.
제 취미는 개인 개발 웹 서비스입니다. 제 이름은 2z입니다.
코드 없이 누구나 AI를 쉽게 만들 수 있는'AI 메이커'서비스를 운영하고 있다.
https://aimaker.io/
이번에 만든 거.
이번에는'AI 메이커'에서 구글이 자랑하는 자연 언어 처리 모델인'BERT'로 구성된 텍스트 분류 AI를 간단하게 제작할 수 있는 기능을 선보였다.
다음 3단계는 누구나 텍스트 분류를 쉽게 만들 수 있는 AI!
당신은 무엇을 할 수 있습니까?
지정한 텍스트를 학습할 때 정의된 범주로 분류하는 AI를 만들 수 있습니다.
알기 쉬운 용도로 댓글의 스팸메일 판정 등을 고려할 수 있다.
로렌의'나인지 나인지 이외인지'를 텍스트에서 가려낼 수 있는 AI를 만들어 봤다.
아래와 같이 텍스트와 트위터의 최근 트위터와 프로필 등에서 AI 진단을 시도할 수 있다.
아래 URL에서 실제로 사용해 볼 수 있으니 꼭 해 보세요.
화면 이미지
AI 모델 로그인 화면
학습 데이터의 로그인 화면
모드 학습 화면
패턴 학습 역사
모형의 추론 화면
모형의 추론 결과 화면
시스템 구성도
시스템 구성도는 다음과 같다.
Amazon 웹 서비스(이하 AWS)를 사용하여 서비스가 구축되었습니다.
큰 구성은 주로 사용자의 요청을 받는 전치 서버와 기계 학습 처리를 처리하는 백엔드 서버다.
기술을 사용하다
Linux
클로드의 호스팅은 AWS로 EC2에 서버를 구축했다.
서버의 OS는 Linux, 프런트엔드 서버는 Amazon Linux2, 백엔드 서버는 Ubuntu입니다.
Apache
웹 서버는 Apache를 사용합니다.
Nginx도 있지만 Apache는 평소 사용하고 있고, 설정 방법을 익혔기 때문에 평소와 같이 안정적으로 선택했다.
MySQL（Amazon RDS）
데이터베이스는 MySQL(Amazon RDS)을 사용합니다.
NFS（Amazon EFS）
각 인스턴스에서 파일을 공유하기 위해 NFS(네트워크 파일 시스템)로서 Amazon EFS가 사용됩니다.
PHP
선행 서버의 프로그램은 PHP를 사용합니다.
Python
백엔드 서버의 프로그램은 Python을 사용합니다.
또한 Fast API 프레임워크를 사용하여 프런트엔드 서버에서 백엔드 처리를 호출할 수 있습니다.
https://fastapi.tiangolo.com/ja/
ktrain
'ktrain'은 낮은 코드를 간단하게 사용하여 깊이 있게 학습할 수 있는 프로그램 라이브러리다.
TensorFlow, Keeras,transformers,scikit-learn,strellargraph 등 가벼운 자물쇠를 사용하면 몇 줄 정도의 코드만으로도 정교한 조화, 추론 등을 수행할 수 있다.
https://github.com/amaiya/ktrain
HuggingFace Transformers
Hugging Face사가 제공하는 자연 언어 처리의 딥러닝 프레임워크입니다.
TensorFlow와 PyTorch 두 가지에 대응하여 BERT 등 가장 선진적인 알고리즘을 쉽게 시도할 수 있다.
이번에는 ktrain을 통해서 사용했어요.
https://github.com/huggingface/transformers
TensorFlow
TensorFolow는 Google이 소스를 개발·개방해 공개한 머신러닝 프레임워크입니다.
이번에는 ktrain을 통해서 사용했어요.
https://www.tensorflow.org/?hl=ja
설치에 공을 들인 곳 등.
1. 학습 데이터 자동 수집
AI의 모형 제작에서 가장 어려운 것은 학습 데이터 수집이다.
AI 메이커에서는 누구나 쉽게 시도할 수 있도록 트위터 API를 사용해 서명으로 트위터를 자동으로 수집해 학습 데이터로 활용할 수 있다.
또한 자동 수집은 물론 CSV를 통해 로그인 학습 데이터를 업로드할 수 있습니다.
2. 학습 모드에서의 자동 안내 기능
학습 데이터(교사 데이터)를 준비할 때 라벨을 준비하느라 힘들었죠?
그래서 우리는 이미 배운 모델에서 자동으로 식별(표시)하는 기능을 준비했다.
자동 위치 추적 기능을 사용하는 경우 라벨이 정확한지 확인해야 하지만 0부터 표시하는 것보다 모방 작업의 시간을 줄일 수 있다.
API
제작된 AI는 API를 이용해 웹 서비스와 애플리케이션에 편입될 수 있다.
스스로 만든 AI는 물론 다른 사람이 만들어 공개한 AI도 API에서 사용할 수 있다.
API 호출 방법
HTTP 요청
POST https://aimaker.io/text/classification/api
질의 매개변수
매개 변수
타입
설명
id
integer
모델의 ID를 지정하십시오(필수).
apikey
string
API 키를 지정하십시오(필수).
text
string
분류할 텍스트를 지정하십시오(필수).
모델 ID, API 키와 관련, AI 공급업체의 각 모델 화면에서 "API 사용!"보세요.
각 모델은 다음 URL의 모두의 AI에서 검색할 수 있습니다.
CURL을 통해 API를 수행하는 경우
curl -X POST -F id=$id -F apikey=$apikey -F "text=テキスト" "https://aimaker.io/text/classification/api"성공 시 반응
JSON 형식
{
"state": 1,
"text": "テキスト",
"labels": {
"0": {
"score": 0.997,
"label": "ラベル0"
},
"1": {
"score": 0.003,
"label": "ラベル1"
}
}
}
실패 시 응답
JSON 형식
{
"state": 0,
"messages": [
"不正なアクセスです。"
]
}
API 사용 예
비록 하나의 예일 뿐이지만, 나는 다음과 같이 활용할 수 있다고 생각한다.
최후
이번에는'AI 메이커'에서 구글이 자랑하는 자연 언어 처리 모델인'BERT'의 문자 분류 AI 기능을 소개했다.
아래 URL에서 AI를 꼭 만들어 보세요!
■URL
여러분들이 시도할 때 트위터에 테스트 결과를 공유할 수 있다면 저는 매우 기쁠 것입니다!
또한, 이 서비스에 관심이 있다면, 반드시 관심을 가지고 지지해 주십시오!
누구나 쉽게 AI를 만들고 시도할 수 있는 서비스다.
AI를 활용한 API도 제공되었으니 반드시 활용해 주십시오.
이미지, 동영상 화질을 높이고 확대, 소음을 제거할 수 있는 서비스다.
영상, 소리, 영상을 올리기만 하면 간단하게 녹음, 녹음할 수 있는 서비스.말하는 사람도 인식할 수 있어!
영상을 올리면 영상 내 음성을 인식해 문자인식을 하고 자동으로 영상에 자막과 자막을 추가할 수 있다.여기서도 말하는 사람을 식별할 수 있다!
클럽하우스 게시 정보와 인기 차트를 훑어보거나 방 검색 기능을 통해 화제의 방과 관심 있는 방을 찾을 수 있다.
Reference
이 문제에 관하여(자연 언어 처리 모델'BERT'를 이용하여 텍스트 분류 AI를 간단하게 할 수 있는 웹 응용 프로그램을 제작하였다.), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다 https://zenn.dev/2zn01/articles/f5abd13185a2fe텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념
(Collection and Share based on the CC Protocol.)
좋은 웹페이지 즐겨찾기
