2020-05-30 게시 됨2021-08-22 업데이트 됨Programming / Project12분안에 읽기 (약 1846 단어)

Teachable Machine Model과 카카오 챗봇 연동시키기

안녕하세요.

어린이도 쉽게 만드는 인공지능, 구글의 Teachable Machine에서 추출한 모델을 가지고

goormide, keras, flask를 이용하여 API를 만들어서 카카오 챗봇과 연동시켜 보겠습니다.

개와 고양이를 분류하는 모델을 만들고

유저가 챗봇에서 개 사진을 보내면 “개”라는 텍스트를,

고양이 사진을 보내면 “고양이”라는 텍스트를 출력해 보겠습니다.

주의사항

챗봇을 만들기 위해서는 사전에 카카오 i 오픈빌더에 오픈베타 신청을 하셔야 됩니다.

사전준비 및 모델 생성

이미지를 직접 웹캠으로 추출해도 되지만, 편의를 위해 크롬의 확장 프로그램 ‘Image Downloader’를 이용하여

개와 고양이의 이미지를 한꺼번에 다운로드 받겠습니다.

[##_Image|kage@J4WVC/btqEwgQ2TzB/oKt2N26rqKRLK2FN2aZa81/img.png|alignCenter|data-origin-width=”1915” data-origin-height=”1731” data-ke-mobilestyle=”widthContent”|크롬 확장프로그램 - Image Downloader||_##]

이미지 다운로드가 완료되었다면 다운로드된 폴더에서 관련 없는 사진을 삭제해 준 다음에

https://www.teachablemachine.withgoogle.com

티처블 머신 사이트에서 Image Project를 생성해줍니다.

1~2. Upload버튼을 누른 후 다운로드 받은 폴더를 하나씩 드래그 앤 드롭 해줍니다.

3. Train 버튼을 눌러 학습을 시킵니다.

4. Webcam을 File로 바꾼 후 아무 사진이나 하나를 드래그 앤 드롭해서 테스트를 해줍니다.

Dog 100%로 이미지 분류 모델이 손쉽게 완성되었습니다!

이후 Export Model을 클릭하고 Tensorflow로 Keras Model을 다운로드 해줍니다.

이렇게 간단한 방법으로 딥러닝을 이용한 이미지 분류 모델이 생성되었습니다!

카카오 챗봇과 연동가능한 API 만들기

goormide를 이용하여 Flask 스택의 새 컨테이너를 만들어줍니다.

컨테이너가 생성되었다면 컨테이너를 실행시킵니다.

상단의 파일->가져오기->파일을 클릭하여 다운로드 받은 후 압축을 푼 티처블 머신 모델을 업로드해줍니다.

실행시킨 컨테이너의 app.py에 아래 코드를 복사-붙여넣기 합니다.

import tensorflow.keras
import flask
import urllib.request
from PIL import Image, ImageOps
import numpy as np

app = flask.Flask(__name__)
model = None


def load_model():

    global model
    model = tensorflow.keras.models.load_model('keras_model.h5')


@app.route("/api/predict", methods=["POST"])
def api_predict():

    # UserRequest 중 발화를 req에 parsing.
    req = flask.request.get_json()
    req = req['userRequest']['utterance']

	# 이미지 전처리 - 발화가 jpg, png 확장자일 때만 실행
    if 'jpg' in req or 'png' in req:
        np.set_printoptions(suppress=True)
        data = np.ndarray(shape=(1, 224, 224, 3), dtype=np.float32)
        urllib.request.urlretrieve(req, 'img')
        image = Image.open('img').convert('RGB')
        size = (224, 224)
        image = ImageOps.fit(image, size, Image.ANTIALIAS)
        image_array = np.asarray(image)
        normalized_image_array = (image_array.astype(np.float32) / 127.0) - 1
        data[0] = normalized_image_array
        prediction = model.predict(data)

        output = np.argmax(prediction, axis=-1)

        if (output == 0):
            msg = "개입니다!"
        else:
            msg = "고양이입니다!"

		# basic card format
		res = {
            "version": "2.0",
            "template": {
                "outputs": [
                    {
                        "basicCard": {
                            "title": msg,
                            "description": "",
                            "thumbnail": {
                                "imageUrl": req
                            },
                            "buttons": [
                                {
                                    "action":  "webLink",
                                    "label": "사진보기",
                                    "webLinkUrl": req
                                }
                            ]
                        }
                    }
                ]
            }
        }
        
    else:
    	# simple text format
        res = {
            "version": "2.0",
            "template": {
                "outputs": [
                    {
                        "simpleText": {
                            "text": "사진을 보내주세요"
                        }
                    }
                ]
            }
        }
    print(res)
    return flask.jsonify(res)


if __name__ == "__main__":
    print("* Loading Keras model and Flask starting server...")
    print("please wait until server has fully started")
    load_model()
    app.run(host='0.0.0.0')