개발자 이상현

앞 포스팅에서 좌표를 서버로 보내는 것 까지는 성공을 하였습니다.

하지만 저희가 겪은 문제점으로는 Apache서버를 시작하고 서버인 localhost로 이동을하게되면, 서버에 올린 좌표값이들어있는 html파일의 목록이 보이게됩니다.

아래 이미지를 보겠습니다.

앞 포스팅에서 Bounding Box의 정중앙 좌표값을 서버로 받아오는데 성공을 했다고 했습니다. 좌표가 제대로 전달이 되었는데 무엇이 문제냐고 하실 수 있습니다.

위에 이미지의 주소를 보게되면 192.168.123.101에서 끝이아닌 뒤에 /position.html 경로가 더 있는 것을 알 수 있습니다. 경로가 더 있다는 것은 localhost에서 파일목록에있는 position.html을 열었다는 것 입니다.

이게 왜 문제가 되었냐면, Arduino에서 서버를 통해서 좌표값을 가져와야 하는데

Arduino에서 서버에 접속을 해서 파일목록에 있는 position.html을 직접적으로 열고가져올 수 있는 방법이 없기 때문에 문제가 되었습니다. 어떻게 가공을 통해서 Arduino에 바로 넘겨줄 수 있는방법이 없을까에 고민에 빠졌습니다.

그래서 해결한 방법이 바로 Root Directory를 변경 시킴으로써 localhost에 접속시에

바로 저 위에 보이는 이미지처럼 좌표값이 바로 보이게 하는 것 입니다.

방법은 다음과 같습니다.

Root Directory가 html Directory가 아닌 다른 Directory가 Root 일 경우에는

서버에서 파일의 목록이 보여집니다. 하지만 html Directory를 Root로 변경 시키면

localhost서버에서 접속시 바로 좌표값을 볼수가 있습니다.

자 그럼 지금부터 Root Directory변경을 시작하겠습니다.

1. etc디렉토리 안의 파일열기

2. 수정하기

위 내용에서  "/var/www"   "/var/www/html" 부분을 원하는 폴더의 경로로

지정하면 Root Directory가 됩니다. 저희 같은 경우는 html디렉토리를 끝으로

지정해 줌으로써, localhost에 접속시 바로 좌표값이 나오도록 했습니다.

이렇게 문제해결을 성공적으로 끝 맞췄습니다. 다음 포스팅 부터는

Arduino를 어떻게 사용했는지 Arduino에 관한 포스팅으로 찾아 뵙겠습니다.

그럼이만~~ 

앞 포스팅에서 서버를 구축했으니

YOLO의 Bounding Box의 좌표를 서버로 보내는 포스팅을 하겠습니다.

[5]포스팅에서 YOLO의 분석을 다루었는데요.

darknet디렉토리 안에 src디렉토리가 있습니다.

이 안에는 여러 source code들이 있었지만 우리가 사용할 source code는

image.c입니다. image.c는 Bounding Box에 관한 좌표와 object에 Bounding Box를

그리는 c코드들이 존재합니다. 여기서 code수정을 통해서 Bounding Box의 좌표를

따오겠습니다.

image.c 코드를 캡쳐한 이미지입니다. 코드가 작아서 잘 안보일 수 있기 때문에

클릭하여 확대해서 보는걸 추천해 드립니다.

image.c 코드에서 약 238번째 line에 void draw_detections라는 함수가 보입니다.

이 안에 파일 입출력을 통해서 Bounding Box가 존재하게 되면

html파일이 생성되면서 구축해놓은 서버에 html파일이 올라가게 됩니다.

이 코드는 약 327 line인데 똑같은 void draw_detections함수 안 입니다.

strcmp를 사용하여, yolo에서 인식되는 야생동물의 class name이

inermis(고라니), wild boar(멧돼지)이면 index.html을 생성합니다.

그리고 Bounding Box의 left좌표와 right좌표의 가운데 지점 좌표를 구해줍니다.

이렇게 되면 서버의 index.html에는 야생동물의 Bounding Box의 정중앙 값이

보내집니다.  아래 이미지를 통해서 확인해 보겠습니다.

인식된 멧돼지 Bounding Box의 가운데 지점을 빨간색으로 표시를 했는데요

저렇게 정 중앙의 좌표값이 서버에 잘 전달되는 것을 확인할 수 있습니다.

여기서도 파일입출력을 하는데 위에서는 왜 파일입출력을 한거냐 라고 생각하시는

분들이 많으실겁니다. 아래에서 인식한 야생동물의 정보가 남아있기 때문에,

위에서 한번더 파일입출력을 함으로써 초기화 해준다는 개념으로 생각하시면 될 것 같습니다.

네 이번 포스팅에서는 YOLO Source의 수정을 통해서 좌표값을 계산하고,

그 좌표값을 http서버로 전송하는 포스팅을 했습니다. 다음 포스팅에서는

서버로 전송했을 때 문제점이 발생했었는데 그것에 대해서 포스팅을 해보도록

하겠습니다. 그럼이만~~

Ubuntu에서 서버를 구축해 본적이 없는데

찾아보니 엄청 간단하게 구축이 가능했습니다.

LAMP(Linux Apache MySQL PHP)를 설치하면 됩니다.

서버를 구축하기 이전에 root 계정 및 암호설정을 미리하는 것이 좋습니다.

1. Apache 설치

Apache설치가 아니더라도 항상 무언갈 설치하기전에 Package를 최신으로 update 및 upgrade를 해주는게 좋습니다. 설치 이후에도 마찬가지 입니다.

이것으로 Apache설치는 끝났습니다. 

Apache가 제대로 설치가 됬는지 확인을 해보겠습니다.

인터넷 주소창을 하나 엽니다.

'Apache2 Ubuntu Default Page'라는 메세지가 보이면 잘 설치한 것 입니다.

Apache명령어는 아래와 같습니다.

위 명령어로 apache서버의 시작과 종료를 할 수 있습니다.

2. MySQL 설치

MySQL이 설치가 진행됩니다.

진행중에 중간에 MySQL의 비밀번호 설정화면이 나오게 됩니다.

비밀번호를 잘 설정을 하고 잊어버리지않게 조심합시다.

3. PHP 설치

PHP는 5버전과 7버전이 있는데 우리는 안전하게 5.6버전을 택하였습니다.

PHP설치에 앞서 Repository를 먼저 설치합니다.

이제 PHP 5.6버전을 설치하겠습니다.

PHP설치가 끝났으면, 설치가 정상적으로 되었는지 확인해 보겠습니다.

먼저 Apache의 Root디렉토리로 이동합니다.

초기의 Root디렉토리는 /var/www/html/ 입니다.

스크립트 창이 열리면 아래의 코드를 입력한 후 현재의 폴더에 저장합니다.

이후에 PHP설치가 완전히 마무리 되었는지 확인해 보겠습니다.

PHP Version 5.6 메세지가 나오면 설치가 완료된 것 입니다.

localhost대신에 자신의 ip주소를 입력해도 서버 홈페이지에 접속할 수 있습니다.

여기까지 서버구축 포스팅을 마무리 하도록 하겠습니다.

앞 포스팅에서 YOLO의 데이터 학습까지 해서 야생동물(고라니, 멧돼지)를

인식하는 것 까지 끝 맞췄습니다. 

이제는 인식한 야생동물을 물총으로 추적하면서 쫓아내는 일만이 남았습니다.

우리는 물총을 제어하기 위해서 아두이노(Arduino)를 사용하기로 했습니다.

설계한 구성도를 한번 보도록 하겠습니다.

구성도를 설명하자면 Cam은 물총 위에 있으며, 야생동물이 인식되기까지 계속하여 물총과 함께 물총 밑에있는 servomotor를사용, 180도 회전합니다.

YOLO로 야생동물이 인식이 되면, Bounding Box의 정 중앙 좌표값을 계산해,

Http서버로 전송하게 됩니다.

그럼 Arduino는 Http서버에서 좌표를 받아와 야생동물의 위치로 물총을

위치시키고, 손잡이 방아쇠부분에 있는 360도 servomotor를 회전시켜

물총을 발사하게 설계하였습니다. 

지금까지 많은 Deep Learning Detection Algorithm중에서 왜 YOLO를 사용해야 하는지, 또 YOLO를 사용하기 위해선 어떠한 환경설정을 해야하는지, 그리고 YOLO의 예제사용 및 YOLO의 분석까지 포스팅 했습니다.

이제는 직접 데이터학습을 어떻게 시키는지에 대해 포스팅 해보도록 하겠습니다.

[1]번 포스팅을 보면 우리는 야생동물로 인한 피해를 줄이기 위해, 

Deep Learning(YOLO)기반의 Smart Scarecrow를 개발하기로 했다고 했습니다. 

그렇기 때문에 우리는 야생동물인 고라니333장 멧돼지222장 그리고 야생동물은 아니지만 강아지222장을 학습시켰습니다. 

이미지 학습에 앞서 이미지파일은 확장자가 모두 JPG이여야 합니다. 그렇기 때문에 데이터들을 수집하시고, 알씨 프로그램을 설치해서 이미지파일들을 모두 드래그후에 이미지 포맷변환을 통해서 한꺼번에 모두 JPG로 변환시킬 수 있으니 참고하시길 바랍니다.

YOLO_MARK github - YOLO_MARK의 github로 Mark의 사용법을 알 수 있습니다.

Darknet github - 데이터학습에 관한 정보를 참고할 수 있습니다.

1. YOLO_MARK

YOLO를 학습시키기 위해서는 YOLO_MARK가 필요합니다.

YOLO-MARK는 이미지파일들에 직접 본인이 Bounding Box를 그려줌으로써 Box의 좌표를 지정해줄 수 있습니다. YOLO_MARK를 설치해 보겠습니다.

설치를 했다면 yolo-mark디렉토리가 생성되었을 겁니다. 그렇다면 yolo_mark 디렉토리로 이동 후 make하고 yolo_mark를 실행해 보겠습니다.

YOLO_MARK가 실행된 것을 확인할 수 있습니다. 위에보면

image num은 0번째 이미지인가 1번째 이미지인가를 알려줍니다.

object id는 Class분류 라고 생각하면 되는데 object id로 몇개의 분류를 하고 있는가도 확인해볼 수 있습니다.

2. YOLO_MARK Labeling

경로안에 기존에 있던 이미지파일들을 삭제합니다.

그리고 그안에 본인들이 하고싶은 이미지파일을 넣어주시면 됩니다.

저 같은경우에는 위에서 말한대로 고라니333장 멧돼지222장 강아지222장의

JPG 이미지파일을 넣었습니다.

obj.data를 열게되면 위와같은 정보가 나옵니다. 여기서 맨위에 classes= 2로 되어 있는데 이는 몇개로 분류할 것인가를 설정해주는 곳 입니다. 현재 2개로 분류되어 있는걸 알 수 있습니다. 본인은 고라니, 멧돼지, 강아지 총 3개의 분류를 해야하기 때문에 3으로 변경했습니다.

obj.names는 말그대로 분류할 class에 이름을 붙여주는 겁니다. 하여 본인은 고라니, 멧돼지, 강아지 총3개의 분류를 할 것이기 때문에 위와같이 했습니다.

그럼다시 cd..해서 yolo_mark 디렉토리로 이동해 줍시다.

yolo_mark를 실행합니다. 

그리고 Bounding Box를 직접 그려넣어 Labeling을 합니다.

위와같이 직접 마우스로 Bounding Box를 직접 그려넣어주면,

jpg파일 옆에 txt파일이 생성된 것을 확인할 수 있습니다.

이 txt파일 안에는 우리가 그려넣어준 Box의 좌표값이 들어있습니다.

3. 데이터 학습하기

yolo_mark/x64/Release 경로로 이동해 줍니다.

그럼 위와같이 cfg파일이 열리게 되는데, 맨아래로 내려가 줍니다.

맨아래 [region]에 보면 classes=3이라고 보입니다. 우리는 3가지의 분류를 했기 

때문에 3인 것을 확인할 수 있습니다.

그리고 그 위 [convolutional] 아래 filters=40이라고 있습니다. 40인 이유는 

filters 숫자= 5 * (classes+5) 입니다. 우리는 3가지 분류를 했기 때문에

5 * (3+5) = 40 이기 때문에 40이란 숫자를 넣어 주었습니다. 이 내용은

맨 위에 yolo_mark github 링크에서 확인할 수 있습니다.

다른 convolutional은 수정하지 않습니다.

• convolutional layer 설치 - darknet디렉토리안에 받아 줍니다.

http://pjreddie.com/media/files/darknet19_448.conv.23

• yolo-obj.cfg파일도 darknet 디렉토리로 이동해 줍니다.
  

• yolo_mark/x64/Release/data 경로안에 있는 image 디렉토리와 obj.names , obj.data , train.txt를 darknet/data 경로로 이동해 줍니다.

자 그럼 이제 진짜 데이터학습을 해보도록 하겠습니다.

자 그럼 위와같이 학습이 진행되는데 맨 아래보면 1이 보입니다. 

이제 학습을 1번했다는 것 입니다. 724.731750 avg는 loss 즉, 손실율의 평균인데

가장 낮아질때까지 학습을 계속 진행하면 됩니다.

우리팀은 총 45000번의 학습을 진행하였습니다. 학습시간은 대략 50시간정도 걸렸는데 이것은 우리의 PC Nvidia GTX1070 8G기준 시간입니다.

이렇게 학습을 진행하게되면 Backup디렉토리 안에 자동으로 학습된 가중치파일이 저장이 됩니다. Backup디렉토리를 확인을 해보면 아래와 같습니다.

위와같이 가중치파일은 weights파일이 생성된 것을 확인할 수 있습니다.

이제는 학습된 가중치파일로 YOLO를 실행시켜 보겠습니다.

4. 실행결과

Webcam으로 실행 시킨 결과 wild boar, gorany가

잘 인식이 되는 것을 확인할 수 있습니다.

Webcam같은 경우에는 Logitech c920제품을 사용했습니다.

이것으로 YOLO데이터학습 포스팅을 마무리 하도록 하겠습니다.