Project Introduction
🏠 IoT-Edge-Cloud 활용 스마트홈 구축
💡 프로젝트 소개
- 라이프 사이클을 적용한 홈 IoT관리 : CCTV를 통해 행동을 인식하고 이에 따라 IoT기기들이 작동할 수 있게 만들어 준다.
- 감정에 따른 분위기 조절 : 얼굴인식을 통해 감정을 읽게 되고 현재 기분에 맞춰 노래를 선곡해주거나 조명을 조절해준다.
👉 유튜브영상
👉 Main Service GitHub Repository
🛠 주요 기능
- 얼굴인식&감정인지: 카메라 모듈을 통해 실시간으로 얻어진 사람의 이미지를 통해 감정을 인식한다.
- 행동인식 : 카메라 모듈을 이용해 사용자의 특정 행동을 인식한다.
- Task offloading: 고사양 단말의 리소스를 저사양 단말이 활용하여 서비스 로직을 다른 단말에서 수행한다.
- 홈 IoT 장치 컨트롤
- LED : 박수 동작 인식하면 LED ON/OFF, 특정 감정에 도움을 주는 색으로 변경, 응급상황 인지 시 깜빡임
- Speaker : 특정 감정 인식되면 해당 감정에 맞는 음악 재생, 응급상황 인지 시 경고음 재생
- 위급 상황 인지
- 이메일 전송 : ‘쓰러짐’ 동작 인지 후 가족 구성원에게 이메일 전송으로 위급상황 알림
🔄 구성도
🔎 주요기술
- Home Egde Computing : LF Home Edge open source를 활용하여 집안에 있는 IoT장치(CCTV, Speaker, TV 등)을 자동으로 연결하여 단말관리, 데이터 저장, Task offload 등을 구현
- Detection
- AWS 혹은 로컬 단말을 활용해 이미지 속 얼굴을 인식하고 (‘행복’, ‘슬픔’, ‘분노’, ‘놀람’, ‘혐오’, ‘침묵’, ‘혼란’) 등의 감정을 탐지해냄
- 로컬 단말을 활용해 이미지 속 (‘쓰러짐’, ‘식사 동작’, ‘박수 동작’) 등의 행동을 탐지해냄
- 컨테이너 로직 개발(Edge/Cloud) : 스마트홈 내에 있는 저사양 IoT 단말 대신 컴퓨팅 로직을 수행하는 Edge/Cloud 서비스를 컨테이너로 구현
🤟 작품 특징 및 장점
- IoT 단말 측면
- LF HomeEdge 오픈소스를 활용하여 집안의 IoT 단말들을 사용자 개입 없이 자동으로 연결한다.
- 리소스를 유기적으로 통합하여 저사양 IoT 단말이 고사양 단말의 자원을 효율적으로 사용한다.
- Cloud로 데이터 전송 최소화하여 네트워크 지연을 최소화한다.
- 서비스 측면
- 기존의 음성인식에 기반한 스마트홈과는 달리 감정인식, 행동인식과 같은 영상 인식 기술을 활용한다.
- 사용자의 상황에 맞춘 서비스(음악, 조명 등) 제공으로 삶의 질 향상에 기여한다.
👀 프로젝트 개발 환경
👨👩👧👦 역할분담
| 이름 |
역할 |
기타 |
| 이승희 |
얼굴&감정&행동인식 모델 구축, HW 컨트롤, 서비스 로직(컨테이너) 구현, LF HomeEdge 오픈소스 기여 |
팀장 |
| 이혜원 |
HW 컨트롤 |
팀원 |
| 류상욱 |
서비스 로직(컨테이너) 구현, LF HomeEdge 오픈소스 기여 |
팀원 |
| 이승빈 |
얼굴&감정&행동인식 모델 구축, 서비스 로직(컨테이너) 구현 |
팀원 |
👨🎉 프로젝트 결과
- 2021 ICT 한이음 공모전 입선작
- 2021 한국정보처리학회 ICT 멘토링 학술대회 최우수상
