이미지와 ＰＰＧ 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템

출원번호 : 10-2018-0159741 (출원일: 2018-12-12)

등록번호 : 10-2096617 (등록일: 2020-03-27)

특허권자 : 충남대학교산학협력단

요약 : 본 발명에 따른 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템은 운전자의 얼굴 이미지로부터 눈과 입의 위치정보를 추출하고, 동시에 상기 운전자의 PPG(Photoplethysmogram:생리학 데이터)를 수집하는 전처리부; 상기 눈과 입의 위치정보를 상기 PPG와 하나로 융합하는 멀티모달 네트워크; 및 상기 멀티모달 네트워크에서 융합된 눈과 입의 위치정보를 상기 PPG와 융합한 융합 데이터를 가지고 운전자의 졸음상태를 파악하는 분류 네트워크;를 포함하여 운전자의 이미지 데이터(눈, 입)와 생리학 데이터(PPG) 모두 고려함으로써 정확도 높은 운전자의 졸음상태를 파악할 수 있는 효과가 있다.

대표청구항 : 운전자의 얼굴 이미지로부터 눈과 입의 위치정보를 추출하고, 동시에 상기 운전자의 PPG(Photoplethysmogram:생리학 데이터)를 수집하는 전처리부;상기 눈과 입의 위치정보를 상기 PPG와 하나로 융합하는 멀티모달 네트워크; 및상기 멀티모달 네트워크에서 융합된 눈과 입의 위치정보를 상기 PPG와 융합한 융합 데이터를 가지고 운전자의 졸음상태를 파악하는 분류 네트워크;를 포함하고,상기 전처리부는차량 내에 장착된 카메라가 촬영한 운전자 얼굴 이미지를 수신하여 수집하는 이미지 수집부;상기 운전자 얼굴 이미지로부터 눈과 입의 위치정보를 추출하는 주제어부; 및상기 운전자의 혈류량 변화를 통하여 심박수를 측정한 값인 PPG를 수집하는 PPG 수집부;를 포함하고,상기 주제어부는 상기 PPG 수집부가 수집한 PPG를 표준화하고,상기 멀티모달 네트워크는 상기 전처리부에서 전달되는 눈과 입의 위치정보 데이터를 수신하여, 해당 눈과 입의 특징을 추출하는 컨볼루션 신경망; 상기 컨볼루션 신경망에서 추출한 상기 눈과 입의 특징을 하나의 레이어로 재구성하는 레이어 재구성부; 및 상기 레이어와 상기 주제어부에 의해 표준화한 PPG를 하나의 JR(Joint Representation)로 융합하여 구성하는 JR 구성부;를 포함하고,상기 JR 구성부는 상기 컨볼루션 신경망이 추출한 눈과 입의 특징과, 상기 주제어부(120)가 표준화한 PPG를 시간순으로 정렬하는 정렬 방식(Sorting)으로 융합하여 하나의 데이터로 재구성하는 이미지와 PPG 데이터를 이용한 멀티모달 딥러닝 기반의 운전자 졸음감지 시스템.

상세링크 : http://newsd.wips.co.kr/wipslink/api/dkrdshtm.wips?skey=3520144000886