멀티모달 학습 기반의 운전자 상태 인식 시스템 및 그 방법

출원번호 : 10-2018-0113554 (출원일: 2018-09-21)

등록번호 : 10-2184109 (등록일: 2020-11-23)

특허권자 : 충남대학교산학협력단

요약 : 본 발명은 운전자의 졸음 상태를 인식하는 기술에 관한 것으로, 본 발명의 일 실시예에 따른 멀티모달 학습 기반의 운전자 상태 인식 방법은 (a) 운전자의 생체 정보 및 상기 운전자의 얼굴 이미지 정보를 수신하는 단계; (b) 상기 수신한 얼굴 이미지 정보에 대한 특징을 추출하는 단계; (c) 상기 추출한 얼굴 이미지 정보에 대한 특징 및 상기 생체 정보에 기초하여 멀티-모달 네트워크(multi-modal network)를 형성하는 단계; (d) 상기 형성된 멀티-모달 네트워크의 출력값을 기 설정된 모드의 순서와 기 설정된 시간 순서에 따라 상기 출력값을 정렬하고, 상기 출력값을 조합함으로써 대표 정보를 생성하는 단계; 및 (e) 상기 생성된 대표 정보에 기초하여 운전자의 상태를 분류하는 단계를 포함할 수 있다.

대표청구항 : 운전자의 생체 정보 및 상기 운전자의 얼굴 이미지 정보를 수신하는 정보 수신부;상기 수신한 생체 정보 및 얼굴 이미지 정보를 기설정된 기계학습 모델에 적용하여 학습하는 학습부; 및상기 학습에 기초하여 상기 운전자의 상태를 분류하는 분류부를 포함하되,상기 학습부는,상기 정보 수신부에서 수신한 얼굴 이미지 정보에 대한 특징을 추출하는 특징 추출부;상기 특징 추출부에서 추출한 얼굴 이미지 정보에 대한 특징 및 상기 생체 정보에 기초하여 멀티-모달 네트워크(multi-modal network)를 형성하는 멀티-모달 네트워크 형성부; 및상기 멀티-모달 네트워크 형성부에서 형성된 멀티-모달 네트워크의 출력값을 기 설정된 모드의 순서와 기 설정된 시간 순서에 따라 상기 출력값을 정렬하고, 상기 출력값을 조합함으로써 대표 정보를 생성하는 대표 정보 생성부를 포함하고,상기 멀티-모달 네트워크 형성부는 DBM(Deep Boltzmann Machine)을 이용하여 상기 얼굴 이미지 정보와 상기 생체 정보에 대한 각 모달리티를 재구성하고,상기 멀티-모달 네트워크의 입력값으로서 상기 생체 정보 및 상기 얼굴 이미지 정보는 3초 단위로 자른 데이터이고,기 설정된 상기 모드의 순서는 차례대로 눈 이미지 데이터, 입 이미지 데이터 및 광혈류측정(PPG) 데이터 순서이고, 상기 시간 순서는 1초 단위로 자른 데이터의 순서인 것을 특징으로 하는 멀티모달 학습 기반의 운전자 상태 인식 시스템.

상세링크 : http://newsd.wips.co.kr/wipslink/api/dkrdshtm.wips?skey=3520492000547