홍성은 부교수

결손된 멀티모달 데이터(이미지, 텍스트, 오디오 등)의 복원과 소스 데이터 없이 타겟 도메인에 적응하는 소스-프리 도메인 적응(SFDA) 기술을 연구하고 있습니다. RGB-X 데이터의 다중-모달 다수-작업 학습을 위한 경로 네트워크 기술을 개발했으며, 부분 도메인 적응 문제를 해결하기 위해 적응형 그래프 기반 적대적 네트워크를 설계했습니다. 이 기술은 소스 도메인 클래스와 타겟 도메인 클래스가 부분적으로만 겹치는 상황에서도 안정적인 적응 성능을 확보할 수 있도록 그래프 구조를 통해 도메인 간 관계를 모델링합니다. 개발된 기술은 실환경에서 수집된 데이터의 분류 및 분할 작업에 적용되고 있으며, 데이터 프라이버시 보호가 요구되는 영상 분류 문제에도 활용되고 있습니다. 관련 연구로 한국연구재단 우수신진연구 및 최초혁신실험실(2023)에 선정되었으며, 경로 네트워크 기술 관련 과제 예산 약 1억 4793만원을 확보했습니다. 부분 도메인 적응을 위한 그래프 기반 적대적 네트워크 기술은 등록특허(등록번호 10-2389368)로 보호받고 있습니다.

메타휴먼 및 가상 인간 구현을 위해서는 사실적인 얼굴 영상을 생성하고 편집하는 기술이 필요합니다. 이를 위해 얼굴 영역 딕셔너리의 적대적 증류를 이용한 얼굴 초해상화 기술을 개발했으며, 저해상도 얼굴 영상에서도 세부 특징을 복원할 수 있도록 얼굴 구조 정보를 딕셔너리 형태로 학습하고 적대적 증류 과정을 통해 화질을 개선했으며, 적대적 생성신경망(GAN)에서 개인별 변조를 이용한 얼굴 연령 편집 기술을 통해 동일 인물의 다양한 연령대 얼굴 영상을 자연스럽게 생성할 수 있도록 했습니다. 이러한 기술은 메타휴먼 플랫폼 구축과 얼굴 이미지 복원 및 편집 서비스에 적용되고 있습니다. 얼굴 초해상화 기술은 등록특허(등록번호 10-2434969)로, 얼굴 연령 편집 기술은 등록특허(등록번호 10-2266165)로 각각 등록되어 총 2건의 특허를 보유하고 있습니다.

로봇 비전 및 메타버스 환경에서 인간과 인공지능 간 상호작용을 구현하기 위해서는 정확한 물체 인식과 사실적인 메타휴먼 구현 기술이 필요합니다. 이를 위해 RGBD 기반 물체 인식기 학습 기술을 개발했으며, 어텐션 메커니즘을 활용한 멀티모달 학습 방법을 통해 컬러 정보와 깊이 정보를 효과적으로 융합했습니다. 이를 기반으로 인공지능 융합형 메타휴먼 플랫폼을 구축하여 인간-AI 상호작용 콘텐츠 제작에 활용할 수 있도록 했습니다. 개발된 물체 인식 기술은 산업용 로봇의 물체 인식 작업에 적용되고 있으며, 메타휴먼 플랫폼 기술은 메타버스 콘텐츠 제작에 활용되고 있습니다. RGBD 기반 물체 인식기 학습 기술 개발 과제는 예산 6600만원을 확보했으며, 인공지능 융합형 메타휴먼 플랫폼 연구실은 기초연구실 과제로 선정되어 센터운영비 3410.9만원을 확보했습니다.