딥러닝 애플리케이션의 캐싱 및 오프로딩을 지원하는 엣지 서버 및 그의 방법

기술 요약임베디드 엣지 기기의 제한된 자원은 딥러닝 서비스 제공에 어려움을 겪게 합니다. 본 발명은 딥러닝 애플리케이션의 캐싱 및 오프로딩을 지원하는 엣지 서버와 그 방법을 제시합니다. 쿠버네티스 클러스터로 구현된 이 엣지 서버는 딥러닝 앱을 캐싱하여 응답 시간을 크게 단축하며, 자원 부족 시 중앙 데이터 센터로 요청을 오프로딩하여 안정적인 서비스를 제공합니다. 특히, 캐싱을 통해 추론 연산이 중앙 데이터 센터보다 최대 52% 빠르게 수행되어, 커넥티드 카 등 딥러닝 애플리케이션의 효율적인 구동을 가능하게 합니다.