딥러닝 기반 추천 시스템에서 메모리 크기와 에너지를 줄일 수 있는 임베딩의 니어-메모리 프로세싱 방법 및 시스템

기술 요약딥러닝 기반 추천 시스템은 방대한 임베딩 테이블로 인해 메모리 부족 및 병목 현상에 직면합니다. 본 발명은 이러한 문제를 해결하고자 PIM-HBM, CPU, 메인 메모리를 결합한 하이브리드 니어-메모리 프로세싱 시스템을 제안합니다. 이 시스템은 데이터 오프로딩(핫/콜드 임베딩 분산 저장)과 태스크 오프로딩(PIM 기반 연산 처리) 방식을 통해 메모리 효율성을 극대화하고 에너지 소비를 절감합니다. 결과적으로 추천 시스템의 추론 성능과 속도를 획기적으로 향상시킬 수 있습니다. 이 기술은 개인화된 서비스의 품질을 높이고 효율적인 시스템 운영을 가능하게 합니다.