수빈's Farm

2023 인공지능 반도체 아이디어 경진대회 후기 중간고사를 마치자마자 주말 한 번 쉬어보지 못하고 죽어라 달려왔던 인공지능 반도체 대회를 어제 마치고 왔다. 혼자였으면 나갈 생각을 못해봤을 대회였는데, 연구실을 통해 성실하고 유능한 팀원 그리고, 학부생들을 진심으로 아껴주시는 교수님과 이렇게 함께할 수 있는 상황이 주어졌음에 감사한 마음이 들었다. 막연하게 논문들을 읽으며 대회 준비를 시작했으나, 결국 우리 아이디어의 핵심적인 부분들은 여러 논문들의 휘황찬란한 기법들보다 우리 팀원들의 '이렇게 하면 어떨까?, 저렇게 하면 어떨까?'하는 접근이 주가 되었다. 그렇다고 논문을 읽은 것이 무의미했다는 것은 아니다. JPEG 관련 논문들을 읽으며 JPEG 관련해서는 인하대학교 그 누구보다 잘 아는 우리가 되었다..

- 자기소개 제대로 //얼굴 사진 넣어서 -배경설명 (2분) //선행 연굴들 문제점 위주로 최신 기술 반영 및 관련 최신 연구 동향 파악 여부 - 아이디어 소개 (핵심 소개) (1분) 전체 시스템에서 흘러가는 영상 새롭게 제안된 부분이 있는지 - data flow대로 전체 시스템 하나하나 들어가면서 설명 //핵심 모듈 위주로 s_detector,t_detector!!!!!!! (3분) - 검증 (2분) 제안된 아이디어 장단점에 대한 설명 예상 정량적 목표 제시 기존 기술과의 검토 및 비교 결과 제시 추천 - application (2분) : 카메라 관련 device // VR 시장가치 강조하며...!!!!! // meta hand tracking 아이디어를 발전시켜 구체화 할 수 있는 계획 포함여부 · ..

보호되어 있는 글입니다.

인공지능 반도체에서는 큰 size의 내부 buffer를 사용하지 않는다. *** buffer : 데이터를 전송하는 동안 일시적으로 그 데이터를 보관하는 메모리의 영 큰 size의 input buffer를 사용하게 되면 작은 input을 다룰 때에는 input buffer가 모두 사용되지 않아, 하드웨어적 낭비가 심하다. 하지만 외부 메모리의 접근을 줄일 수는 있음!! 하드웨어적 낭비를 최소화하기 위하여 buffer를 layer의 특성에 맞춰서 다양하게 활용 가능하도록 하나의 버퍼를 다양한 용도로 사용하는 방법 -> 위험 //mux와 routing이 복잡해짐 -> 주소값으로 접근해서 datapath 하나로 on-chip memory 제한적 -> 효율적 계산 필요 초반 layer : input feature..

MPEG MPEG (Moving Picture Experts Group) : 프레임 단위의 압축과 더불어 프레임간의 연관성을 이용한 비디오 압축 방법이다. MPEG-1 압축 알고리즘 : MPEG-1은 CD-ROM에 대한 재생용으로 고안되어 , encoding은 시간이오래 걸리나, decoding은 실시간 처리가 가능하다. 2차원 공간에서의 중복을 제거하기 위해 DCT가 사용된다. (색상 -> 주파수 domain ) 프레임 단위의 압축에서 video sequence가 갖는 시간축 상의 중복을 없애기 위해 motion compression을 적용한다. -> 비슷한 시간축에서 정지된 배경은 변화가 거의 없으므로 움직임이 있는 부분을 기반으로 압축 진행 -> 움직이는 부분은 이전 frame간의 차이를 계산하여,..

Encoder a) 색상 변환 ( Color Transformation ) : 입력 이미지는 RGB 형식으로 주어질 수 있으며 이를 YCbCr과 같은 다른 색상 공간으로 변환한다. Y 채널은 luminance를 Cb,Cr channel은 색차 정보를 포함 b) PSNR 계산 //인코딩 전에 계산 *** PSNR : 원본과 압축된 버전 간의 신호 대 잡음 비율을 나타내며, 높을수록 품질이 더 좋음을 의미 : 압축 전에 이미지의 PSNR을 계산하여 디코딩 단계 압축품질 평가에서 사용 c) 블록 분할 (Block partitioning) : 이미지를 작은 블록으로 나누어 압축 수행 D)변환 (Transform) //DCT : 각 블록은 DCT와 같은변환을 통해 주파수 domain으로 변환됨 e) 양자화 (Qu..

- encoder, decoder 구조 알기 - video를 위한 deep learning network 알기 - image 생성 중요 : image를 classification하거나 sr,fi등등은 뻔해 image 생성이 hot - video 중요도 : image보다는 video처리 관련으로 아이디어 내기 (video를 필요로 하는 application이 많아지고 있음) 단, video는 연속된 많은 데이터들을 다뤄야하기 때문에 off chip memory 사용이 필수적 off-chip memory사용은 필수적이나 이를 어떻게 압축해서 송신할지가 중요 -> video 중요도로서 이 주제의 필요성 강조 - video 한계 : off chip 왔다갔다 너무 멀어 -> access를 줄여야해 on chip에..

JPEG 압축 알고리즘 What's JPEG : Joint Picture Expert Group의 약어로 bitmap 방식의 이미지 압축 표준 중 하나이다. *** Bitmap : 그래픽 디자인 및 이미지 처리에서 사용되는 파일 형식응로, 이미지를 픽셀 단위로 표현하는 이미지 파일 형식을 의미한다. bitmap이미지는 이미지를 작은 정사각형 영역인 픽셀로 나누어 각 픽셀의 색상 정보를 저장하는 방식으로 구성된다. JPEG은 손실 압축 기법을 사용하는 알고리즘이며, 손실의 정도를 압축 매개변수를 이용해 조정할 수 있다. 압축률이 높아질수록 손실이 심하고, 이미지 품질이 떨어진다. JPEG 압축 알고리즘 1. 이미지 준비 (Sampling & Quantization ) : 아날로그 이미지에 대해 Sampli..

Power and Memory Bandwidth Reduction through Motion-Aware Feature Map Compression ( 움직임 기반 피처 맵 압축을 통한 전력 및 메모리 대역폭 감소 ) 주제 - 비디오 입력에서 feature map을 압축하여 off-chip memory에 저장할 때 memory access 량을 줄이기 위해서 비슷한 feature map 은 저장하지 않기. 중요하지 않은 영역에서 quantization(양자화)이 많이 될수록 feature map 들의 유사성은 커지게되므로 memory access reduction도 더 커짐 - memory access나 power consumption 쪽 강조하기 - 비디오의 움직임 정보를 활용할 예정 - video용 s..