수빈's Farm

- 자기소개 제대로 //얼굴 사진 넣어서 -배경설명 (2분) //선행 연굴들 문제점 위주로 최신 기술 반영 및 관련 최신 연구 동향 파악 여부 - 아이디어 소개 (핵심 소개) (1분) 전체 시스템에서 흘러가는 영상 새롭게 제안된 부분이 있는지 - data flow대로 전체 시스템 하나하나 들어가면서 설명 //핵심 모듈 위주로 s_detector,t_detector!!!!!!! (3분) - 검증 (2분) 제안된 아이디어 장단점에 대한 설명 예상 정량적 목표 제시 기존 기술과의 검토 및 비교 결과 제시 추천 - application (2분) : 카메라 관련 device // VR 시장가치 강조하며...!!!!! // meta hand tracking 아이디어를 발전시켜 구체화 할 수 있는 계획 포함여부 · ..

보호되어 있는 글입니다.

인공지능 반도체에서는 큰 size의 내부 buffer를 사용하지 않는다. *** buffer : 데이터를 전송하는 동안 일시적으로 그 데이터를 보관하는 메모리의 영 큰 size의 input buffer를 사용하게 되면 작은 input을 다룰 때에는 input buffer가 모두 사용되지 않아, 하드웨어적 낭비가 심하다. 하지만 외부 메모리의 접근을 줄일 수는 있음!! 하드웨어적 낭비를 최소화하기 위하여 buffer를 layer의 특성에 맞춰서 다양하게 활용 가능하도록 하나의 버퍼를 다양한 용도로 사용하는 방법 -> 위험 //mux와 routing이 복잡해짐 -> 주소값으로 접근해서 datapath 하나로 on-chip memory 제한적 -> 효율적 계산 필요 초반 layer : input feature..

기존 CNN 신경망은 network inference동안 엄청난 interlayer feature data를 생성함. 실시간 처리를 하려면 interlayer의 feature map들을 저장할 큰 on-chip memory가 필요함 ***real-time processing : 실시간 처리 제안 " interlayer feature compression 을 통한 효율적인 CNN 가속 " //on chip memory size와 off chip memroy access bandwidth를 줄이는..! 가속기는 저장된 데이터를 주파수 영역으로 바꾸는 DCT변환을 사용하여 interlayer feature map을 압축하고, Quantization을 통해 고주파 성분을 제거한다. - on chip memory..

introduction down sampling based-video coding : 이미지 해상도를 감소시켜 픽셀의 수를 줄이는 과정으로, 주로 밝기 정보는 유지하면서 이미지를 축소시킨다 bicubic : 이미지나 비디오에서 픽셀 값을 예측하거나 interpolation(보간)하는데 사용되는 고급 보간 알고리즘 codec : 압축(인코딩)하거나 압축된 신호를 복원(디코딩)하는 시스템 up&down sampling으로 optimization 불가능 : 본래는 down sampling과 up samplihng을 함께 joint하여 GAN과 같은 딥러닝 기술로 저해상도 이미지에서 고해상도 이미지를 생성하며 최적화를 진행할 수 있으나 codec module에서는 불가능하다 왜인지 알아보자. down sampl..

MPEG MPEG (Moving Picture Experts Group) : 프레임 단위의 압축과 더불어 프레임간의 연관성을 이용한 비디오 압축 방법이다. MPEG-1 압축 알고리즘 : MPEG-1은 CD-ROM에 대한 재생용으로 고안되어 , encoding은 시간이오래 걸리나, decoding은 실시간 처리가 가능하다. 2차원 공간에서의 중복을 제거하기 위해 DCT가 사용된다. (색상 -> 주파수 domain ) 프레임 단위의 압축에서 video sequence가 갖는 시간축 상의 중복을 없애기 위해 motion compression을 적용한다. -> 비슷한 시간축에서 정지된 배경은 변화가 거의 없으므로 움직임이 있는 부분을 기반으로 압축 진행 -> 움직이는 부분은 이전 frame간의 차이를 계산하여,..

Encoder a) 색상 변환 ( Color Transformation ) : 입력 이미지는 RGB 형식으로 주어질 수 있으며 이를 YCbCr과 같은 다른 색상 공간으로 변환한다. Y 채널은 luminance를 Cb,Cr channel은 색차 정보를 포함 b) PSNR 계산 //인코딩 전에 계산 *** PSNR : 원본과 압축된 버전 간의 신호 대 잡음 비율을 나타내며, 높을수록 품질이 더 좋음을 의미 : 압축 전에 이미지의 PSNR을 계산하여 디코딩 단계 압축품질 평가에서 사용 c) 블록 분할 (Block partitioning) : 이미지를 작은 블록으로 나누어 압축 수행 D)변환 (Transform) //DCT : 각 블록은 DCT와 같은변환을 통해 주파수 domain으로 변환됨 e) 양자화 (Qu..

- encoder, decoder 구조 알기 - video를 위한 deep learning network 알기 - image 생성 중요 : image를 classification하거나 sr,fi등등은 뻔해 image 생성이 hot - video 중요도 : image보다는 video처리 관련으로 아이디어 내기 (video를 필요로 하는 application이 많아지고 있음) 단, video는 연속된 많은 데이터들을 다뤄야하기 때문에 off chip memory 사용이 필수적 off-chip memory사용은 필수적이나 이를 어떻게 압축해서 송신할지가 중요 -> video 중요도로서 이 주제의 필요성 강조 - video 한계 : off chip 왔다갔다 너무 멀어 -> access를 줄여야해 on chip에..

JPEG 압축 알고리즘 What's JPEG : Joint Picture Expert Group의 약어로 bitmap 방식의 이미지 압축 표준 중 하나이다. *** Bitmap : 그래픽 디자인 및 이미지 처리에서 사용되는 파일 형식응로, 이미지를 픽셀 단위로 표현하는 이미지 파일 형식을 의미한다. bitmap이미지는 이미지를 작은 정사각형 영역인 픽셀로 나누어 각 픽셀의 색상 정보를 저장하는 방식으로 구성된다. JPEG은 손실 압축 기법을 사용하는 알고리즘이며, 손실의 정도를 압축 매개변수를 이용해 조정할 수 있다. 압축률이 높아질수록 손실이 심하고, 이미지 품질이 떨어진다. JPEG 압축 알고리즘 1. 이미지 준비 (Sampling & Quantization ) : 아날로그 이미지에 대해 Sampli..

논문 요약 이 논문에서는 딥 뉴럴 네트워크(DNN) 추론을 위해 원격 서버로 스트리밍되거나 장치에 저장되는 캡처 이미지의 양이 증가하는 것에 대해 설명합니다. ***DNN : 많은 은닉층을 가진 신경망을 의미 ***DNN 추론 : training된 지식을 사용하여 새로운 입력 데이터에 대한 예측이나 분류를 수행하는 과정 ***역전파 : 역방향으로 전파하며 가중치 조절 일반적으로 원시 이미지는 리소스 제한을 관리하기 위해 JPEG와 같은 인코딩 알고리즘을 사용하여 압축됩니다. *** raw image : 이미지 센서로부터 수집된 원시 형태의 이미지 데이터를 나타내며, 컴퓨터에서 처리되지 않은 형태로 저장되어 촬영된 시점에서의 센서 데이터를 보존한다. ***JPEG : 디지털 이미지를 압축하는 데 사용된는 ..