수빈's Farm

inter Decoding Inter Decoding De-mux : 먼저, de-multiplexed되어 encoder로부터 받은 bitstrea을 sub_bitstream으로 나눈다. motion field에 대한 sub_stream, displacement에 대한 sub_stream, attribute map, patch information 으로 나뉜다. Base mesh m''(i) Inter Encdoing 과정에서, base mesh는 quantization되어 motion encoder로 들어가고, reference base mesh도 reconstructed,quantized되어 motion encoder로 들어가서 motion encoder에서는 현재의 base mesh와 referen..

Inter Encoding intra encoding diagram과의 차이점 - encoder의 input으로 reference base mesh m'(j)가 들어온다. // MPEG의 I-frame 역할을 하는 - static mesh codec 대신 motion codec이 들어감 - Reconstruction of base mesh module // i-frame에 대한 base mesh가 buffer에 저장되어있다가 현재 frame에 맞춰서 조정된..? // reference frame에 대한 base mesh 가져오는 건 pre-processing에 있는 mesh buffer Reference base mesh - reference base mesh m'(j) 는 현재 frame의 base m..

Intra Decoding encoidng을 통해 compress된 bitstream이 demuxing 되어 각각의 sub-stream으로 분리된다. reconstructed base mesh m'(i)를 생성해내기 위해 mesh의 sub-stream들이 decoder의 input으로 들어온다. //patch information은 meta data인가?? mesh sub_stream (base mesh) encoder에서 base mesh에 대해 quantization만 하고 static mesh encoder 거쳐서 보냈으므로 deocder에서 static mesh decoder만 거치고 inverse quantization만 해주면 deocding된 base mesh m''(i)를 얻어낼 수 있다...

Intra Encoding 2.2 Intra Encoding Process : intra mode는 모든 frame에 대해 독립적으로 압축되어 다른 프레임의 참조를 필요로 하지 않는다. 2.2.1 Base Mesh Encoding - Quantization & Encoding (with Draco Codec) : current frame에 대한 base mesh m(i)가 먼저 quantization되고, 그 다음에 static mesh encoder를 통해서 encoding된다. Proposed scheme는 base mesh를 압축하는데 쓰이는 mesh encoding scheme을 구체적으로 지정해놓지는 않는다. mesh에 대한 codec은 bitstream에서 명시적으로 지정되거나, 사양이나 애플..

Pre-Processing Pre-Processing (2D-curve로 설명) : 이번 게시글부터 Video based dynamic Mesh Coding의 알고리즘에 대하여 구체적으로 다루어볼 계획이다. 첫 번째 과정인 Pre-Processing에 대해 먼저 설명한다. 아래 그림은 이전 게시글에서 pre-processing 과정으로 보여주었던 mesh의 변화 과정이다. https://kycu-sb.tistory.com/183 //앞쪽 3개가 pre-processing단에서 이루어지는 거고, 마지막은,, decoder에 복원된다면 저렇게 생겼겠다~ 하는 의미인 듯 아래 그림은 제안하는 pre-processign sheme의 basic한 idea를 2D curve로 표현한 것이다. - Decimated ..

[V-CG] Apple's Dynamic Mesh Coding CfP Response 2.Proposed Solution - Encoder - Pre-Processing & Encoder - input dynamic mesh, M(i) 가 들어오면 이를 base mesh ,m(i) 로 변환하고, displacements, d(i) 와 함께 encoder로 보낸다. *** Displacement : decimated mesh를 subdivision한 것과 original data와의 차이 vector -encoder는 두 데이터를 바탕으로 compressed bitstream ,b(i)를 생성해낸다. - Advantages of Pre-processing : better Rate-Distortion(RD)..

1D displacements coding for the displaced subdivision surface, KDDI : Displacement를 local coordinates로 변경했을 때, 3D displacemen는 1D displacement가 된다. **displacement(변위) : 나중 위치에서 현재 위치 뺀 벡터량 기존의 displacement는 x,y,z coordinates이고 이를 local coordinate로 conversion하면 nth coordinate가 된다. 이렇게 coordinates를 변경하면 normal vector쪽으로 많은 에너지를 갖게 된다. //뭔소리?? : 각 vertex에 대해 정의된 local coordinate s..

base mesh encoder intra는 draco를 통해 static으로 진행되고, inter를 위해서는 따로 라이브러리(motion vectro encoder)가 있다. - intra mode : google의 draco에서 static mesh에 대한 압축을 진행하게 된다. 연속된 삼각형으로 표현되어 있는 mesh를 C,L,E,R,S라는 5개의 symbol로 분류를 해서 코딩하는 edgebreaker 기술을 사용하여 이 symbol들의 연결 조합인 connectivity를 압축하고 있어서 굉장히 빠른 압축이 가능하다. mpeg에서 draco대신 edge breaker를 이용하자....고 햇따구?...뭐래는겨 edgebreaker가 draco 알고리즘 아니냐 - inter mode : base m..

intra vs inter intra : 모든 frame에 대해서 완전하게 모두 압축하는 방식 inter : I-프레임에 대해서만 (보통 3frame 주기로) 완전히 압축하고 나머지 P-프레임에 대해서는 일부 정보에 대해서만 압축하여 압축의 효율을 높이는 방식 I-frame에 대한 정보를 mesh buffer에 저장해두었다가 추가적으로 얻은 enhancement vector 정보 및 다른 정보들을 통해 p프레임들을 만든다. Preprocessing 입력으로 3D mesh를 받으면 inter mode인지 intra mode인지에 따라 서로 다른 path를 가지게 된다. inter-prediction이 필요한 intermode와 그렇지 않고 독립적으로 수행하는 intra mode로 나뉜다. // inter ..

Preliminary Development Plan - CfP(Call for Papers) Results : 총 4개의 기관에서 proposals이 제출되었고 apple의 기술이 채택되었음. ///CfP란..Call for papers의 약자로, 학술대회나 저널,워크샵,심포지엄 등에서 연구자들을 대상으로 논문 제출을 요청하는 공고를 말한다. - Adopt P11(Apple) 간단 소개 : initial mesh의 simpified version을 먼저 간단하게 보내주고, 원본 mesh와 simplified version mesh의 차분값을 전송해주는 scalable 코딩방식을 채택했다. scalable coding 으로 mesh의 geometry부를 coding한 후에 attributes쪽texture..