SYDLAB_inha/Dynamic Mesh 18

VDMC - Apple's(3) / Intra Encoding

Intra Encoding 2.2 Intra Encoding Process : intra mode는 모든 frame에 대해 독립적으로 압축되어 다른 프레임의 참조를 필요로 하지 않는다. 2.2.1 Base Mesh Encoding - Quantization & Encoding (with Draco Codec) : current frame에 대한 base mesh m(i)가 먼저 quantization되고, 그 다음에 static mesh encoder를 통해서 encoding된다. Proposed scheme는 base mesh를 압축하는데 쓰이는 mesh encoding scheme을 구체적으로 지정해놓지는 않는다. mesh에 대한 codec은 bitstream에서 명시적으로 지정되거나, 사양이나 애플..

VDMC - Apple's(2) / Pre-Processsing / decimation / re-parameterization / fitting

Pre-Processing Pre-Processing (2D-curve로 설명) : 이번 게시글부터 Video based dynamic Mesh Coding의 알고리즘에 대하여 구체적으로 다루어볼 계획이다. 첫 번째 과정인 Pre-Processing에 대해 먼저 설명한다. 아래 그림은 이전 게시글에서 pre-processing 과정으로 보여주었던 mesh의 변화 과정이다. https://kycu-sb.tistory.com/183 //앞쪽 3개가 pre-processing단에서 이루어지는 거고, 마지막은,, decoder에 복원된다면 저렇게 생겼겠다~ 하는 의미인 듯 아래 그림은 제안하는 pre-processign sheme의 basic한 idea를 2D curve로 표현한 것이다. - Decimated ..

VDMC - Apple’s(1) / Proposed Solution (high-level)

[V-CG] Apple's Dynamic Mesh Coding CfP Response 2.Proposed Solution - Encoder - Pre-Processing & Encoder - input dynamic mesh, M(i) 가 들어오면 이를 base mesh ,m(i) 로 변환하고, displacements, d(i) 와 함께 encoder로 보낸다. *** Displacement : decimated mesh를 subdivision한 것과 original data와의 차이 vector -encoder는 두 데이터를 바탕으로 compressed bitstream ,b(i)를 생성해낸다. - Advantages of Pre-processing : better Rate-Distortion(RD)..

VDMC - Test Model "TMMv1"(3) Technical Adoptions

1D displacements coding for the displaced subdivision surface, KDDI : Displacement를 local coordinates로 변경했을 때, 3D displacemen는 1D displacement가 된다. **displacement(변위) : 나중 위치에서 현재 위치 뺀 벡터량 기존의 displacement는 x,y,z coordinates이고 이를 local coordinate로 conversion하면 nth coordinate가 된다. 이렇게 coordinates를 변경하면 normal vector쪽으로 많은 에너지를 갖게 된다. //뭔소리?? : 각 vertex에 대해 정의된 local coordinate s..

VDMC - Test Model "TMMv1"(2) / base mesh encoder / enhancement mesh encoder

base mesh encoder intra는 draco를 통해 static으로 진행되고, inter를 위해서는 따로 라이브러리(motion vectro encoder)가 있다. - intra mode : google의 draco에서 static mesh에 대한 압축을 진행하게 된다. 연속된 삼각형으로 표현되어 있는 mesh를 C,L,E,R,S라는 5개의 symbol로 분류를 해서 코딩하는 edgebreaker 기술을 사용하여 이 symbol들의 연결 조합인 connectivity를 압축하고 있어서 굉장히 빠른 압축이 가능하다. mpeg에서 draco대신 edge breaker를 이용하자....고 햇따구?...뭐래는겨 edgebreaker가 draco 알고리즘 아니냐 - inter mode : base m..

VDMC - Test Model "TMMv1"(1) / Preprocessing / inter-prediction / inter vs intra / mesh buffer / 1:1 mapping

intra vs inter intra : 모든 frame에 대해서 완전하게 모두 압축하는 방식 inter : I-프레임에 대해서만 (보통 3frame 주기로) 완전히 압축하고 나머지 P-프레임에 대해서는 일부 정보에 대해서만 압축하여 압축의 효율을 높이는 방식 I-frame에 대한 정보를 mesh buffer에 저장해두었다가 추가적으로 얻은 enhancement vector 정보 및 다른 정보들을 통해 p프레임들을 만든다. Preprocessing 입력으로 3D mesh를 받으면 inter mode인지 intra mode인지에 따라 서로 다른 path를 가지게 된다. inter-prediction이 필요한 intermode와 그렇지 않고 독립적으로 수행하는 intra mode로 나뉜다. // inter ..

VDMC - CfP results / TMMv1 ENC_DEC

Preliminary Development Plan - CfP(Call for Papers) Results : 총 4개의 기관에서 proposals이 제출되었고 apple의 기술이 채택되었음. ///CfP란..Call for papers의 약자로, 학술대회나 저널,워크샵,심포지엄 등에서 연구자들을 대상으로 논문 제출을 요청하는 공고를 말한다. - Adopt P11(Apple) 간단 소개 : initial mesh의 simpified version을 먼저 간단하게 보내주고, 원본 mesh와 simplified version mesh의 차분값을 전송해주는 scalable 코딩방식을 채택했다. scalable coding 으로 mesh의 geometry부를 coding한 후에 attributes쪽texture..

VDMC - "What's the Video-based dynamic mesh coding?"

Video-based Dynamic Mesh Coding Contents - What's the Video-based dynamic mesh coding? - V-DMC CfP results - V-DMC Test Model version 1 (TMMv1) - Other technical adoptions What's Mesh : 3D 모델의 구조를 나타내는데 사용되며, 모델을 구성하는 꼭짓점, 선, 삼각형 또는 다른 다각형 집합체를 나타낸다. 이러한 메시 구조는 3D모델을 시각적으로 렌더링하거나 다양한 3D 그래픽 작업을 수행하는데 사용된다. 메시는 3D 모델을 디지털로 표현하는 방법 중 하나이다. 일반적으로 꼭짓점(Vertex), 에지(Edge), 면(Face) 등으로 이루어져 있다. 각 꼭짓점은 3..