[V-CG] Apple's Dynamic Mesh Coding CfP Response
2.Proposed Solution - Encoder
- Pre-Processing & Encoder
- input dynamic mesh, M(i) 가 들어오면 이를 base mesh ,m(i) 로 변환하고,
displacements, d(i) 와 함께 encoder로 보낸다.
*** Displacement : decimated mesh를 subdivision한 것과 original data와의 차이 vector
-encoder는 두 데이터를 바탕으로 compressed bitstream ,b(i)를 생성해낸다.
- Advantages of Pre-processing
: better Rate-Distortion(RD) performance와 scalable decoding과 progressive transmission에서 장점이 있다.
- 압축률을 높게 하면서 손실은 더욱 적게 할 수 있다.
- scalable하게 decoding할 수 있다.
- Progressive transmission을 할 수 있다.
:저해상도부터 고해상도로 점진적으로 모델을 전송하고 rendering함으로써, 사용자는 모델이 완성되기 전에 모델의 초기 형태를 볼 수 있게 된다.
//base 정보로 미리 보여주는 건가 bitstream은 동시에 전달된다고 하셨던 것 같은데
*** RD performance : 전송률(rate)와 왜곡(distortion) 사이의 관계를 나타낸다. 데이터를 압축하고 전송하는 과정에서 항상 trade off가 발생하는데 이는 더 높은 압축률을 달성하기 위해서는 일반적으로 더 많은 데이터 손실과 왜곡이 발생한다는 것을 의미한다. rate는 압축된 데이터의 크기를 나타내어, rate가 낮을수록 압축률이 높은 것을 의미한다. distortion은 원본 데이터와 압축 후 복원된 데이터 사이의 차이를 측정한다. distortion은 손실을 나타내어 MSE,PSNR,SSIM과 같은 메트릭을 사용하여 측정할 수 있다.
2.Proposed Solution - Decoder
- Decoder & Post-Processing
- compressed bitstream,b(i)를 decoder의 input으로 받고 이를 sub-bitstream으로 내부에서 나눈 뒤에 decompress하여 metadata, base mesh, displacements, attribute map(texture map)을 생성한다.
[ Patch metadata, metadata(i) ]
[ decoded base mesh, m'(i) ]
[ decoded displacements, d'(i) ]
[ decoded attribute map, A'(i)] //아마 색상 정보를 담고 있는 texture map
- 위 components들은 post-processing module로 들어가서 복원된 mesh,M''(i)와 Attribute map A''(i)가 생성된다.
- Application
- Application은 decoder와 post-processing module에 대한 feedback(ex.control information)을 제공해준다.
- 예를 들면 ( camera frustum에 대한 ) dynamic mesh의 position에 기반하여 decoder와 post processing blocks은 생성된 mesh와 attributes map의 Resolution / Accuracy를 상황에 맞게 조정할 수 있다.
-단순화를 위해, 후처리 모듈은 재구성 및 후재구성 단계 모두를 조합합니다.//뭐래
*** camera frustum : 컴퓨터 그래픽스에서 3차원 공간의 일부,,,,//절단된 일부,,?