SYDLAB_inha/Dynamic Mesh

VDMC - Apple's(4) / Intra Decoding

빈그레 2024. 1. 29. 20:22

 

 

 

 


Intra Decoding

 

 

 

 

 

 

 

encoidng을 통해 compress된 bitstream이 demuxing 되어 각각의 sub-stream으로 분리된다.

 

 

reconstructed base mesh m'(i)를 생성해내기 위해 mesh의 sub-stream들이 decoder의 input으로 들어온다. 

//patch information은 meta data인가??

 

 

mesh sub_stream (base mesh)

 


encoder에서 base mesh에 대해 quantization만 하고 static mesh encoder 거쳐서 보냈으므로 


deocder에서 static mesh decoder만 거치고 inverse quantization만 해주면 deocding된 base mesh m''(i)를 얻어낼 수 있다.


 

 

 

Displacement sub_stream

 


encoder에서 displacement에 대해 quantization 정도에 맞추어 reconstructed하고 wavelet transform하고, quantization하고, image packing하여 2d로 만들고 video encoding해서 compressed된 displacements값을 전달했다.


따라서 해당 과정을 그대로 inverse하여 실행해주면, decoded된 displacements를 얻을 수 있다.

 

 

 

 

Attribute map

 


attribute map은 deformed mesh에 더 잘 맞게 update되고 padding되고 색영역 변환하고 video encoding하여 전달되었다.


따라서 바로 decoding을 하여 attribute bitstream을 얻고 그에 대해 conversion을 하면 decoded된 attribute map A''(i)를 얻을 수 있다.

 

 

 

Reconstruct deformed mesh 

 

위에서 decoding을 통해 base mesh m''(i)와 displacements d''(i)를 얻으면 
final decoded mesh는 base mesh에 reconstruction process를 적용하고, displacement field를 더함으로써 만들어진다.


//base mesh에 subdivision해서 displacement(차이값)만큼 더해주면 deformed mesh가 나올 듯! 그러니 reconstruction process는 subdivison하는 과정이 아닐까,,??