SYDLAB_inha/Dynamic Mesh

VDMC - Apple's(6) / inter Decoding

빈그레 2024. 1. 31. 20:00

 

 

 

 

 

 


inter Decoding

 

 

 

 

 

 

 

Inter Decoding

 

 

 

 

 

 

 

De-mux

 

: 먼저, de-multiplexed되어 encoder로부터 받은 bitstrea을 sub_bitstream으로 나눈다.


motion field에 대한 sub_stream, displacement에 대한 sub_stream, attribute map, patch information 으로 나뉜다.

 

 

 

 

Base mesh m''(i)

 


Inter Encdoing 과정에서, base mesh는 quantization되어 motion encoder로 들어가고, reference base mesh도 reconstructed,quantized되어 motion encoder로 들어가서 motion encoder에서는 현재의 base mesh와 reference frame의 base mesh 의 차이를  reference mesh의 connectivity를 참고하여 entropy encoding하여 보내므로


?? encoder 단에서 전달해준 게 아닌데,, decoded reference base mesh m'(i) 는 어디서 나와서 motion decoder랑 reconsutrction에 들어가고 있는거야..기껏 차이값만 보내놓고 reference base mesh가 왜 저기서 들어가지?

먼저, motion substream은 entropy decoding과 inverse prediction을 통해 디코딩된다. 

- Reconstruction of base mesh 
 :  decoding된 motion값을 reference base mesh에 더해서 reconstructed quantized base mesh m'(i)를 생성한다.이 값들은 quantization되었던 값들을 encoding&decoding 하면서 구한것이므로 inverse quantization까지 해주면 base mesh m''(i)를 구할 수 있다.

 

 

 

- intra frame decoding과 유사하게, displacement 및 attribute map의 substream을 video/image decoder에서 decoding 될 수 있다.

 

- intra frame decoding과 다르게, inter prediction tool이 encoding 과정에서 사용되었을 수 있다.

 

 

 

displacement d''(i)

 


다음과 같은 과정을 거쳐 displacements d''(i)가 생성된다.

 

 

 

Deformed Mesh

 


decoding된 base mesh m''(i)와 decoding된 displacement d'(i)를 통해 deformed mesh module에서 Decoded mesh M''(i)가 최종적으로 생성된다.