전체 글 235

Metircs - PSNR / MSE

Peak Signal-to-noise ratio, PSNR PSNR PSNR은 이미지,비디오,오디오 등의 신호 처리 분야에서 신호의 최대 가능 파워(최대 신호) 대비 노이즈의 파워(손실 양)를 나타내는 지표이다. 단위는 데시벨(dB)로 표현되며, 원본과 압축된 버전과의 차이(손실)를 정량적으로 평가하는 데 사용된다. *** 신호의 최대 가능 파워 : 이미지나 비디오에서 가장 밝거나 진한 색의 강도 *** 노이즈의 파워 : 원본 신호와 비교했을 때 손상이나 오류로 인해 발생하는 차이의 양 PSNR은 두 신호간의 차이를 나타내는 MSE ( Mean Squared Error)에 기반하여 계산된다. MAX_I : 이미지에서의 최대 픽셀 값 . ex) 8bits 표현에서 255 //픽셀이 가질 수 있는 최대값 M..

Metrics - D1(Point-to-Point) / D2(Point-to-Plane)

D1/D2 Metric point cloud data는 3D 스캐너, LiDAR 시스템, 컴퓨터 비전 알고리즘을 통해 생성되며, 3차원 공간에서의 점들의 집합으로 구성된다. 이러한 데이터는 대규모의 공간 정보를 포함하고 있어 압축이 필수적이며, 압축 과정에서 발생하는 손실을 최소화하는 것이 중요하다. D1 Metric : Point-to-point Distance D1 metric은 원본 point cloud와 압축 후 복원된 point cloud 간의 point to point 거리의 평균을 계산한다. 이는 각 복원된 점이 원본 데이터의 해당 점으로부터 얼마나 멀리 떨어져있는지 측정하는 방법으로, 압축으로 인한 공간적 위치 정보의 손실을 평가한다. D1 metric은 위치적 정확성에 초점을 맞추어, 복..

Template / Function template / Class template

Template Template : 함수나 클래스를 정의할 때, 구체적인 자료형(data type)을 명시하지 않고, 이를 사용자가 정의한 자료형으로 대체할 수 있도록 하는 기능이다. 이를 통해 자료형에 독립적인 코드를 작성할 수 있어, 코드의 재사용성을 높일 수 있다. (여러 자료형으로 사용가능) template에는 두 가지 유형이 있다. 1. Function Template (함수 템플릿) 2. Class Template (클래스 템플릿) Function Template : 함수 템플릿을 사용하면 하나의 함수로 여러 자료형에 대응하는 함수를 만들 수 있다. 일반적으로 함수는 아래와 같이 정의한다. 아래 함수와 같이 정의하면 int 자료형에 대해서만 동작한다. double이나 float과 같이 다른 자..

VDMC - Other extensions

1. 패치와 패치 그룹 (Patches & Patch Groups) 구조: 메쉬는 여러 패치로 세분화되며, 이는 더 큰 타일이나 패치 그룹으로 그룹화될 수 있습니다. 패치 그룹: 새로 도입된 개념으로, 연관된 패치들에 공통의 파라미터들(세분화 스킴, 양자화 파라미터, 변환 정보 등)을 적용할 수 있게 합니다. 2. 확장성 (Scalability) 시간적 확장성: 시간적 서브샘플링과 프레임 재배열을 통해 지원됩니다. 품질 및 공간적 확장성: 기하학/정점 속성 데이터와 속성 맵 데이터에 다른 메커니즘을 사용하여 지원됩니다. 메쉬의 해상도는 세부 레벨 간 전환을 통해 조정될 수 있습니다. 3. 관심 영역 (Region of Interest, ROI) 설정 가능성: 특정 영역에 대해 더 높은 해상도나 품질로 인..

VDMC - Wavelet transform ( Lifting transform )

Lifting transform Lifting Scheme 또는 Lifting Transform은 원래의 wavelet 변환을 개선한 것으로, wavelet 변환의 계산 효율성과 융통성을 향상시킨 방법입니다. Wavelet 변환은 시간-주파수 분석을 위해 신호를 다양한 주파수 구성 요소로 분해하고, 이를 통해 신호의 특성을 분석할 수 있게 해줍니다. Lifting Scheme은 이 과정을 더 효율적이고 실용적으로 만듭니다. Lifting Scheme의 주요 특징과 과정: 분할 단계(Split Step): 데이터 샘플을 홀수 인덱스와 짝수 인덱스의 두 그룹으로 분할합니다. 이렇게 분할하는 것은 계산을 단순화하고, 후속 단계에서의 처리를 용이하게 합니다. 예측 단계(Predict Step): 한 그룹의 데이..

VDMC - Apple's(6) / inter Decoding

inter Decoding Inter Decoding De-mux : 먼저, de-multiplexed되어 encoder로부터 받은 bitstrea을 sub_bitstream으로 나눈다. motion field에 대한 sub_stream, displacement에 대한 sub_stream, attribute map, patch information 으로 나뉜다. Base mesh m''(i) Inter Encdoing 과정에서, base mesh는 quantization되어 motion encoder로 들어가고, reference base mesh도 reconstructed,quantized되어 motion encoder로 들어가서 motion encoder에서는 현재의 base mesh와 referen..

VDMC - Apple's(5) / Inter Encoding

Inter Encoding intra encoding diagram과의 차이점 - encoder의 input으로 reference base mesh m'(j)가 들어온다. // MPEG의 I-frame 역할을 하는 - static mesh codec 대신 motion codec이 들어감 - Reconstruction of base mesh module // i-frame에 대한 base mesh가 buffer에 저장되어있다가 현재 frame에 맞춰서 조정된..? // reference frame에 대한 base mesh 가져오는 건 pre-processing에 있는 mesh buffer Reference base mesh - reference base mesh m'(j) 는 현재 frame의 base m..

VDMC - Apple's(4) / Intra Decoding

Intra Decoding encoidng을 통해 compress된 bitstream이 demuxing 되어 각각의 sub-stream으로 분리된다. reconstructed base mesh m'(i)를 생성해내기 위해 mesh의 sub-stream들이 decoder의 input으로 들어온다. //patch information은 meta data인가?? mesh sub_stream (base mesh) encoder에서 base mesh에 대해 quantization만 하고 static mesh encoder 거쳐서 보냈으므로 deocder에서 static mesh decoder만 거치고 inverse quantization만 해주면 deocding된 base mesh m''(i)를 얻어낼 수 있다...

VDMC - Apple's(3) / Intra Encoding

Intra Encoding 2.2 Intra Encoding Process : intra mode는 모든 frame에 대해 독립적으로 압축되어 다른 프레임의 참조를 필요로 하지 않는다. 2.2.1 Base Mesh Encoding - Quantization & Encoding (with Draco Codec) : current frame에 대한 base mesh m(i)가 먼저 quantization되고, 그 다음에 static mesh encoder를 통해서 encoding된다. Proposed scheme는 base mesh를 압축하는데 쓰이는 mesh encoding scheme을 구체적으로 지정해놓지는 않는다. mesh에 대한 codec은 bitstream에서 명시적으로 지정되거나, 사양이나 애플..