이미 많은 메쉬 압축 metric들이 존재하지만, 이미 존재하는 것들 중에는 프레임마다 다른 topology와 두 메쉬 간의 vertex density에 대한 요구사항을 충족시키지 못한다. ( *** topology : 공간의 성질과 그 공간 내의 점들이 어떻게 연결되어있는지 )
Dynamic mesh evaluation를 위한 두 가지 metric를 제시한다. 1.point cloud compression에서 사용되는 D1/D2 metric을 기반으로 한 point -based metric 2.투영된 이미지(projected image)의 평가를 기반으로 한 image-based metric
point-based metric
input mesh의 surface sampling을 수행하여 각각의 포인트 클라우드 표현(repective point cloud representations)을 생성한다. sampled surface point clouds는 MPEG pcc_error 또는 PCQM 을 사용하여 두 메쉬 간의 D1/D2 및 Y-PNSR 메트릭이 계산된다.
*** MPEG PCC (Moving Pictrue Experts Group Point Cloud Compression)
*** MPEG pcc_error : MPEG PCC 표준에 따라, 압축 후 복원된 point cloud data와 원본 데이터 사이의 차이를 나타내는 지표이며, 오류 측정 방법으로는 D1,D2 metric이 포함될 수 있다.
*** PCQM (Point Cloud Quality Metric) : 포인트 클라우드 품질을 평가하는 지표로, 압축된 데이터의 품질을 정량적으로 측정한다. 위와 같이 D1,D2 metric 같은 평가 방법이 포함될 수 있다. 밀도, 균일성, 노이즈 레벨 등을 종합적으로 고려하여 3D 재구성의 정확성과 품질을 측정한다.
- using PCC_error for mesh evaluation
OBJ 파일 : 3D 모델 데이터를 저장하는 파일 형식 중 하나이다. 모델의 vertex, texture coordinate 등을 포함하여 모델의 geometry 정보를 갖고있다.
Texture format 변환 : PNG,YUV,BGR등 다양한 이미지 형식을 사용하여 mesh의 texture 정보를 처리한다. *** PNG : 이미지 파일 형식 / YUV,BGR : 색상 표현 방식
즉, obj는 3d 모델의 구조를, png/yuv/bgr은 모델의 색상 및 texture 정보를 나타내며, 이 두가지 정보가 surface sampling을 위한 input으로 사용되어 3D 모델의 point cloud를 추출한다.
위에서 compressed mesh는 아마 압축되었다가 복원된 mesh일 것이다 원본 reference mesh와 압축했다가 복원된 mesh의 point cloud를 비교하여 evaluation 값들을 얻는다.
이 접근법에는 hole과 시간적 불일치가 잘 포착되지 않는 문제가 있다.
하지만, pcc_error 메트릭은 포인트 클라우드 표준화(standardization) 동안 광범위하게 사용되었고,
메쉬 압축에 적합한 지표의 좋은 출발점이 될 수 있다.
또한, PCQM은 평가된 포인트 클라우드에 대한 더 많은 통찰을 제공할 수 있는 지각적으로 연관된 메트릭이다.//엥
그럼에도 불구하고, 이 접근법은 sampling 단계에 크게 의존해야 하기 때문에, 좋은 메트릭을 얻기 위해 dense sampling을 적용해야 하고, 결과를 얻기 위해 시간이 오래걸린다.
//PCC가 point-based
Image-based metric
orthographic projection(직교 투영)을 이용하여, 참조 모델(reference model)과 왜곡된 모델(distorted model)이 여러 시점 방향(vdi)에 대해 렌더링된다. (각 프레임에 대해)
참조 모델과 왜곡된 모델의 렌더링으로 얻은 이미지는 adpated image MSE/PSNR metirc을 사용하여 비교된다.
결과는 프레임의 set of view directions와 시퀀스의 프레임에 대해 평균내어진다. //모르겠으나,, 뒤에 나오는 걸로 이해
pcc_mmetric은 입력 문서 m55718 [6]에 설명되어 있으며, 네 가지 다른 방법(그리드, 맵, 세분화(sdiv) 또는 면)을 기반으로 입력 메쉬 표면의 샘플링을 제공할 수 있는 기능을 가지고 있습니다. 이 소프트웨어는 MPEG pcc_error (pcc) 및 PCQM (pcqm)을 사용한 포인트 기반 메트릭 계산과 이미지 기반 메트릭 계산(ibsm)을 제공합니다. 또한, 이 소프트웨어는 입력 메쉬를 양자화하고 손실없는 비교를 위한 메트릭도 제공할 수 있습니다. 즉, 메쉬가 정확한 정점 위치와 속성을 가지고 있을 경우입니다. 최근에 소프트웨어에는 삼각형의 원래 바람직함을 변경하지 않는 연결성의 정의된 순열에 대해서만 연결성 평등을 고려하는 진화가 추가되었습니다. 소프트웨어에 대한 자세한 내용은 [7], [4] 및 [5]에서 찾을 수 있습니다. 이 문서에서는 입력 문서 m55717 [8]에서 메쉬 압축 메트릭의 초안 요구 사항과 최신 기술을 검토하고, 입력 문서 m55718 [6]에 제시된 표면 샘플링을 위한 현재 구현된 방법과 입력 문서 m57389 [4]에 제시된 이미지 기반 메트릭을 자세히 설명하며, MPEG 메쉬 압축 표준인 SC3DMC(http://mpegx.int-evry.fr/software/MPEG/PCC/tfan_mesh_anchor)와 Draco 소프트웨어(https://google.github.io/draco/)를 사용하여 입력 메쉬를 코딩할 때 메트릭의 영향을 분석합니다.
