Video 처리 기술
(1) Video Super-Resolution
: 저해상도 비디오를 고해상도로 변환하는 기술이다.
딥러닝 기반의 이미지 처리 기법을 사용하여 동영상의 해상도 품질을 향상시킨다. 일반적으로 비디오 프레임 간의 공간 및 시간적 정보를 활용하여 성능을 향상시킨다.
1) 3D 공간 및 시간 정보 활용
: 하나의 이미지가 아니라 연속되 프레임 영상에서 해당도를 향상시키는 것을 목표로 하기때문에 3D CNN과 같은 아키텍처를 사용하여 공간 및 시간적인 특성을 동시에 고려한다.
2) Optical Flow 활용
: video 내에서 객체의 움직임은 프레임 간의 광학적 흐름(Optical flow)로 표현된다. 이러한 opticla flow를 활용하여 움직이는 객체에 대한 정확한 해상도 향상을 수행한다.
3) Frame 간의 일관성 유지
: super resolution 모델은 프레임 간의 일관성을 유지하도록 학습된다. 이는 변환된 고해상도 비디오가 부드럽게 보이고 자연스러운 vidieo sequence를 생성할 수 있도록 도움을 준다.
4) 실시간 처리
: 일부 video super resolution기술은 실시간으로 비디오를 처리할 수 있도록 최적화되어 있다.
(2) Video Frame interpolation (보간)
: 두 개의 연속된 비디오 프레임 간의 중간 프레임을 생성하는 기술이다. 비디오 프레임 수를 증가시켜 부드러운 동작을 제공하거나, 저프 현상을 감소시키는데 도움이 된다.
*** 저프 현상 : 동여상이나 애니메이션에서 연속된 프레임 간에 물체의 위치나 속도 등이 크게 변할 때 발생하는 갑작스러운 움직임을 의미한다.
기본적으로 두 프레임 사이의 시간적 중간 지점에서 발생한 프레임을 생성하는 것을 목표로 한다. 이를 통해 원래의 초당 프레임 수를 높일 수 있으며, 이는 더 객체가 더 자연스럽게 동작하도록 만든다.
프레임 간의 optical flow를 추정하여 중간 프레임을 생성한다.
(디스플레이 공학에서..) 프리퀀시를 120hz로 높일 때, 방송사에서 보내주는 것은 60hz기준이라, 120hz사이를 채울 또 다른 화면을 만들어내어 화면에 띄운다. interpolation이 이거,,,말하는 거 ,,맞나??
***보간 : 압축, 전송 도중 약해지거나 누락된 신호 요소를 동기적으로 회복할 수 있는 특성을 가진 수신법
1) optical flow 기반
: 위에서 언급하였던 것과 같이 Frame간의 광학적 흐름을 추정하여 중간 프레임을 생성하는 방법이다.
광학적 플로우는 픽셀 간의 움직임을 나타내는 vector field로 표현된다.
2) 딥 러닝 기반
: 최근에는 딥러닝을 사용한 Frame interpolation기술이 널리 사용되고 있다. 주로 CNN이나 RNN과 같은 신경망 구조를 사용하여 학습된 모델을 통해 중간 프레임을 만들어낸다.
- 기존 프레임을 입력으로 하는 방법
: 이 방법에서는 두 개의 인접한 프레임을 입력으로 받아 중간 프레임을 예측하는 모델을 학습한다.
- 광학적 플로우와 함께 사용하는 방법
: 시공간적 특징을 학습하고 더 정확한 시간적 움직임을 예측하는 데 도움을 준다.
요약하면, frame interpolation은 이미 주어진 프레임 사이에 부드러운 전환을 만들어내는 것에 중점을 두고 있다.
(3) Video Frame prediction
: 주어진 일련의 동영상 프레임을 사용하여 다음 프레임을 예측하는 기술이다.
주로 RNN,LSTM와 같은 아키텍처를 사용하여 구현된다.
일반적으로 다음과 같은 단계로 진행된다.
1) 입력 프레임 시퀀스
: 주어진 시간에 대한 일련의 연속된 프레임이 모델의 입력으로 사용된다.
2) 미래 프레임 예측
: 모델은 입력된 이미지 시퀀스를 분석하고, 이를 기반으로 미래의 프레임을 예측한다.
3) 평가 및 학습
: 예측된 미래 프레임은 실제 발생한 미레 프레임과 비교되어 모델을 평가하고 학습한다.
요약하면, 과거의 프레임을 사용하여 미래의 프레임을 예측하고 모델링하는 것에 중점을 두고 있다.