수빈's Farm

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.

Feature Pyramids for Image Synthesis Synthesis Network 제안하는 FI에서는 Niklaus의 video frame interpolation pipleine을 채택한다. 1.Optical FLow Estimator : inter-frame motion (optical flow) F0->1,F1->0을 추정하고 2 Softmax Splatting ( Forward warping ) : forward warping과 . pre-defined 필터 ψ 사용하여 generic(포괄적인) contextual information을 추출한다. 3. employing a synthesis network φ 4. obtain the interpolation result It 이러..

graph의 scale을 1000으로 맞추면 우측처럼 구분이 어렵고, 왼쪽처럼 하면 nearist가 너무 멀어서, 이렇게 정규화를 해서 비교 단위가 영향을 주는 factor가 될 수 있으니, 데이터를 정규화시키는 것이 중요하다 K-NN은 학습은 데이터를 저장하면 끝나는 것이고, 내가 가지고 있는 모든 데이터들과의 거리를 비교해서 가장 가까운 이웃들을 보는 것이다. 가장 가까운 K개를 뽑아서 투표를 하는 것! K=1일 때 중앙 노란 부분에 찍히면 주변이 다 초록인데도 노랑으로 분류되니까, K를 좀 늘려서 튀는 값들을 무시할 수 있도록 조정해준다. K가 너무 작으면 예외적이 것들에 영향을 너무 많이 받고, 너무 크면 분류가 잘 안된다. (그냥 데이터 많은 걸로 분류됨) 내가 가진 모델이 표현력이 충분하지 않..

3. Softmax splatting for frame interpolation # off-the-shelf optical flow method : input frames 사이에서 both direction으로 F0->1, F1->0을 estimate하기 위한 방 #forward warping softmax splatting 형식의 forward warping을 사용한다. 입력프레임을 직접 중간 프레임으로 forward mapping 하여 optical flow의 복잡한 연산이 필요하지 않다. 제안하는 시스템은 색상 뿐만 아니라 여러 해상도(multiple resolutions)에서의 feature space에 대한 와핑을 수행함으로써 synthesis network가 더 나은 예측을 하도록 한다. //..

Softmax Splatting for Video Frame Interpolation Preview Video FI를 위한 새로운 접근법인 softmax splatting에 대해 설명한다. 이 방법은 Video Frame interpolation에서의 forward warping에 대한 도전 과제를 해결한다. *** forward warping : 한 위치의 픽셀을 새로운 위치로 이동시키는 과정이다. forward warping은 하나의 source pixel이 하나의 target pixel로 mapping되어 겹치는 문제가 발생하며, 일부 pixel은 아무런 source pixel로부터 값이 할당되지 않는 문제가 생긴다. -> artiface 유발, hole 유 *** artifact : 이미지나 비디..

https://kyujinpy.tistory.com/16 [NeRF 논문 리뷰] - NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis * 이 글은 NeRF에 대한 논문 리뷰이고, 핵심만 담아서 나중에 NeRF Code를 이해할 때 쉽게 접근할 수 있도록 정리한 글입니다. * 코드와 함께 보시면 매우 매우 도움이 될 것이라고 생각이 들고, 코드 kyujinpy.tistory.com NeRF는 point cloud나 mesh,voxel등으로 표현된 3D object 자체를 rendering하는 게 아니라, 3D object를 바라봤을 때 보일 2D 이미지를 예측하도록 하는 것이다. 해당 물체를 어느 각도에서 봐도 2d 이미지로서 표..

Multiresolution Hash Encoding 논문 리뷰 참고 :https://velog.io/@damab/%EB%85%BC%EB%AC%B8-Instant-Neural-Graphics-Primitives [논문] Instant Neural Graphics Primitives Instant Neural Graphics Primitives with a Multiresolution Hash Encoding ✍ 핵심 어떤 테스크를 수행하는 Neural Network가 주어질 때, 모델 결과의 퀄리티와 학습 속도를 개선시켜주는 input emb velog.io 간단소개 NeRF (Neural Radience Field) : 3D 공간의 모든 점에서의 색상과 광도를 예측하는 방법 mesh와 voxel, po..

Abstract 3D pose transfer는 source의 pose를 target의 geometry에 전달해서 대상의 identity를 유지하며 pose만 바꾸는 것을 목표로 하는 "생성 작업"이다. 이전 방법들은 source와 target의 correspondence를 찾기 위해 key point 주석을 필요로 한다. ( input으로 주어지는 두 mesh외로 추가적인 정보가 필요하다는 뜻 ) #supervised learning 현재 pose transfer 방법은 end-to-end correspondence learning을 허용하나, desired final output을 supervision의 ground truth로서 필요로한다. *** desried final output : 모델이 생..