수빈's Farm

Display - OLED

빈그레 — Sun, 5 May 2024 01:07:10 +0900

# 활용도

Rollable, Foldable, Stretchable 등 flexibility를 가진 display는 backlight가 있는 LCD같은 디스플레이로는 구현할 수 없고, backlight 없이 유기물을 통해 자발광하는 OLED에서 가능하다.

또한, backlight가 없으므로 transparent(투명한) 디스플레이도 만들 수 있다.

#OLED ( Organic Light Emitting Diode )

양극에 정공을 주입하고, 음극에 전자를 주입 했을 때, 유기물로 이루어진 Emission layer에서 전자와 정공이 만나 photon을 방출하며 빛을 만드는 디스플레이다.

#photon방출

EML의 band gap energy만큼에 해당하는 energy가 빛의 형태로 방출된다.

( photon이 같는 에너지는 photon의 주파수에 비례하고, 빛의 파장에 반비례한다. )

따라서 red와 같은 장파장의 빛을 내기 위해서는 energy gap이 작은 물질을 사용해야하고,

blue와 같이 단파장의 빛을 내기 위해서는 energy gap이 큰 물질을 사용해야 합니다.

#Electro-luminescenece

: 전자의 위치에너지를 전류로 높여서 EML까지 가게 만들

#전류로 제어

LCD는 액정에 가해지는 전압에 의해 픽셀의 색상이나 밝기값이 조정되지만, OLED는 흘려준 전류에 비례하여 photon이 방출된다. 문턱 전압 이상일 때는 빛의 밝기가 흘려주는 전류에 비례한다.

( 이상적인 경우에 전자 혹은 정공이 100개 있을 때, photon이 100개 방출 )

V=IR이니까 전압만 전류와 저항에 의해 V값크기만 일정 수준이상으로 넘어가면 전류에 비례

#OLED,LCD 전극 차이

LCD는 그냥 전극 (어차피 바뀌니까 계속) //이온 불순물이 치우쳐져서

OLED는 양극 음극 구분

#PASSIVE VS ACTIVE

OLED 18P

제조비용은 passive가 더 쌈 / active는 소비전력 낮고 정확하게 제어 가능

Display - LCD ( Source Driver IC ) / tcon / LVDS / converter / Vcom / gamma curve / Regulator

빈그레 — Sat, 4 May 2024 01:35:00 +0900

Source driver IC는 디스플레이 패널의 각 픽셀에 색상 정보를 제공하는 역할을 한다.

Source driver IC는 binary로 표현된 RGB데이터를 받아 이를 각 픽셀에 맞는 전압 신호로 변환한다.

- 1. 데이터 입력 및 Shift Register

디스플레이 Controller로부터 RGB 데이터가 소스 드라이버 IC 에 전송되면, 입력된 rgb데이터는 shift register를 통해 clk에 맞추어 순차적으로 이동시키면서 데이터를 임시로 저장하는 역할을 한다.
( Shift register 사용 이유 : 각 픽셀에 대한 정보를 순차적으로 처리하기 위해서 )

-2. latch

latch를 통해 새로운 데이터가 들어오는 동안 현재 output으로 나가고 있는 데이터는 그대로 유지하여, 새로운 데이터를 받는 과정에서 처리되고 있는 픽셀의 색상정보가 변하지 않고 유지될 수 있도록 한다.

- 3. Color Controller

각 색상에 강도를 조정하거나, gamma correction을 진행하여, 사용자가 보기에 밝기 변화가 어둡고 밝은 영역에 대해서 선형적으로 나타나도록

-4. DAC

입력된 데이터들에 대하여 디지털 신호에서 아날로그 신호로 변환하기 위해 DAC를 사용한다.

8bit일 때 2의 8승 즉 256개의 reference voltages를 가져,
256개의 level중 하나를 on하여 analog값으로 사용한다.

-5. 출력

변환된 아날로그 신호는 최종적으로 소스 드라이버 IC의 출력단을 통해 해당 픽셀로 전송된다. 이 전압을 통해 액정의 배열을 조절하여 원하는 색상과 밝기를 표현한다.

Timing Controller (T-con) Logic

컴퓨터 , 비디오 플레이어 등에서 오는 디지털 신호를 받는다. ( hdmi,display port와 같은 인터페이스를 통해)

1. 신호 조정 및 변환

tcon은 이 신호에 대한 타임이과 형식을 패널이 요구하는 특성에 맞게 변환한다.

예를 들어 입력된 신호의 해상도를 디스플레이의 해상도로 맞추어준다. (ex. bit수)

2. 타이밍 신호 생성

소스 드라이버와 게이트 드라이버에 정확한 타이밍 신호를 제공하여, 픽셀의 게이트와 데이터 라인이 정확한 순간에 활성화되도록 한다.

3. 패널의 전력 관리

디스플레이의 밝기등을 조절하여 전력 소비를 최적화한다.

LVDS (Low voltage differential signaling)

HDMI가 외부 인터페이스라면 lvds는 내부 인터페이스로

디스플레이 장치와 같은 고속 데이터 전송에 사용되는 인터페이스 기술입니다.

LVDS는 낮은 전력 소모를 목표로 하는 어플리케이션에 적합한 방식으로 특히, 대량의 비디오 데이터를 전송해야하는 고해상도 디스플레이 패널에 자주 사용됩니다.

디스플레이에서는 패널과 메인 컨트롤러 보드 간의 통신에 LVDS가 사용된다.

- LVDS Tx

: Low voltage differential signaling transmitter의 약어로 lvds의 송신 역할을 하는 컴포넌트이다.

- LVDS Rx

: low voltage differential signaling receiver의 약어로 lvds 수신기를 의미한다.

lvds 전송 시스템에서 데이터를 수신하는 역할을 하는 컴포넌트이다.

LVDS 기술은 340mV정도의 낮은 전압 스윙을 가지므로 전력 소비가 상대적으로 낮고, 이는 특히 배터리로 작동하는 휴대용 장치에서 중요한 이점이다.

구동회로 PCB

DC/DC Converter

: TFT switching을 위해 필요한 Von voltage와 Voff voltage를 생성한다.

DC/DC converter는 기본적으로 한 전압 레벨을 다른 전압 레벨로 변환하는 장치이다. 효율적으로 변환을 하며 전력을 최소화하기 위한 스위칭 기술을 사용한다.

DC/DC converter의 종류로 linear regulator와 switchig regulator가 있으나, 스위칭 방식이 선형 reulator보다 훨씬 효과적이다. linear regulator는 초과 전압을 열로 소산시키지만, swiching regulator는 전압을 자르고 붙이는 방식으로 작동하여 훨씬 더 적은 에너지를 열로 변환하고 대부분은 유용하게 사용한다.

따라서 에너지 소비가 중요한 휴대용 장치나 통신 장비에서는 스위칭 레귤레이터로서 스위칭 작업을 통해 전압을 효과적으로 생성하고 조절한다.

#번외 (레귤레이터 따로 정리하기 ) // ai 면접 질문에도 나왔던 것!!!

#####스위칭 레귤레이터

#####선형 레귤레이터

Gamma

gray level 별 analog data로서 표현되는 전압을 표현하기 위한 저항이 놓여있는 형태로서 gamma가 존재한다.

저항을 직렬로 연결한다.

저항 값에 따라서 중간 중간의 전압들이 결정되는데 이걸 감마 전압으로 사용한다.

똑같은 gray level의 값에 대해서도 gamma구조가 바뀌면 액정에 인가되는 전압도 바뀌므로

전압에 대한 최종 휘도에 대한 그래프가 변화하게 된다.

panel이 가진 VT curve에 맞춰 저항을 바꿔가면서 gamma전압을 조절한다.

Display - LCD ( Liquid Crystal Display )

빈그레 — Fri, 3 May 2024 03:10:37 +0900

#LCD란?

백라이트로부터 나온 빛에 대하여, liqud crystal을 사용하여 빛의 투과도를 제어하고, 편광판을 통해 빛의 뱡향을 제어하여 이미지를 생성하는 디스플레이이다.

# Temperature

liquid crystal 배열 구조가 흐트러지기 시작하는 melting point부터 liquid crystal 분자가 방향성을 아예 갖지 않게 되는 claring point 사이에서 디스플레이가 동작할 수 있는 operating temperature range를 갖는다.

#Polarization (편광)

편광판(polarizer)을 두어 특정 방향으로만 진동하는 과을 선택적으로 통과시켜 편광을 만든다.

#Normally Black mode / Normally White mode ( 내부가 Twisted 액정 )

NB : 편광판이 서로 평행 //액정에 전압 없을 때 black

NW : 편광판이 서로 수직 //액정에 전압 없을 때 white ( default가 white라서 CR값이 저하된다. )

CR = Lw/Lbc //Contrast Ratio

//TN LC구조에 전압을 가해서 액정 분자에 변화를 줌으로써 통과하는 빛의 밝기 정도를 제어한다.

#Active matrix

pixel 별로 TFT switch로 제어하는 구동 방식

#LCD Module

DC/DC converter
: 전원 공급

Control ASIC
: 디스플레이의 전체적인 동작을 제어 / 디스플레이의 이미지 처리, 신호 처리, 픽셀 업데이트 등등등,,,,

Inverter
: 백라이트를 켜고 끄거나 밝기를 제어

Driver IC
: 픽셀 주소 지정하여 디스플레이에 이미지를 표시 ( 색상과 밝기 제어 )

LCD panel

Backlight
: LCD의 backlight는 보통 white led를 쓴다
backlight의 스펙트럼이 좁을수록 color filter에서 더 독립적으로 살려낼 수 있어, r,g,b의 조합으로 더 넓은 color영역을 표현할 수 있다.

#LCD의 PCB

컨트롤러, 드라이버 IC, 백라이트 제어 회로 등이 포함된다

디스플레이의 패널과 컨트롤러 사이의 통신을 위한 인터페이스 역할을 한다.

#Contoller
디스플레이 장치에서 중앙 처리 장치로서 작동하며, 입력 신호를 처리하고, 디스플레이에 표시될 픽셀을 제어한다.
refresh rate, resolution (해상도) 등을 제어하는 역할을 한다.

#Driving circui Unit //강의노트 14page

1.LDI ( LCD Driver IC ) chips //픽셀 활성화
디스플레이의 각 픽셀을 제어하기 위해 사용되는 반도체 칩이다.
픽셀 활성화를 위한 반도체 칩!!!!!!!!!!
- Gate Driver IC : 행 선택 //scan electrode
- Source Driver IC : 데이터 전달 //data electorde

2.Control ASIC
(1) 신호 처리
외부로부터 받은 비디오 신호를 lcd 패널이 이해할 수 있는 형태로 변환한다.
( 색공간 변환 / 해상도 조정 / 신호의 보간 ex) interpolation / 신호의 확장 ex) 증폭 )
-> 이러한 처리를 왜 해야하는지 아니까! 이 점 어필해보기!!!!!!!!!!!!!!
(2) 타이밍 제어
각 픽셀이 적시에 활성화 되게 하기 위해 정확한 타이밍 신호를 생성한다.
(3)전력 관리
전력 소비를 최적화하고, 각 부품이 적절한 전력을 받도록 관리한다.
(4) 인터페이스 관리
다양한 입력 소스 ( hdmi,vga,displayport)와의 인터페이스를 관리한다.
사용자가 다양한 장치를 디스플레이에 연결할 수 있도록 지원한다.

3. TCP (Thin Film Transistor Circuit) //TFT 회로
: 전폭 전계 트랜지스터 회로
TFT는 LCD 패널에 주로 사용되는 전자 소자로서, 픽셀의 컬러와 밝기를 제어하는데 필요한 전압을 제어한다.

##TFT와 MOSFET의 차이는?
TFT는 비디오 디스플레이를 위한 전압 조절 소자로서 쓰이나, 전력 전자 애플리케이션으로는 사용되지 않는다.
TFT가 제공하는 전류 용량이 전력 전자에서 요구하는 것보다 낮기 때문이다. 따라서 신호처리 및 디스플레이 제어에 더욱 적합하다.

MOSFET이나 IGBT는 고전압 고전류를 다루는 전력 조절 어플리케이션으로서 인버터,컨버터, 전력 공급장치 등에 쓰인다. // 높은 전기를 요구하는

즉!! TFT는 픽셀제어를 위해! MOSFET은 전체 디스플레이 시스템의 전원 관리에 쓰인다.
PCB 전원관리는 MOSFET이 ! 디스플레이의 각 픽셀 ON/OFF는 TFT가!

4. interface connector
외부에서 오는 비디오에 대한 데이터를 source driver ic로 전달하는 역할을 한다.

5. PCB
////Gate PCB ( gate driver ic )
gate driver ic 에서 신호를 전달하면 이를 transistor에 물리적으로 연결하는 역할을 한다.
gate driver ic에서 받은 신호를 정확하고 빠르게 transistor에 전달하기 위해서 전자적 간섭인 emi를 최소화해야한다.

////Source PCB ( source driver ic, contorl asic, interface connector 등이 올라가 있음 )
source driver ic에서 나온 신호를 transistor에 물리적으로 연결하는 역할을 한다.

Multi-layer PCBs
다층으로 pcb를 이루어 ldi칩, 컨트롤러,백라이트 제어 회로 등의 다양한 회로를 가질 수 있다.
다층으로 pcb를 설계하면 회로의 복잡성을 줄이고, 신호 간의 간섭을 줄일 수 있다.

#Backlight 제어

backlight는 주로 LED가 사용되며, inverter로 밝기를 조정하거나 백라이트를 켜거나 끈다.

backlight는 pannel 뒤에 위치한다.

DC power를 공급받아 inverter를 거쳐 backlight lamp에 전해진다.

#Inverter / Converter

inverter : DC -> AC
converter : AC -> DC

#unit pixel

- 이전 pixel의 gate line과 현재 pixel의 pixel elctrode 사이에 storage capacitor(Cs)가 생긴다.

- pixel electrode와 common electrode는 backlight 빛을 통과시켜야 하므로

투명해야해서 금속 물질이 아닌 투명한 전극인 ITO를 사용한다.

#TFT 연결

TFT의 gate단자는 행 활성화를 위해 gate line과 연결되고,

source단자는 데이터를 받기 위해 source line에 연결되고,

drain 단자는 받은 데이터를 pixel electrode에 전달한다.

따라서 TFT에서 전류는 source에서 drain쪽으로 흘러 source로부터 받은 data값을 pixel electorde에 전달한다.

#TFT 동작 원리

gate에 전압이 가해지면 source와 drain사이에 채널이 생겨 전류가 흐를 경로가 만들어집니다.

채널이 형성되면, 소스 전극에 제공된 전압에 의해 전류가 소스에서 드레인으로 흐릅니다

이 전류는 드레인에 연결된 pixel electrode(전극)에 전압을 인가하게되어, pixel electrode와 common electorde 사이에 존재하는 liquid crystal의 구조를 변형시켜 해당 픽셀의 빛의 투과율을 조절하여 최종적으로 이미지의 한 픽셀로서 디스플레이에 표현되게 됩니다.

#액정에서의 빛의 투과도

빛의 투과도는 액정에 가해지는 전압에 의해서 결정되며, inversion 대칭 구동을 하므로 액정에 가해지는 전압의 절댓값을 기준으로 투과도가 결정된다. )

#inversion method

: LCD에서는 AC구동을 하여 방향을 바꿔가며 액정에 전압을 가해, 이온 불순물이 치우쳐지는 현상을 방지한다.

#TN LC
twisted nematic 구조에서 일반적으로 normally white mode를 활용하므로 전압이 가해지지 않았을 때, white를 유지하고, 전압이 가해지면 twisted 구조가 변형되면서 빛이 조금씩 막히게 된다.

NW쓰는 이유 : NB는 default가 검정이라 화면이 전체적으로 너무 어두워!

#unit pixel의 capacitance

capacitor구조는 도체와 도체 사이에 부도체가 존재할 때 형성됩니다.

따라서 unit pixel에서는 두 개의 capacitor구조를 확인할 수 있습니다.

첫째는 pixel electord와 gate electrode 구조로서 생성되는 storage capacitor가 있습니다.

pixel electrode를 이전 sub pixel의 gate line과 overlap되게 하여 capacitance가 생기도록 하여 storage capacitor 구조를 형성할 수 있습니다.

gate 전압이 사라져 transistor가 off의 상태가 된 이후에도, pixel electorde에 가해졌던 전압을 유지하며, 픽셀의 액정 상태가 안정적으로 유지되도록 합니다. 이를 통해 transistor가 off가 되더라도 해당 픽셀이 꺼지지 않도록 함으로써 이미지가 깜빡이는 현상을 방지하고, 전체적인 이미지 품질을 향상시킬 수 있습니다.

또한, 전압을 유지함으로써, 해당 픽셀을 표현하는데에 동일한 전압을 계속해서 가해주지 않아도 되기때문에 전력 소비를 줄이는 데에도 큰 도움이 됩니다.

둘째는 pixel electorde와 common electrode 구조로서 생성되는 LC capacitance가 있습니다.

액정은 전기장에 반응하여 배열이 변하는 유기 화합물이나, 그 자체로는 전기를 잘 전도하지 않는 부도체이기에 capacitance를 형성하게 됩니다.

LC capacitance는 픽셀이 받는 전압이 제거된 이후에도 액정의 상태가 일정 시간 동안 유지되도록 하여 전체 디스플레이의 품질과 안정성을 보장할 수 있도록 해줍니다.

#gamma value

:디스플레이가 표현하는 밝기 변화의 선형도

감마가 1이면 빛이 선형적으로 증가하여, 어두운 곳에서는 빛을 민감하게 인지하고 밝은 곳에서는 빛을 민감히 받아들이지 못하는 사람의 눈에서는 빛이 선형적으로 증가하는 것으로 보이기 어렵습니다.

따라서 감마값을 키워 어두운 곳에서는 투과율이 서서히 높아지도록 하고, 밝은 곳에서는 더 확연하게 투과율이 높아지도록 해야 사람의 눈으로 밝기의 변화를 잘 인지할 수 있게 된다.

#color filter

결국 backlight에서 온 빛에 대하여 각 color filter를 통과한 부분만 쓰게 되므로 빛의 2/3을 버리는 꼴이 된다.

따라서 backlight를 활용하는 효율이 좋지 않다.

#color 표현수

nbit로 color를 표현한다면 각 sub pixel마다 nbit로 표현되고 r,g,b subpixel의 조합으로 해당 픽셀의 color가 결정되므로 2의 3n승의 color 가지수를 가진다고 볼 수 있다.

( sub pixel의 수를 늘리면 표현할 수 있는 색의 영역이 더욱 넓어진다. )

#display의 색재현율

( 만들 수 있는 색의 영역 / display에서 만들 수 있는 색의 영역 ) x 100

#Direct 구동

: pixel 하나하나마다 전극을 따로 연결하는 구동 방식

#Matrix 구동 ( passive matrix / active matrix )
passive matrix (PM)

: 가로 전극과 세로 전극이 교차하는 부분이 pixel이 된다.

active matrix (AM)

: 가로,세로 전극은 스위치 ON 및 데이터 전달로만 활용하고 액정에 가하는 전압은 pixel electorde가 받은 전압에 의해 결정된다.

TFT를 사용함

#LCD 전력 감소시키는 방법

-active matrix를 써서 1frame동안 값이 Cs에 유지되게 해서 전력 감소

- inversion method를 frame inversion이나 column inversion만 써야함 ( data 전달 line에 스윙 폭이 크지 않도록 )

#LCD refresh rate높이는 방법

충전이 빠르게 되도록 해서 1H만 짧게 해주면 됨

Display - introduction / 디스플레이 기본 개념 정리

빈그레 — Thu, 2 May 2024 17:28:52 +0900

# Spatial Frequency

1도의 공간에서 발록 어두움을 얼만큼 구분할 수 있느냐를 말하며

단위는 cycles/degree(cpd)이다.

사람의 눈인 30cycles per degree를 가지고 있으므로, 1도에서 밝고 어두운 것에 대해 60개까지 구분이 가능하다.

( 30 cycles per degree = 60 piexle per degree )

사람의 눈의 해상도를 의미하는 30cpd를 1arcmin이라고도 하며

#cone세포 반응정도

광원과 반응곡선의 곱을 적분하면 각 cone의 반응 정도를 알 수 있음

display는 L,M,S의 cone을 자극할 subpixel로 이루어짐 (R,G,B sub pixel 로 이루어짐 )

subpixel이 내는 빛의 spectrum width가 좁을수록 유리하다

#PDP AC 사용 이유

Matrix 구조를 갖되 직접적으로 전류를 가하는 passive matrix 구조로 전극을 AC로 가하면 전극에서 잔자가 나오면서 형광체를 때려 가시광선이 방출되게 된다.

AC를 씀으로서 방향을 주기적으로 반대로 바꾸어주어 pixel의 값 변경을 돕는다.

#refresh rate

refresh rate이 높을수록 움직임이 끊이지 않고 부드럽게 연결되어 영상이 부드럽게 표현된다.

일반적으로 60hz에서 75hz 사이의 refresh rate를 가져야 사람의 눈으로 봤을 때, 이미지가 부드럽게 보입니다.

따라서 시스템을 만들 때 처리 속도가 1/60초가 넘지 않도록 해야 real time service를 사용자에게 끊김없이 제공할 수 있습니다.

#emissive OR non-emissive

PDP

: 전면 기판과 후면 기판 사이에 차있는 가스에 전극에서 방출된 전자가 나와 uv가 방출되어 형광체로부터 가시광선이 직접 나와서 빛이 나는 것이므로 emissive이다.

LCD ( Liquid Crystal Display )

: photon이 직접 방출되어 영상으로서 표현되는 것이 아니라 backlight에서 나온 빛이 liquid crystal구조에 의해 편광된 대로 보여지는 것이므로 non-emissive이다.

OLED ( Organic Light Emiting Diode )

#LED ( light emitting diode ) //발광 다이오드

: 전기가 흐를 때 발광하는 반도체 소자이다.

//PN junction이 발광하는 현상을 활용한 반도체 소자이다.

pn junction 즉 p type 반도체와 n type 반도체가 서로 만나고, 전기가 흘러 전자와 정공이 재결합하여 에너지를 방출하며 빛의 형태로 나간다.

전자가 정공이 있는 에너지 레벨로 내려가면서 그 에너지 차이 만큼의 에너지가 빛의 형태로 방출된다.

n type 반도체 쪽에 음극을 걸어주어 n type에 있는 전자들이 도망가서 p type쪽으로 가도록// 반대도 마찬가지

Paper Review - EMA-VFI(2) / Proposed Rchitecture / Hybrid / Low-level / motion-appearance feature extractor

빈그레 — Sun, 28 Apr 2024 17:57:29 +0900

Extracting Motion and Appearance via Inter-Frame Attention
for Efficient Video Frame Interpolation

Methods

EMA의 전체 아키텍처 구조는 위와 같다.

time 0과 1 사이 t에서의 frame을 생성하는 것이 목적이다. 위 식에서 It hat이 generated frame이다.

*** O: proposed model

low-level Feature Extractor

입력 프레임의 해상도가 높을 경우, inter frame attention에서 attention map을 생성하는 데에 큰 메모리 사용이 필요하고, 계산 부하가 생길 수 있으므로, 이러한 문제를 해결하기 위해, CNN으로 이루어진 low level feature extractor를 활용한다.

low level featuer extractor는 여러 CNN layer로 이루어져 있으며, 단일 Frame의 Appearance 외관 특징을 다양한 scale로 추출하는데 사용된다.

convolution 할때마다 나온 appearnace feature들

위 식은 i번째 프레임을 low level feature extractor에 넣으면 3가지 scale에서의 feature가 생성된다는 것을 표현한다.

( 여기서 구해진 appearance 를 바탕으로 이후에 나오는 VIT에서 attention 연산이 이루어진다.

그리고, 그렇게 구해진 attention map으로 enhanced appearance와 motion vector를 구해낸다. )

down sampling 될수록 channel의 수는 2배가 된다. 따라서 위와 같은 shape이 만들어진다.

[ hybrid 구조의 한계 ]

이렇게 CNN을 먼저 처리함으로써, 연산 부담을 줄였으나, 이로인해 transformer가 받을 input에 대한 세밀한 정보가 부족해지는 문제가 발생한다.

이를 해결하기 위해 Cross-scale patch embedding을 추가하여, CNN에서 나온 feature들을 재사용하여 cross-scale 정보를 보완한다.

[56]에언급된 multi scale dilated convolution을 사용하여 feature들의 정보를 혼합하는 것을 제안한다.

3.1 Extract Motion and appearance information

Attention Map

[Figure2]

I0 프레임의 임의의 영역 i,j를 A0(i,j)라 하고, I1프레임의 i,j에 대한 이웃 영역들을 A1(ni,j)라 하자.

I0의 임의 영역을 query로 사용하고, 이에 대한 공간적 이웃 거리에 있는 임의 영역 A1(Appearance)들을 query와 value로 사용한다.

단, A0,A1(Appearance)를 query,key,value로 사용하려면 multi head attention에 들어가기 전에 input을 통일시켜줘야하기 때문에 위와 같이 matrix와의 곱으로 값들의 차원을 맞춰주어 Q0,K1,V1의 형태로 만들어준다.

Q0와 K1과의 dot product 연산을 통해 유사도를 구하고,

softmax를 취해 가중치르 구한 다음 이를 value값에 곱하여 모두 합하면 attention map(S0->1)이 생성된다.

attention map은 본래 transformer 구조대로 query와 key의 유사도를 기반으로 생성된다.

즉 현재 바라보고 있는 i,j위치에 대한 I0에서의 일부 영역과 I1프레임에서의 그 주변 영역들에 대해 유사도(상관 관계)를 분석하는 것이다.

이렇게 만든 attention map을 통해, I0과 I1의 appearance 정보를 통합하고, I0에서의 I1으로의 대략적인 motion vector(M0->1)를 추정할 수 있다.

위 예시를 보니, 자동차가 나온 I0 프레임에 대해 I1에서의 이웃한 영역들 9개에 대해 바라보는 것이다

I1에서 자동차가 있는 부분에서는 attention 값의 높게 나온 것을 확인할 수 있다.

Transformer 구

Inter frame attention에서 (a)에서 설명한 연산을 통해 attention map이 형성된다.

*** attention map : query와 key의 유사도 확률값

이렇게 생성된 attention map은 appearance 정보를 전송하고, motion 정보를 얻는데에 동시에 활용된다.

Appearnce 정보

enhanced appearance

유사도 확률값과 value를 곱한 값을 I0 의 i,j영역의 appearance에 더하여 두 프레임 간의 상관관계를 반영하여 다음 프레임에도 나오는 영역에 대한 값을 더욱 강조하는 효과를 주어 I0 프레임을 더욱 enhance한다.

즉 연속되는 프레임 사이의 시각적 일관성을 높이는 데 사용된다.

또한, Frame Interpolation에서 I0과 I1 사이의 frame의 appearance를 예측할 때, 두 프레임의 appearance를 혼합한 정보를 사용함으로서 더 정밀한 appearnace를 생성할 수 있다.

Motion 정보

s가 1이라 가정 ,, (가정) // 디지털 영상 처리 좌표계 기준으로 생각하기

(3,0) -(0,3)= (3,-3)

Motion vector는 좌표를 바탕으로 정해진다. attention map을 통해 얻은 유사도 확률만큼만 I1프레임의 좌표값을 반영하여 Motion vector를 얻을 수 있다.

Motion feature는 이러한 Motion vector와의 Linear 연산으로 아래와 같이 구해질 수 있다.

trained model에 의해 estimated optical flow와 motion vector를 비교하면, 두 프레임의 동일 영역에 대해 유사성을 파악할 수 있다.

Paper Review - EMA-VFI(1) / Introduction / Related Work

빈그레 — Sun, 28 Apr 2024 17:55:42 +0900

Extracting Motion and Appearance via Inter-Frame Attention

for Efficient Video Frame Interpolation

Introduction

VFI( Video Frame Interpolation) 은 두 프레임 사이 중간 프레임을 생성하는 fundamental한 low-level vision taks이다.

(low level은 영상 처리의 영역, high level은 컴퓨터 비전의 영역)

VFI 접근 방식은 크게 두 가지로 나뉜다.

1) Appearance 정보와 motion 정보를 혼합하여 추출 ( mixed feature )

2) Appearance 정보와 motion 정보를 sequeital하게 별도 추출 ( motion featrue )

1)도 2)도 아닌 feature 정보 동시! 별도! 추출!

이 논문에서는 inter frame attention을 통해 appearance와 motion정보를 동시 추출하는 새로운 모듈을 제안한다.

(a),(b)가 본래 존재하던 VFI 접근 방식이고, 이 논문에서 제안하는 것은 (c)이다. 혼합되지도 sequential하게 따로 처리되지도 않으며, parallel하게 attention map을 활용하여 동시에 추출된다.

Parallel extraction을 통해 아래와 같은 이점을 얻을 수 있다.

1) 프레임의 appearance 정보 강화

motion 정보와 혼합되지 않아 appearance의 정적인 구조를 보존

2) motion feature 확장

extraction한 motion feature는 시간에 따라 확장이 가능하여 입력 프레임 사이 모든 시점에서 프레임을 생성할 수 있다.

3) 성능 및 속도 향상

parallel하게 처리하므로 전반적은 속도가 빠르고, 모듈 수 제어 가능

[Hybrid pipeline]

효율적 VFI를 위해 CNN과 Trnasformer architecture를 결합한 hybrid pipeline을 통해 feature를 효과적으로 추출한다.

Related Work

2.1 Video Frame Interpolation

- Motion aware methods
: 초기 연구에서는 appearance 정보를 활용하지 않고 픽셀 수준에서 프레임 간의 motion만 예측했으나, Niklaus 등의 연구에서 contextual features를 활용한 synthesis network를 거친 aligned intermediate frames를 제안했다.
*** contextual features : 프레임 간의 연속적인 관계를 파악한 특징

이후 연구들에서도 motion modeling과 appearance synthesis를 위한 모듈을 설계하는 방향으로 발전했다. 하지만 연구에서 성능을 보였음에도 불구하고, 시스템의 복잡성이 너무 커서 실제 적용하기에는 어려움이 있었다.

-> 이 논문에서는 motion과 appearance 정보를 통합하여 효율적으로 추출하면서도, 각각의 정보는 명시적으로 modeling하는 방법을 제안한다. 이를 통해 기존 방식들의 복잡성을 줄이면서도, 효과적은 성능을 유지할 수 있도록 한다.

2.2 Extracting Motion and Appearance
이 논문에서는 attention map을 사용하여 motion 과 appearance 정보를 직접적으로 추출한다.

2.3 Transformer
Trnasformer느는 최근 컴퓨터 비전의 다양한 작업에서 널리 사용되고있다. 하지만, 고해상도 비디오 프레임을 interpolation할 때, Trnasformer는 CNN보다 더 많은 계산과 메모리 overhead를 요구한다.

최근 몇 연구에서 CNN과 Transformer를 결합하면 모델의 성능이 향상된다는 것을 확인하였다.

따라서, 위와 같이 CNN을 사용하여 고해상도 특징을 먼저 추출한 다음, Transformer를 사용하여 motion feature와 appearance feature를 extraction한다.

이를 통해 Frame interpolation의 정확도를 높이면서도, 계산 비용을 최적화한다.

Inter-Frame Attention

: 연속되는 프레임 간의 관계를 모델링하기 위해 attention 메커니즘을 활용하는 방법이다.

프레임의 특정 부분이 다음 프레임에서 어떻게 변화하는지를 보다 정밀하게 이해하고 예측할 수 있다.

1. Query, Key, Value

Query : 현재 분석하고 있는 대상 프레임의 특정 부분
Key : 비교 대상이 되는 인접 프레임들의 특성
Value : key에 대응하는 값으로, 프레임의 특성

->Query frame이 key frame과 어떤 관계를 가지고 있는지 분석하고, 이를 통해 Value 값을 가중 평균하여 새로운 특성을 생성하게 된다.

2. Attention 계산

Query와 각 Key 사이의 유사성을 계산하고, 이를 바탕으로 Value를 가중 평균하여 새로운 특성을 생성한다. 이 과정에서 프레임 간의 동적인 변화를 포착할 수 있다.

3. 응용

이렇게 얻어진 정보는 비디오 프레임 사이의 움직임이나 변화를 더 잘 이해하고, 새로운 프레임을 생성할 때 이 정보를 사용하여 더 자연스러운 결과를 얻을 수 있게 도와준다.

https://www.youtube.com/watch?v=bfqPkj8JkSo&t=288s

Overview

이전 연구들에서도 분리된 모듈에서 motion이랑 appearance 정보를 사용하기도 했는데,

표현이 명확하지 않고 (representation ambiguity ) 낮은 효율성 문제가 있었다.

이 논문에서는 unfiying operation(통합된 동작)으로 motion 정보와 appearance 정보를 명확하게 추출한다.

appearance feature를 향상 시키고, 필수적인 motion 정보를 추출하면서 메커니즘을 만들었다.

연속적인 프레임들의 attention map을 재사용하여 apperance 와 motion정보를 추출한다.

* attention map

- Hybrid CNN and transformer architecture

( 효율과 퍼포먼스에 밸런스를 맞추기 위해서 )

//patch가 query가 됨

//key 와 value는 다른 프레임에서의 patch (꼭 동일 위치가 아닐 수 있음 )

query,key,value가 절대적 위치가 아니라 오브젝트가 존재하는 위치를 따라감으로써 움직임 정보를 모델링

Motivation

- (1) handling both types of information in a mixed way ( mixed extraction )

-> this approach entails concatenating two adjacent frames and feeding them into a backbone consisting of similar modules in succession which generates features with mixed motion and appearance information although this is simple method

it necessaitates a well-designed and high capacity extractor module as it must handle both motion and appearance information simultaneously

Additionaly the lack of explicit motion information can lead to constraints in arbitray timestep interpolation

- (2)Design separate modules for motion and appearance information extraction (sequential extraction )

-> The second approach involves designing distinct modules for extracting motion and appearance information

This method entails incorporating additional modules such as cost volume to effectively extract motion information which frequently results in a significant computational burden

Furthermore simply extracting appearance features from a single frame ignores the capturing of the correpondence of appearance informaiton between frame for the same regions which is a valuable cue for the VFI task

- (3)prarallel extraction

We propose to utilize a novel module inter-frame attention to extract distinguishable motion and appearance informatino uniformly.

Our motivation for using inter-frame lies in its a.bility to naturally model interframe motino and transfer appearance information at the same time.

An example of how inter-frame attention acquires motion and inter-frame appearances shown below for the sake of brevity here we only take the example of obatining the motion and enhacing appearance information of i0 for any region in i0

we use it as a query in the spatial neighbors and i1 as keys values to generate an attention map

-> attention map을 만들기 위해 i0영역의 patch는 query로, i1의 patch는 key나 value로 사용됨

As for appearance we first aggregate the similar appearance information for my one and then fuse it with i0 to enhace the appearance informaiton in i0.

For motino, our approach involves creating a coordinate map and then leveraging the coordinates of neighboring points to estimate their corresponding positions from this we can generate a motion vector by subtracting the original position from the approximated one

-> motion의 경우, 이웃 프레임들의 점으로 추정하여 original 위치에서 보간을 위해 예측되는 위치로의 차를 통해 motion vector를 얻는다.

By reusing the attention map in this way, we are able to extract both types of information using a single module

-> attention map을 재사용해서 single module로부터 두가지 정보를 추출

- position encoding

->원래 vision transformer에서의 position encoding 없애고, depth-wise convolution in the MLP로 대체함

Overall Pipeline

Directly using interframe attention on original resolution ㅊ

-> 메모리 많이 필요 , computational overhead 생김

CNN과 tranformer 모두 사용 -> 학습 잘되고 견고하게

CNN은 high-resolutional level feature를 추출하기 위함

interframe attention을 가진 transformer 는 low-resolution motion feqtures and inter-frame apperance features를 추출하기 위함

without fine-grained information

Paper Review - An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (Vision Transformer)

빈그레 — Sun, 28 Apr 2024 02:11:39 +0900

https://gaussian37.github.io/dl-concept-vit/

Vision Transformer (AN IMAGE IS WORTH 16X16 WORDS, TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE)

gaussian37's blog

gaussian37.github.io

[그냥 transformer 간단 정리! ]

[ input ]
input에서 열의 개수는 문장에서의 단어의 개수
즉 세로로 단어 한개씩
그러면 행의 개수는 단어의 크기..?
차례대로 x

[ output ]
target이 번역이었으므로 출력도 단어를 표시하는 matrix는 맞으나 입력과 사이즈가 다를 수 있음

( 엘 '벡터'의 크기 = 행의 개수 )

[ word embedding ]
원래 one-hot encoding 이라서 단어 하나는 한 차원에서만 1을 갖는걸로 표현되는데
(즉 단어 수만큼 벡터가 존재해야함 )
이렇게하면 너무 벡터가 너무 많이 필요하니까 embedding을 통해서 한 축에 여러 단어가 표현될 수 있도록

Query vs key 비교 -> dot_product , scale

MatMul : dot product (inner product)
mask : illegal connection 의 attention 금지

self attention : 문장에서 각 단어 사이 연관성

Q와 K의 차원은 동일해야함 -> matrix multi[lication으로 차원 통일

dmodel 차원으로 통일
V,K,Q 모두 차원 통일
병렬적 연산 후 concat하기 전에 차원 또 줄이려고 linear 연산함

self attention은 그냥 단어벡터에 가중치 행렬 곱해서 key,query,value로 사용해서 multi head attention
따라서 self attention은 key,query,value가 모두 같다~! 그냥 문장의 단어별 연관도 얻어내는 정도
-> attention이 강조되어있는 feature를 추출

[ 초기 연산 처리 ]
디코더가 처리를 시작할 때에는 아직 'shifted output'이 없다. Transformer 모델에서의 디코딩 과정은 다음과 같이 진행된다.

초기 입력
: 디코딩은 특별한 시작 심볼, 종종 "<start>" 토큰이라 불리는 것으로 시작된다. 이 토큰은 디코더에게 문장 생성을 시작하라는 신호를 준다.

Shifted Output의 생성
: 디코더에 들어가는 'shifted output'은 사실 입력 시퀀스의 각 단어 다음에 오는 단어를 예측하도록 학습된 모델의 출력입니다. 학습 과정에서는 실제 시퀀스를 알고 있으므로, "<start>" 토큰 다음에 올바른 시퀀스를 디코더에 입력으로 줄 수 있다.이는 'teacher forcing'이라는 기법에 해당한다.

Vision Transformer

CNN

inductive bias가 부족해서 cnn보다 데이터가 많이 요구된다.
*** inductive bias : 모델이 처음보는 입력에 대한 출력을 예측하기 위해 사용하는 것

cnn의 inductive bias

( bias 1)translation equivariance
// 입력의 위치가 변하면 출력의 위치도 변화함으로써 추출되는 feature는 동일하게 유지
MLp에서는 위치가 달라지면 값도 달라져버린다
요러케 위치 달라도 값 똑같

( bias 2 )locality
특정 영역만 보고 convolution filter가 feature를 추출할 수 있다고 가정

위 두가지 가정 (bias)를 통해 CNN이 단순 MLP보다 더 좋은 성능을 낼 수 있다고 해석할 수 있다.

*** MLP : Multi Layer Perceptron의 약자로 기본적인 형태의 인공 신경망이다
input layer, hidden layer, output layer로 구성되어 있다.

flatten
: 이미지는 보통 w,h,channle 로 3차원으로 이루어져 있는데 fully conneted layer 쓰려면 1차원으로 만들어야해서 이미지를 벡터로 변환해야한다.

Transformer ( Large scale data )

위 CNN은 local receptive field를 보는 것이나, transformer는 데이터 전체를 보고 attention할 위치를 정하는 메커니즘이기 때문에 , 이러한 패턴을 익히기 위해 CNN보다 더 많은 데이터를 필요로 한다.

따라서 데이터 양이 충분하지 않으면 성능이 떨어지게 된다.

본 논문에서는 large scale 데이터셋인 imagenet 21k 등으로 사전 학습을 하고, CIFAR-10으로 Tranfer learning을 하였을 때 높은 정확도를 가짐을 보여줬다.

*** Transfer learning ( 전이 학습 ) 아래 게시글 참고

https://kycu-sb.tistory.com/254

AI - Transfer Learning

Transfer Learning Transfer Learning ( 전이 학습 ) 전이 학습(Transfer Learning)은 머신러닝에서 특정 문제에 대해 학습한 모델을 다른 관련 문제에 적용하는 기법이다. 이 접근 방식의 핵심은 한

kycu-sb.tistory.com

Vision Transformer Architecture

- input 만들기

Vision Transformer는 기본 Transformer의 encoder 구조를 그대로 사용하기 때문에, Tranformer에 맞는 입력값으로 변경해주어야 한다. 우측 그림에서 Embedded patches module에 대한 설명한 아래와 같다.

[ Embedded Patches / Encoder 입력 만드는 과정 ]

1. patch로 쪼개기
: Transformer와 동일한 구조의 입력 데이터를 만들기 위하여 이미지를 patch 단위로 쪼개고 각 패치를 왼쪽 상단에서 오른쪽 하단 순서로 나열하여 sequence data처럼 만든다. ( 즉 patch가 하나의 단어처럼 동작하는 것 )

P는 patch의 크기를 의미한다. patch에서 PxP차원을 가지고 그만큼을 color에 대한 C채널수만큼을 가진 것의 N개의 patch로서 존재하므로 위와 같이 전체 이미지에 대한 벡터가 존재한다.

patch의 개수는 본래 높이와 너비인 H와 W의 곱을 patch size인 P제곱으로 나누면 전체 이미지가 patch size에 따라 몇개의 patch로 나누어질지 알 수 있다.

2.Flatten
: 3D데이터인 각 patch를 flatten하여 벡터로 변환해준다.

각 patch를 flatten하여 벡터로 만들면 벡터의 크기는 P^2C가 되고, 이러한 벡터가 N개 생긴다.
flatten한 벡터를 모두 합친 것 Xp이다.

3. Embedding
: 위에서 만들어진 각 patch에 해당하는 각 vector에 linear 연산을 거쳐 embedding 작업을 한다.
E라는 embedding 행렬과 곱하여 target dimension인 D로 모든 벡터의 차원을 조정한다.

4. 클래스 토큰 추가
: embedding 결과에, 클래스를 예측하는 토큰을 추가한다. 클래스 토큰을 추가하는 이유는 전체 이미지를 대표하는 정보를 모델이 학습할 수 있게 하기 위함이다. 클래스 토큰은 Vision Transformer에서 이미지 전체를 대표하는 데 필요한 정보를 학습하고, 최종적으로 이미지 분류를 위한 결정적인 정보를 제공하기 위해 사용된다.

토큰을 추가하면 본래 (N,D)행렬이었던 것이 (N+1,D) 의 크기가 된다.
(클래스 토큰은 학습 가능한 파라미터를 입력해주어야 한다. )

5. Positional Embedding
: 마지막으로 z0의 크기와 동일한 (N+1,D) 크기의 위치 행렬을 더해주면 vision trnasformer의 입력이 완성된다.
( 분홍 : patch / 보라 : position )

(입력 처리 예시)

- Encoder

[ Output ; Class 토큰 ]
: 위에서 만든 input값에 대해 Trnasformer encoder를 L번 반복하면 입력값과 동일한 크기의 출력값을 마지막에 얻을 수 있다. 그렇게 얻은 출력 역시 input과 동일하게 클래스 토큰과 벡터로 이루어져 있다.

출력에 있는 클래스 토큰으로 MLP Head를 구성하고, 이를 이용하여 MLP를 하면 최종적으로 class를 분류할 수 있다.

[ 입출력 크기 유지 ]
Transformer의 encoder를 L번 반복하기 위해서는 입력과 출력의 크기가 같도록 유지해야한다.

위에서 만든 z0이 input으로 들어가면 Zl이 output으로 나와 encoder의 출력이 된다.

[Architecuture]

위 구조에서 Multi Head attention은 현재 input을 바탕으로 Q,V,K를 동일하게 넣고 있으므로, self attention이다.
encoder에서의 연산 순서를 식으로 표현해본 것이다. MSA는 multi head attention이고, LN는 Layer Normalization이다.

1. Norm ( Layer Nomalization )
: 입력값에 대한 embedding을 통해 D차원으로 모두 맞춰준 입력 벡터들에 대해 정규화를 진행한다.
위와 같이 D차원을 가진 입력 벡터들이 N+1개 존재한다.

각 입력벡터들에 대하여 위와 같은 식으로 정규화를 진행한다. 람다와 베타는 학습 가능한 파라미터이며, 아래쪽에 나타난 식은 분산이 0에 가까워졌을 때, 분모가 0이 되는 것을 방지하기 위해 넣은 것이다.

2. Mutli Head Attention

3. MLP
마지막으로 MLP과정을 거치고 이때, GeLU activation을 사용한다.

L번 반복한 Transformer Encoder의 마지막 출력에서 클래스 토큰 부분만 분류 문제에 사용하여,
마지막으로 MLP를 이용하여 클래스를 분류한다.
( 위에 클래스 토큰은 학습 가능한 파라미터로 설정 )

학습

여기서부터는 그냥 참고...!!!!!!!!!!!!!

introduction

- inductive bias
모델이 학습할 수 있는 공간을 제한함으로써 학습 과정을 가이드한다.

Fully connected는 inductive bias가 존재하지 않지만, convolutional과 recurrent 모델에서는 inductive bias가 존재한다.

Transformer는 self-attention을 하기 때문에, CNN과 RNN보다는 상대적으로 inductive bias가 낮다.

- Vision Transformer (ViT) 개요

step1

분할해서 patch sequence 구축

step2

patch들을 trainable linear projection을 적용해서

각각의 patch(flattend vector)를 뒷차원으로 변환

9개의 patch를 쭉 펴서 뒷차원..?으로 변환..?

step2를 거치면 각각의 patch가 저 분홍색 벡터로 나온다

step3

앞쪽 별표 : learnable class embedding

나머지 핑크 : patche embedding

보라색 : positional embedding

step4

: 마지막 레이어세ㅓ class embedding에 대한 output인 image representation을 도출

class token을 넣고, class token의 위치에 해당하는 representation을 사용하게 되는 것

Positional Embedding

그냥 patch embedding만을 transformer encoder의 input으로 사용

1 (가장 good)

patch를 raster order로 2차원의 3차원의 이미지가 존재할 때 가로,세로를 기준으로 왼쪽 위부터 오른쪽 오래까지 봄

3차원의 이미지에 대해서 가로,세로 2D grid를 만들어서 x,y축 좌표가 있는 positionla embedding

relative

patch들 사이의 positional embedding

최종적으로 learninable positional embeddign에 1D를 positional embeddign을 넣

standard에서는 MLP뒷단에 normalization과 residual있었는데

앞쪽에 layer normalization을 적용한 부분이 standrard와 좀 다르다

+: residual conenction

multi head attention 과 MLP로 크게 구성이 되어있고,

이러한 구조가 step4 구조이다.

patch 구조 때문에

MSA: multi head self attention
ㅇ여러개의 patch로 분할해서 순서가 있는 이미지로 넣는 것이 bias를 넣는 방법이었음

Resolution adjustment ( Fine tunning)

: patch는 동일하지만 이미지에 따라 patch의 개수는 달라지게 됨 이미지 크기가 다르니까

이 때, position embeddign을 조정하는 부분이 있는데 이 부분이 bias가 됨

AI - Transfer Learning

빈그레 — Sun, 28 Apr 2024 01:59:40 +0900

Transfer Learning

Transfer Learning ( 전이 학습 )

전이 학습(Transfer Learning)은 머신러닝에서 특정 문제에 대해 학습한 모델을 다른 관련 문제에 적용하는 기법이다.

이 접근 방식의 핵심은 한 영역에서 학습한 지식을 다른 영역에 전달하여, 새로운 작업의 학습에 필요한 데이터의 양을 줄이고, 학습 속도를 가속화하며, 일반적으로 성능을 향상시키는 데 있다.

사전 학습(Pre-training)은 전이 학습의 첫 번째 단계로, 대규모 데이터셋에서 모델을 학습시킨다.

이 과정에서 모델은 다양한 특징과 패턴을 학습하게 된다.

예를 들어, 이미지 인식 작업에서는 ImageNet과 같은 큰 데이터셋에서 모델을 학습시킨다.

자연어 처리에서는, 대규모 텍스트 코퍼스를 사용해 언어 모델을 사전 학습시킨다.(예: BERT, GPT).

사전 학습된 모델은 이후 다음과 같은 방식으로 전이 학습에 활용된다.

1. 특징 추출기(Feature Extractor) //가중치 업데이트 x
: 모델의 사전 학습된 부분을 고정시키고, 출력층만 새로운 작업에 맞게 변경하여 학습합니다. 이 경우, 사전 학습된 모델의 가중치는 고정되어 있으며, 데이터의 고차원 특징을 추출하는 역할을 합니다.

2.미세 조정(Fine-tuning) //가중치 업데이트 o
: 사전 학습된 모델의 일부 또는 전체를 새로운 작업에 대해 추가적으로 학습시키는 과정입니다. 이를 통해, 모델은 새로운 작업의 특징에 더 적합하도록 조정됩니다. 이 과정에서 사전 학습된 가중치는 출발점으로 사용되고, 새로운 데이터에 기반하여 가중치가 업데이트됩니다.

전이 학습은 특히 새로운 작업에 대한 레이블이 지정된 데이터가 충분하지 않을 때 유용하다.

사전 학습된 모델을 사용함으로써, 적은 양의 데이터로도 효과적인 학습이 가능해진다.

이 방법은 다양한 분야에서 성공적으로 적용되고 있으며, 현대의 많은 딥러닝 응용에서 표준적인 접근법으로 자리 잡았다.

FI - Attention(Query,Key,Value) / Transformer / Scaled dot-product / Multi head attention

빈그레 — Sun, 28 Apr 2024 01:23:48 +0900

Attention

Attention 구조 간략히 정리

Attnetion은 Q,K,V를 입력으로 갖는다.

querying

: query에 해당하는 값이 입력되었을 때, query에 해당하는 key 값을 찾아서 그 key값에 해당하는 value를 출력하는 작업을 말한다. 이때, query와 똑같은 key값을 선택할지, 가장 유사한 key 값을 선택할 지는 문제에 따라 달라지게 된다.

Attention에서는 query에 대해 어떤 key와 유사한지 보고 유사도를 반영하여 key에 대응하는 value를 합성(Aggregation)한 것이 Attention value가 된다.

하나의 query에 대해 여러 key값들과 유사도를 계산한다. 여기서 유사도는 내적을 통해 구할 수 있다.

위 그림에서 빨간 값이 유사도의 값이고 해당 값에 파란 원인 value를 곱한 후 모두 더하면 attention value가 되는 것이다.

[query,key 역할]

RNN 구조에서 하나 앞선 time-step의 hidden state가 해당 transformer 구조에서는 query이다. query가 deocder의 hidden state 역할을 한다.

그리고, encoder의 hidden state를 key와 value로 사용한다. 즉, 이 구조에서 key와 value는 갖고 단어의 개수만큼 key 값을 갖는다. 대부분의 attention network에서 key와 value는 같은 값을 갖도록 하며, key는 유사도 측정해 쓰이고, value는 해당 값을 유지하다가 최종 attention map을 합성할 때의 각각의 '값'으로서 곱하여 쓰인다.

위 RNN 구조에서 si들이 decoder로 들어갈 hidden state 역할을 한다.

attention 연산은 위 메커니즘을 따른다.

Decoder에 si라는 query가 입력되면 모든 key값인 hi와 내적 ( comparison ) 을 통해 유사도를 구한다. 이 유사도 값을 softmax 함수를 거쳐서 확률로서 만들어 그 총 합이 1이 되도록 한다.

softmax 함수를 거친 유사도 확률값을 가중치처럼 사용하여 각 value들을 곱하고 합하여 최종적으로 ai라는 attention value를 만들게 된다.

수식은 위와 같다. 내적 결과를 softmax를 취하고 value값과 곱하고 총합을 구한다.

convolution 연산의 한계

convolution 연산은 필터 크기만큼의 영역을 순차적으로 이동하면서 각 영역의 정보를 읽는다.

각 필터가 local한 정보를 읽고 이해하며 layer가 쌓임에 따라 더 층층이 쌓인 더 넓은 영역으 정보(feature)를 읽을 수 있게 되는 것이 convolution layer의 동작 원리이다.

이 특성이 convolution layer의 장점이자 단점이 된다. 얕은 layer에서는 local 영역을 자세히 볼 수 있고, 깊은 layer에서는 더 넓은 영역을 볼 수 있는 장점이 있으나,

위와 같이 두 영역을 한 번에 볼 수는 없다. layer가 깊어져서 전체 이미지에 대한 정보를 한 번에 볼 수는 있어도, 지엽적으로 특정 두 부분만을 인식할 수 없다는 것이 convolution layer의 단점이다.

이미지를 도는 동안 모든 부분에 대하여 동일한 가중치로 연산을 한다.

위 attention 메커니즘을 보면 layer 초반부터 background와 같으 부분에 대한 중요도를 줄인다. 즉, low-level feature에 대한 영향을 줄이는 것이다. 대신 high level feature에 대한 영향은 키워 실제 객체에 집중하도록 만들어둔다.

Transformer

Transformer에 관하여

Transformer는 다음과 같이 encoder,decoder 구조로 되어있다.

CNN에서의 feature extraction과 달리, Transformer에서는 sequence간의 관계를 학습하는 데에 초점을 맞춘다.

인코더에서는 input sequence를 고차원적인 표현으로 변환하고, 디코더는 이 표현을 사용하여 새로운 sequence를 생성한다. Transformer 모델에서 인코더와 디코더는 입력 내의 모든 요소 간의 복잡한 관계를 학습한다.

인코더 : input sequence 내의 각 요소들 간의 관계를 모델링

디코더 : 인코더 정보 사용하여 output sequence를 하나씩 생성

Transformer 모델은 인코더 디코더 구조를 통해 병렬철가 가능

-> RNN 기반 모델의 순차 처리 한계 뛰어넘는다. seq2seq에서는 encoder에 입력되어야할 모든 input이 처리된 후에 decoder 연산이 시작되지만, transformer는 encoder의 계산과 deocder의 계산이 동시에 일어난다는 차이가 있다.

[자연어 번역을 위한 Transformer]

Transformer의 전체 입출력은 행렬로 되어있다.

input

: one-hot encoding 형태의 벡터로 나타내어있다. 즉 열벡터(세로)가 한 단어에 해당하며, 열 벡터의 길이 즉, 행의 개수는 단어의 개수와 관련이 있다. ( 새로 열벡터에서 한 단어만 표현 / 단어 개수만큼 행 존재 )

문장에 단어가 10개 있으면 열벡터의 크기는 10이 된다.

( 열벡터의 크기 = 행의 개수 = 단어의 개수 )

output

RNN

RNN구조에서 decoder의 첫 번째 rnn에서의 output은 다음 rnn의 input으로 들어간다. 이와 같이 transformer에서도 deocder의 output을 다시 decoder의 input으로 사용한다.

Transformer에서 decoder위쪽에서 나오는 output은 transformer 모델을 통해 출력되는 실제 출력이고, 아래쪽 decoder의 입력으로 들어가고 있는 output은 transformer에서 만들어낸 output을 다시 입력으로 사용하는 것이다.

다시 입력으로 사용되는 output의 첫 열벡터는 sos(start of sequence)rk ehlrh, X표시가 되어있는 마지막 열벡터는 EOS(End of Sequence)가 된다. output의 첫 열벡터와 마지막 열벡터로 output의 한 묶음에 대한 처음과 끝을 알려준다.

word embedding

one-hot encoding 타입의 벡터를 실수 형태로 변경하면서 차원의 수를 줄일 수 있다.

Positional Encoding

word embeding을 통해 차원의 수를 줄인 이후에는 해당 embedding된 값과 positional encoding을 통해 얻은 값이 더해지게 된다.

RNN처럼 순차적으로 들어가지 않으므로 positional encoding을 통해 시간적 위치 정보를 추가해줘야한다. 즉, 시간적 위치별로 고유한 code를 생성하여 더하는 방식이다.

scaled dot-product attention

Q와 K의 비교 함수는 Dot-product와 scale로 이루어진다.

Matmul

: dot product에 해당하고 inner product(내적)과 같다.

Scale

: 아래 식처럼 dk값을 조정하여 Matmul에서 내적된 결과값이 너무 커지거나 너무 작아지지 않도록 해준다.

Mask

: mask를 이용해 illegal connection의 attnetion을 금지한다.

illegal attention은 self attention의 개념과 연관되어 있다.

Softmax

: 가중치의 전체 합을 1로 만들어주기 위한 normalization 과정이다.

*** Self atttention : 각각의 입력이 서로 다른 입력에게 어떤 연관성을 가지고 있는 지를 구하기 위해 사용된다.

즉, self attention에서는 query,key,value가 모두 같다! 지금 들어오는 input에 대해 서로간의 관계를 파악하는 것이기 때문이다. self attention 을 통해 attention이 강조되어있는 feature를 추출할 수 있다.

Self attention은 입력 문장에 대해 문맥에 대한 정보 학습할 수 있도록 만들어준다.

"I am a teacher"에서의 각 단어가 서로 어떤 연관을 가지고 있는지를 학습할 수 있다.

self attention에서는 decoder가 똑같은 decoder 자기 자신과 연산을 할 수 있다.

단, 특정 layer보다 앞선 layer들만을 가지고만 attention 연산을 할 수 있다.

[1]

위 그림에서와 같이 디코더는 이전 디코더 layer의 output을 입력으로 받아 그것에 대한 self-attention을 진행한다.

위 그림에서 decoder 가장 아래에 처음으로 수행되는 attention 구조가 self-attention으로서 입력으로 들어온 sequence에 대해 관계를 학습하는 것이다. 마스킹 기법이 사용되며, 과거의 decoder layer에 대한 정보만 활용할 뿐, 미래에 대해서는 참조해서는 안된다.

[2]

그 이후, 위쪽 attention구조는 인코더-디코더 어텐션이다. 여기서 디코더는 인코더의 출력을 참조하여 각 토큰이 입력 sequence 내의 모든 토큰에 주의를 기울인다. 이 메커니즘을 통해 디코더는 과거 정보들을 이용하여 인코더에서 받은 값[3]을 참조하여 다음 토큰을 정확하게 예측하도록 한다.

Mask ( illegal connection 방지 )

decoder는 이전 layer의 output을 참조하되, 이후 layer에 대한 value값은 참조해서는 안 된다.

따라서, 자기 자신을 포함한 미래의 값과는 attention을 구하지 않기 위하여 mask를 씀으로서 illegal connection을 막는다.

sequence를 생성하는 작업에서 디코더 output으로 현재 나와야할 단어를 생성할 때, 아직 생성되지 않은 미래의 단어들에 대한 정보는 사용하지 않도록 해야한다. 이것이 마스킹의 주된 목적이다.

예를 들어 The quick brown fox를 번역하는 중에 quick을 생성할 때는 The의 정보만 사용하고, brown이나 fox의 정보는 사용하지 않아야 한다. 미래의 단어는 계산에서 제외되며, softmax 단계에서 이들에 대한 attention 가중치는 0이 된다.

이러한 마스킹 과정은 디코더가 학습 중에 미래의 정보를 불필요하게 이용하는 것을 방지함으로써, 실제 추론(inference) 단계에서도 각 시점에서 사용할 수 있는 정보에만 기반하여 단어를 순차적으로 생성할 수 있도록한다.

Q,K,V는 다음과 같이 행렬 형태로 변환 후에 연산된다.

C는 softmax까지의 결과값이므로 확률값으로서, 가중치의 역할을 하여 value와 곱해지면 attention value가 된다.

Multi-Head attention

위에서 설명한 scale dot product attention을 h개 모아서 attention layer를 병렬적으로 사용하는 것을 말한다.

한번에 scaled dot product attention을 연산하지 않고, 여러 개의 작은 scaled dot product attention으로 분할하고 병렬적으로 연산한 다음에 concat하여 합치는 drive & conquer 전략이라고 할 수 있다.

여기서 h를 몇으로 하느냐, 즉 몇개로 분할하느냐에 따라 각 scaled dot product attention의 입력 크기가 달라지게 된다.

h개의 scaled dot product attention은 병렬적이며, 독립적이다. 병렬 연산을 마친 뒤에 concat을 하는데, concat을 하면 차원이 커지므로, 출력 진전에 linear 연산을 한 번 더 거쳐, attention value의 차원을 필요에 따라 변경한다.

[Linear]

위 그림에 있는 linear module은 linear 연산 ( matrix multiplication ) 을 이용해 query,key,value의 차원을 맞춰주는 것이다.

차원을 바꿔주기 위한 W 행렬과의 곱을 통해 model이 target으로 하는 크기로 query,key,value의 차원을 모두 감소 및 변경한다.

dmodel은 multi head attention에서 scaled dot product attention에 사용되는 dimension을 뜻한다.

[의의]

Multi attention의 핵심 목표는 input sequence를 h번 변환하여, 다양한 방식으로 포착하여 sequence의 전체적인 문맥을 더 더 잘 이해하는 것이다. 즉, 같은 입력에 대해 다양한 방식으로 정보를 처리하고 관계를 학습하는 것을 목표로 한다.

정리

self attention 구조는 query,key,value가 모두 동일하며, 서로 간의 관계를 파악하는 것이다.

encoder의 self attention은 현재 input에 대해 관계를 파악하는 것이므로 mask가 없으나,

decoder의 self attention은 과거 값들만을 가지고 정보를 분석하는 것이므로 mask가 필요하다.

붉은 박스인 encoder-decoder attention은 encoder로부터 key와 value를 받고, decoder의 self attention으로부터 query값을 받는다. 이를 통해 seq2seq의 attention과 동일한 구조를 갖게 된다.

AI - Midterm exam

빈그레 — Sun, 21 Apr 2024 22:02:00 +0900

1. Tensor는 무엇인지 설명하라

데이터를 표현하는 방법으로서, Multidimensional array(다차원 배열)을 나타낸다.

vector와 matrix 개념의 일반화라고 할 수 있다.

vector,matrix을 모두 포함하는 구조이나, 일반적으로 3차원 이상의 array를 가질 때에, tensor라 칭한다.

2. Curse of dimensionality에 대해 설명하라

고차원의 데이터를 다룰 때에 나타나는 문제에 대해 지칭하는 용어이다.

실제로 가까웠던 값들이 차원이 올라감에 따라 변수가 많아지면서 멀어지게 되는 문제이다.

차원의 저주에 치명적인 알고리즘인 KNN은 근접한 점들을 이용해서 label을 예측하는 알고리즘이나, 차원이 늘어나고 변수의 개수가 많아지면, 가장 근접한 점들이라 해도 그 거리가 멀어지기 때문에, KNN은 고차원 데이터셋에서 잘 작동하지 않는다.

3. SVM Classifier와 Softmax Classfier의 공통점과 차이점을 설명하라

[공통점]

SVM classfier와 softmax classfier 모두 supervised learnign 모델이며, class를 분류하는 classficaition에 해당한다.그리고 두 classifier모두 정답 score의 값이 가장 높아지게 하는 것을 목표로 한다.

[차이점]

SVM classfier의 경우, hinge loss를 이용하여 데이터에 대한 score의 차이를 loss값으로서 활용하고, Softmax classifer는 각 score값에 대해 확률값으로 표현하여 target score의 확률적 표현에 대해 cross-entropy를 활용해 확률 사이의 거리를 loss로서 training을 이어나간다.

즉, SVM은 score 값 자체에 대한 차이를 loss로서 활용하고, softmax는 score값을 확률로서 표현하여 확률적 거리를 loss로서 사용한다.

4. Lasso와 Ridge의 차이를 설명하라 ( update 필요 )

linear Regression 모델에 overfitting을 방지하는 regularization 기법을 추가한 모델로 Lasso와 Ridge가 있다.

Lasso는 계수의 절댓값을 기준으로 규제를 적용하고, Ridge는 계수의 제곱한 값을 기준으로 규제를 적용한다.

두 모델 모두 계수의 크기를 줄이지만,

5. KNN의 알고리즘을 설명하라

[train]
data set을 train data와 test data를 나누고 train data의 데이터와 라벨을 모두 저장한다.

[predict]
이후, 분류하고자 하는 데이터에 대해, L1,L2등의 distance metric을 활용하여 기존에 저장해두었던 data와의 차이를 구해, 거리가 가까운 것들을 K개 선별한다. 여기서 k는 hyperparameter이다.

[분류]
K개의 데이터 중 중 다수결을 통해 가장 많이 포함되어있는 class로 label을 prediction한다.

[한계]
저장만 하면 돼서 training시간은 따로 걸리지 않으나, testdata를 traindata와 하나하나 비교하며 거리값을 측정해야해서 data가 많아질수록 prediction 과정이 매우 오래걸린다.

( 또한, KNN에서 K값이 너무 작으면 너무 적은 수의 이웃에만 맞춰져서 overfitting이 일어날 수 있고, K값이 너무 크면 underfitting이 일어날 수 있다. )

6. Gradient descent에서 loss를 감소시키는 원리를 설명하라

먼저, 초기 weight값을 random하게 선정하여 loss function에서의 gradient값을 계산한다.

loss functino에서 현재 지점의 gradient 값이 음수이면 양의 방향으로 진행하고, 현재 지점의 gradient 값이 양수이면 음의 방향으로 learning rate에 따라 weight를 update하며 loss function의 최소값을 찾아간다.

gradient 값은 backpropagation과정에서 chain rule에 의해 연산되어 weight를 update시킨다.

weight가 update되는 값이 아주 작은 값으로 수렴할때까지 iteration을 반복하며 loss를 줄여나간다.

7. Neural Network란 무엇인가

인간의 뇌의 뉴런 구조에서 아이디어를 얻은 딥러닝 모델로, input layer, hidden layer, output layer로 구성되어있다.

Neural Network는 보통 여러 hidden layer를 가질 수 있으며, 각 계층은 여러 뉴런들로 이루어져있다.

입력과 weigh를 곱하는 linear한 함수에 activation function을 거쳐 다음 뉴런에 전달되고, 이렇게 여러 layer를 가질 수 있다.

다음 layer에 대한 weight를 곱하기 전에 activation function을 곱해서 비선형성을 갖게 해주며 model의 표현력을 높여줄 수 있다.

뇌에서 다음 뉴런으로 신호를 전달할지 여부에 대한 판단을 해주는 역할을 NN에서는 activation function이 한다.

8. Gradient Descent를 이용하여 학습할 때, local minima를 피하여 효율적으로 학습할 수 있는 방법을 제시하라

Momentum

weight를 update할 때에 loss function의 현재 지점의 미분값의 반대방향으로 가는 것에 추가적으로, 원래 가던 방향에 대한 관성을 더해주는 것이다. 원래 가던 방향으로 관성을 가졌을 때, local minima에서 빠져나올 가능성이 있다.

NAG (Nesterov Accelerated Gradient)

weight를 update할 때에, 원래 가던 방향으로의 관성을 추가해주고, 본래 현재 위치에서의 미분값의 반대방향으로 더 진행하였으나, 현재 위치가 아닌, 한수 뒤에서의 미분값을 반영하여 극점 주변에서 진동을 덜 하게 한다.

이를 통해 관성을 유지하면서 local minimum에서 빠져오되, 극점 주위에서의 진동은 줄일 수 있게 된다.

Adagrad

weight가 update된 양을 제곱해서 계속 더하고, 이를 weight updtae에 반영하여 지금까지 update가 많이 된 것에 대해서는 변화를 적게 주고, update가 많이 되지 않은 것에 대해서는 변화를 크게 준다. sadle point에서 빠져나오게 해준다.

RMSprob

Adagrad를 통해 update가 많이 된 것에 대해 변화율을 줄이다보면 변화율이 0에 수렴해버릴 수 있으므로, 전체 update에 대해 동일한 가중치로 더하는 것이 아니라, 최근의 step을 더 많이 반영하며 weight를 update시키는 방법이다.

ADAM

Momentum과 RMSprop을 합친 것으로, 관성을 반영하고, update된 weight들의 값을 누적하여 반영하되, 최근의 step에해 더 큰 비중을 두도록 하였다. 따라서 sadle point를 빠져나가고 local minimum을 빠져나갈 수 있도록 하였다.

// momentum으로 local minimum 빠져나가고, RMSprob으로 sadle point 빠져나가구,, 물론 두개다 작용가능~~암튼,,

9. Dropout의 역할을 설명하라

overfitting이 방지하기 위해, 학습 과정에서 랜덤하게 일부 뉴런을 학습에 참여하지 못하도록 하여, 특정 뉴런에 과하게 의존하는 것을 막는다. dropout을 통해 뉴런들의 다양한 조합으로 학습을 하게 되어 더 좋은 성능을 낼 수 있도록 한다.

10. 편미분 하는 법..? 이걸 왜 물어봄

Gradient는 거꾸로 세모로 연산하고, 그 결과값을 각 변수에 대한 편미분값으로 이루어진 vector로 표현된다.

11. 아래 코드를 사용해야하는 이유를 설명하라

전체 dataset에 대해서 training set과 test set으로 나누기 위해서 split함수를 사용한다. 매개변수로 추가된 stratify는 분할된 데이터가 원본 데이터셋의 비율을 유지하도록 하는 것이다. 데이터를 분할할 때, 샘플링편향이 일어나지 않도록 해당 매개변수를 추가해주는 것이 중요하다.

전체 데이터셋을 모두 training 에 사용하게 되면 overfitting이 일어날 수 있으므로 데이터를 분할하여 training단계에서는 train data만 사용하여 weight를 update하고, test 단계에서 test data를 사용하여 training된 model의 evaluation을 진행하며 hyperparameter을 조정하는 단계를 가진다.

12. 아래 코드를 통해 knn을 만들었더니 성능이 좋지 않았다. 개선 방법을 제시하고 설명하라.

split에서 train과 test로 데이터를 나눌 때, class의 비율을 균등히 나누지 못하는 샘플링 편향이 발생했을 수 있으므로,,엥 이게 아니네.,? stratify는 분할된 데이터가 원본 데이터셋의 비율을 유지하도록 하는 것이다.

KNeigobresClassfier함수로 객체를 만들어서 training 시켰을 때, K값은 default로 5의 값이 들어가나, model에 따라 최적의 K값이 5가 아닐 수 있다. 따라서 여러 K값으로 학습시켜보며 accuracy를 비교해보고 최적의 k값으로 선정해주어야한다.

5-fold cross validation과 같은 방식을 사용하여 여러 k값에 대해 accuracy를 비교해보고 최적의 k값을 찾을 수 있다.

13. Regression과 Classification의 loss function 차이

[Linear Regression]
linear Regression의 경우, ground truth값과 estimation한 값의 차이의 제곱의 평균을 cost funciton으로 사용한다. 이 cost function 값을 가장 최소로 만들어주는 weight값을 찾도록 한다. 제곱에 대한 2차식이기 때문에 convex형태로 존재하여 미분이 0이 되는 값에서 언제나 최소값을 가진다.

[Binary Classification / Logistic Regression ]
** Logistic Regression : classification 모델을 확률적 관점에서 접근하여 training하는 모델이다.
sigmoid함수를 사용하여 예측값에 대해 0과 1사이의 확률값으로서 바꾸어주어 binary classification으로서 변환해주고, sigmoid를 거쳐 나온 확률로서의 예측값과, 확률로서의 참값에 대해 cross entropy를 loss function으로 사용한다.
L(yi',yi) = yi * log(yi') + (1-yi)log(1-yi')
**cross entorpy : 서로 다른 확률을 가진 것 사이의 거리
-> 확률로서의 예측값이 확률로서의 참값과 가까울수록 함수값이 작아지므로 loss function으로 사용될 수 있음

14. hyperparameter 종류
: Distance Metric (L1 or L2) , KNN에서의 K값 , Optimizer, Learning rate

15. Validation의 역할 (ex. 5-fold cross-validation -> hyperparameter update )
: 모델의 성능을 평가하고, hyperparameter를 조정하는 등, 모델 학습에 간접적으로 관여한다.
( weight update는 train 단계에서만 직접적으로 이루어짐. )

5-fold cross validation

: training과 validation에 쓸 데이터에 대해서 5개로 나누어 1개씩 validation set으로 지정한 경우에 대해 accuracy를 측정한다. 이러한 방식으로 각 k값의 경우에 대해 5fold cross validation을 진행하고, accuray의 평균값을 비교하여, 가장 높은 accuracy 평균값을 가진 최적의 hyperparameter를 찾는다.

16 Binary Classification이 Linear Regression으로 구해지는 과정

*** Linear Regression : 데이터들의 상관관계로 값을 예측하는 것

: weighted sum으로 나온 score에 대해 sigmoid 함수를 거치게 하여 결과값이 0에서 1사이 값으로 나오게 함으로써, 예측값을 확률로 만들어주면서 binary classification으로 전환될 수 있다.

sigmoid : linear regression 결과값을 확률로서 변환시켜주는 함수

logistic regression model로서 binary classfication에 대해 score를 확률로서 나타내고, cross-entropy를 통해 확률간의 거리를 측정하는 loss function을 정의할 수 있다.

17. softmax classifier에 대해 설명하세요

score에 대해 지수함수를 취해 모든 값에 대해 양수로 만들어 준 뒤, 모든 값의 합으로 나누어주어 normalization을 해줌으로써 각 값을 총 합이 1이 되는 확률값으로 나타낸다.이후 정답인 확률분포 ex [1,0.0]과의 cross-entropy 연산을 통해 확률 간의 차이를 loss로 표현하여 loss값을 최소화하는 방향으로 학습을 해나간다.

(logistic regression을 일반화한 것)

18.KNN과 비교하여 SVM,SOFTMAX가 가지는 장점을 말해보슈.. ( 교수님이 언급한건데,,,, general 하지 못한듯,, pass)

KNN은 test data에 대해서 모든 training set과 값을 비교하여 그 차이를 계산해보아야 하므로, data가 많아질수록 매 test머마다 걸리는 시간이 아주 오래 걸리는데, svm과 softmax의 경우 training을 통해 weight를 구해놓으면, 이후부터는 test에 knn만큼 오랜 시간을 소비하지 않아도 된다.

19. data의 preprocessing

zero centered -> normalization (표준편차로 나누기)

20.Learnign rate가 너무 클 때와 너무 작을 때의 특징

Learning rate가 너무 크면 loss function에서 값이 발산하여 학습이 되지 않을 수 있다.

Learning rate가 너무 작으면 학습이 너무 오래걸리고, local minima에 빠질 수 있다.

21. Stocahstic Gradient Descent 중 Minibatch를 이용하는 알고리즘을 설명하세요

(batch size=minibatch size)

NN에서는 전체 데이터셋에 대해 한번에 처리하는 것이 매우 어렵다. 따라서 dataset을 subset으로 나누어 weight를 update한다. 이 때의 subset의 size가 minibatch size이다.

전체 data set에서 batch size만큼의 데이터를 가져와서 forward로 예측값을 구하고, loss를 구한다. 이후 backpropagation에서 loss 함수에서 gradient값을 구해 weight를 update 시킨다.

minibatch size만큼의 다음 subset들에 대해서 동일한 과정으로 weight 를 update 시키며 한 epoch에 대한 training 과정을 거친다. 1epoch동안 iteration은 전체 dataset의 개수를 batch size로 나눈 것 만큼 존재한다. 즉, weight가 update되는 횟수와 동일하다.

22. batch size가 너무 클 때와 너무 작을 때

batch size가 크면 전체를 대변할 가능성이 생겨 좋으나, memory에 한계가 존재한다.

하지만, batch size가 너무 작으면 너무 국소적인 범위에 대한 정보로 update가 진행된다는 단점이 있다.

23. activation 의 역할

Activation function을 넣어줌으로써 모델에 비선형성을 추가하여 모델의 표현력을 향상시켜준다.

만약 activation function이 없다면, 그저 linear한 weight들의 곱이 되어 layer를 여러개 쌓는 것이 무의미해진다.