Hello coding

Transformer- 특정 문장이 등장할 확률을 계산해주는 모델- Attention의 병렬적 사용을 통해 효율적인 학습이 가능한 구조의 언어 모델- 내부에 input 정보를 처리하는 인코더 파트와 처리 완료된 단어를 출력하는 디코더 파트가 존재하며 이 둘 사이를 이어주는 연결고리가 존재 - 작동 원리는 강의자료와 유튜브 영상 보기https://www.youtube.com/watch?v=Yk1tV_cXMMU https://www.youtube.com/watch?v=xhY7m8QVKjo&t=4528s Time-Series Transformer (TST)- Transformer의 Encoder 구조만 사용- Pre-training 과업을 위하여 연속적인 길이의 Input Masking 사용- Layer N..

Image Representation: 이미지를 어떻게 컴퓨터한테 숫자로 인식시킬 것인가?>> 컬러 이미지는 3차원의 Tensor로 표현된다. (Width X Height X 3(RGB))그러나 모든 픽셀을 하나의 노드로 간주하고 서로 다른 가중치로 연결하면 Input layer와First hidden layer 사이에 너무 많은 weights가 생긴다.>> Image Convolution(Filter, Kernel): 특정 속성을 탐지하는데 사용하는 matrix (예: edge detection) CNN: Convolutional Neural Network (합성곱 신경망)Convolution 연산을 통해 이미지로부터 필요한 feature를 스스로 학습할 수 있는 능력을 갖춘 심층 신경망 구조ex) A..

Non-Sequential Data- 시간 정보를 포함하지 않고 생성되는 데이터- 순차 데이터가 아닌 경우 데이터는 N by D 행렬(N: 관측치수, D: 변수수)로 표현됨Sequential Data:- 시간 정보를 포함하여 순차적으로 생성되는 데이터- 순차 데이터의 경우 데이터는 (N) by T by D Tensor (T는 측정 시점 수)로 표현됨- 과거의 정보가 계속적으로 누적해서 전달이 되는 구조- 이러한 순환신경망을 Vanila RNN이라고 부른다. Vanilla RNN 구조에서 정보의 흐름- $y_t = g\left( {\mathbf{W}_{hy}} \mathbf{h}_t + \mathbf{b}_y \right)$- $\mathbf{h}_t = f\left( \mathbf{W}_{hh} \mat..

Policy-based Reinforcement Learning- Value function을 학습하지 않고 Policy를 학습- high-dimensional, continuous action space에서 효과적- stochastic policies 학습 가능- global optimum이 아닌 local optimum으로 가는 경우가 많음- policy 평가가 비효율적이고 높은 variance를 가짐 Policy Optimization- Goal: $\pi_\theta(a|s)$가 주어졌을 때 $J(\theta) = V^{\pi_\theta}(s_0)$가 최대인 $\theta$찾기- Policy gradient를 통해 optimization (Gradient descent, Conjugate gra..

Reinforcement learning with Function Approximation- Linear value function approximation은 좋은 feature set을 요구함- feature set을 직접 디자인하는 과정이 필요- 더 좋은 function approximation class를 사용하면 feature set을 직접 디자인할 필요 없음 (Deep) Neural Networks- input이 들어오면 다중으로 쌓인 Classifier들을 통해 output을 생성- 여러 function들의 composition- feature set을 직접 디자인할 필요 없는 Universal function approximator- convolutional neural network(CNN..

Tabular Representation- Tabular Representation: Value function을 vector나 matrix로 나타내는 것- 그러나 실제 세계의 문제들에는 매우 많은 state와 action들이 존재- Tabular Representation은 충분하지 않음 Function Approximation- 필요한 메모리, 계산량, 경험을 줄이기 위해 모든 각각의 state-action에 대한 학습을 진행하지 않는다.- (state-action/state) value function을 parameterized function으로 표현- ex) Linear combinations of features, Neural networks, Decision trees, Nearest nei..

Recall Policy Iteration- $\pi'(s) = \arg\max_a R(s, a) + \gamma \sum_{s' \in S} P(s' \mid s, a) V^{\pi}(s')$ $= \arg\max_a Q^{\pi}(s, a)$- Policy improvement over $V^{\pi}(s)$ requires model knowledge- Policy improvement over $Q^{\pi}(s)$ does not require model knowledge Model Free Policy Iteration- Initialize policy $\pi$- Compute $Q^{\pi}$ and update $\pi$- $\pi_{i+1}(s) = \arg\max_a Q^{\pi_..

Model-Free Policy Evaluation- MDP에 대한 정보가 없을 경우에 정책을 어떻게 평가할 것인가- model 학습없이 policy를 평가해야 하는 경우 Monte Carlo Policy Evaluation- $V^\pi(s) = \mathbb{E}_{\tau \sim \pi}[G_t \mid S_t = s]$- 여러번 시도한 평균값을 Value로 사용- Markov 성질을 요구하지 않는다.- Variance이 크고 episodic settings가 필요해서 잘 쓰이지 않는다. First-Visit Monte Carlo Policy Evaluation- state s가 episode에서 처음 만나는 state일 때만 return에 반영- unbiased estimator ($V^{\pi..

강화학습- 순차적 의사결정(Sequential decision) 문제를 담당- 관찰(Observation)과 보상(Reward)에 따라 행동(action)을 결정- 시행착오를 통해 학습- Goal: 기대되는 미래 보상을 최대화하는 행동을 결정- immediate & long term rewards의 균형이 필요 Markov Processes1. Markov Processes = $(S, P)$- S는 상태들의 집합, P는 현재 상태가 어떻게 바뀌는지를 정의하는 transition model- Markov Property: 현재가 주어지면 미래는 과거에 독립적이다. $p(s_{t+1} \mid s_t) = p(s_{t+1} \mid s_t, s_{t-1}, \ldots, s_0)$- P를 matrix로 나..

Naive Bayes- 가정: x들은 y와 독립적이다- $p(x_1, \ldots, x_{d} \mid y)$$= p(x_1 \mid y) p(x_2 \mid y, x_1) p(x_3 \mid y, x_1, x_2) \cdots p(x_{d} \mid y, x_1, \ldots, x_{d-1}) \\= p(x_1 \mid y) p(x_2 \mid y) p(x_3 \mid y) \cdots p(x_{d} \mid y) \\ = \prod_{j=1}^{d} p(x_j \mid y)$- $p(y = 1 \mid x) = \frac{p(x \mid y = 1) p(y = 1)}{p(x)}$$= \frac{\left(\prod_{j=1}^{d} p(x_j \mid y = 1)\right) p(y = 1)}{\le..