Transformer
Transformer:Attention is all you need 게시글 그림에 대한 출처는 1) 트랜스포머(Transformer) - 딥 러닝을 이용한 자연어 처리 입문 (wikidocs.net) 에서 참고하였습니다. 들어가기 앞서 우리는 앞서 Seq2Seq 기법에 Att...
Recent posts
Attention
Attention 들어가기 앞서 우리는 앞서 Seq2Seq 모델에 대해서 살펴보았다. 그림 1. Seq2Seq 구조 다시 복기하자면, Seq2Seq 모델은 위와 같이 Encoder 와 Decoder 의 구조를 띄고 있다. 기존 RNN 셀을 이어붙인 모델들...
Seq2Seq
Seq2Seq: Sequence to Sequence Learning with Neural Networks 들어가기 앞서 Convolutional Neural-Network 구조에서의 핵심은 이미지를 잘 학습 시키기 위해 기존 이미지에서 얻을 수 있는 공간적 특성을 Featur...
ResNet&DenseNet
ResNet & DenseNet 들어가기 앞서 앞선 게시물에서 CNN에 대한 기본적인 구조를 살펴보았다. 이미지 인식 분야에서는 ImageNet Challenge 라는 대회가 있는데 이 곳에서는 여러가지 모델들이 실험되며 경연을 통해 우승 모델들이 결정된다. ...
CNN(Convolutional Neural Network)
CNN(Convolutional Neural Network) 들어가기 앞서 기본적으로 딥러닝을 배울 때 우리는 단층 퍼셉트론, 다층 퍼셉트론에서 어떻게 학습이 이루어지는지에 대해 배웠고 또한 어떻게 학습을 잘 할 수 있는지에 대한 알고리즘, 최적화 기법, 초기화 기법 등을 공부...