[논문] BERT: Attention Is All You Need 읽기
2022. 7. 31. 11:04ㆍTIL💡/AI
AI 대회 2라운드 참가 전에 이번에는 BERT에 대해서 제대로 이해하면 좋을 것 같다는 생각이 들어 논문을 처음으로 읽어봤다.
덕분에 목적과 구조에 대해 조금 더 제대로 이해할 수 있었지만, 여전히 모국어가 아닌 논문이다보니 잘 이해하지 못한 부분이 있는 것 같아서 추가적으로 한국어로 된 자료를 찾아보았다.
굉장히 유용하고 상세하게 핵심을 잘 짚어주었기에 스크랩하였다.
https://nlpinkorean.github.io/illustrated-transformer/
The Illustrated Transformer
저번 글에서 다뤘던 attention seq2seq 모델에 이어, attention 을 활용한 또 다른 모델인 Transformer 모델에 대해 얘기해보려 합니다. 2017 NIPS에서 Google이 소개했던 Transformer는 NLP 학계에서 정말 큰 주목을
nlpinkorean.github.io
'TIL💡 > AI' 카테고리의 다른 글
| AI RUSH 2022 참가 🏃♀️ (0) | 2022.06.18 |
|---|---|
| 5장. 오차역전파법(Backpropagation) (0) | 2022.06.16 |
| 4장. 신경망 학습 (0) | 2022.06.12 |
| 3장. 활성화 함수(Step Function) (0) | 2022.06.08 |
| 딥러닝 추천 강의 기록 (0) | 2022.06.05 |