목록attention (1)
Twowinn
[AI Research] 02 - Attention Is All You Need
작성 목적딥러닝기초 수업에서 'Attention Mechanism'에 대해 배우면서 근간이 되. 핵심 아키텍처인 'Transformer'가 처음 제시된 아주 유명한 논문이고 Q, K, V의 기본 개념을 정립하기 위해 정리해 보았다.Abstract원문 핵심 문장 “ We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. ”Part 01. Introduction [기존 RNN의 치명적인 한계 : 순차적 연산의 늪]언어 모델이나 기계 번역 같은 Sequence 모델링 분야에서는 오랫동안 RN..
[AI Research]
2026. 3. 18. 00:49