[카테고리:] 트랜스포머

안녕하세요, 여러분! 오늘은 자연어 처리 세계의 마법 같은 기술, ‘마스크 언어 모델링(Masked Language Modeling, MLM)’에 대해 이야기해볼까 해요. 이 기술이 어떻게 우리의 일상을 바꾸고 있는지, 함께 알아보아요!

MLM, 그게 뭐예요?

마스크 언어 모델링은 마치 재미있는 단어 퍼즐 게임 같아요. 문장에서 몇 개의 단어를 살짝 가리고, 컴퓨터에게 “자, 이 빈칸에 들어갈 말은 뭘까요?”라고 물어보는 거죠. 신기하게도, 컴퓨터는 이 게임을 통해 언어를 이해하는 법을 배워갑니다.

어떻게 작동하나요?

1. 먼저, 문장에서 몇 개의 단어를 살짝 가려요. 마치 스파이 영화에서 본 것처럼요!
2. 그러면 컴퓨터는 주변 단어들을 살펴보며 가려진 단어를 추측해요.
3. 이 과정을 계속 반복하면서 컴퓨터는 점점 더 언어를 잘 이해하게 되죠.

MLM의 장점, 정말 대단해요!

MLM이 왜 그렇게 특별한지 알아볼까요?

1. 앞뒤를 모두 살펴봐요: 가려진 단어 앞뒤의 모든 단어를 고려할 수 있어요. 마치 우리가 책을 읽을 때처럼요!
2. 다양한 표현을 배워요: 여러 위치의 단어를 맞추다 보니, 언어의 다채로운 표현을 자연스럽게 익히게 돼요.
3. 혼자서도 잘 배워요: 특별한 설명 없이도 엄청난 양의 텍스트로부터 학습할 수 있어요. 독학의 달인이죠!

MLM, 어디에 쓰이나요?

MLM은 BERT라는 유명한 언어 모델의 핵심이에요. 이 기술로 만들어진 모델들은 정말 다재다능해요:

• 글의 주제를 파악하고
• 문장에서 사람이나 장소의 이름을 찾아내고
• 질문에 대답하고
• 글의 감정을 이해하고
• 비슷한 문장을 찾아내는 등 다양한 일을 해낼 수 있어요!

마치며

마스크 언어 모델링은 마치 마법처럼 컴퓨터가 인간의 언어를 이해하도록 만들어주고 있어요. 이 기술 덕분에 우리의 일상이 더욱 편리해지고 있죠.

여러분도 MLM의 마법을 한번 체험해보는 건 어떨까요? 어쩌면 여러분이 만든 AI가 다음번 베스트셀러 작가가 될지도 모르겠네요!

다음에 또 재미있는 AI 이야기로 찾아올게요. 그때까지 호기심 가득한 마음으로 세상을 바라보세요! 안녕히 계세요~ 👋✨

인과적 언어 모델링(Causal Language Modeling)은 자연어 처리에서 중요한 접근 방식으로, 다음과 같은 특징을 가집니다:

기본 개념

인과적 언어 모델링은 주어진 텍스트 시퀀스에서 다음에 올 토큰을 예측하는 작업입니다[1]. 이 모델은 왼쪽에서 오른쪽으로 텍스트를 처리하며, 이전에 나온 토큰들만을 기반으로 다음 토큰을 예측합니다[2].

주요 특징

1. 단방향성: 모델은 오직 이전에 나온 토큰들만 볼 수 있으며, 미래의 토큰은 볼 수 없습니다[1][2].
2. 확률적 접근: 각 단어의 출현 확률은 이전에 나온 단어들에 의해 결정된다고 가정합니다[2].
3. 텍스트 생성: 인과적 언어 모델은 텍스트 생성 작업에 특히 적합합니다[1].

모델 구조

인과적 언어 모델은 주로 다음과 같은 구조를 사용합니다:

1. 트랜스포머 디코더: GPT와 같은 모델은 트랜스포머의 디코더 부분만을 사용합니다[2].
2. 자기 회귀적 처리: 모델은 이전 토큰들을 기반으로 다음 토큰을 순차적으로 예측합니다[2].

응용 분야

인과적 언어 모델은 다음과 같은 분야에서 활용됩니다:

1. 텍스트 생성
2. 창의적 글쓰기
3. 코드 생성 (예: Copilot, CodeParrot)[1]
4. 대화형 AI 시스템

한계점

인과적 언어 모델의 주요 한계는 문맥 이해의 제한성입니다. 모델이 오직 이전 토큰들만을 고려하기 때문에, 전체 문맥을 완전히 파악하는 데 제한이 있을 수 있습니다[2].

인과적 언어 모델링은 자연어 처리 분야에서 중요한 역할을 하며, 특히 텍스트 생성 작업에서 강점을 보입니다. 그러나 양방향 문맥 이해가 필요한 작업에서는 BERT와 같은 양방향 모델에 비해 제한적일 수 있습니다.

Citations:
[1] https://huggingface.co/docs/transformers/ko/tasks/language_modeling
[2] https://channel.io/ko/blog/articles/175c5d27
[3] https://tristanchoi.tistory.com/650
[4] https://brunch.co.kr/%40brunchgpjz/49

BART와 T5는 모두 인코더-디코더 구조를 사용하는 트랜스포머 기반 모델이지만, 몇 가지 주요한 차이점이 있습니다:

학습 목표와 방식

1. BART:

• 문서를 손상시킨 후 원본을 재구성하는 방식으로 학습합니다[1].
• 다양한 노이즈 기법(토큰 마스킹, 삭제, 텍스트 채우기 등)을 적용합니다[3].

1. T5:

• 모든 NLP 작업을 텍스트-투-텍스트 형식으로 통일하여 처리합니다[4].
• 입력 시퀀스의 15% 토큰을 무작위로 삭제하고 특수 토큰으로 대체하는 방식을 사용합니다[1].

모델 구조와 특징

1. BART:

• 절대 위치 인코딩을 사용합니다[8].
• 텍스트 생성과 복원에 최적화되어 있습니다[4].

1. T5:

• 상대적 위치 인코딩을 사용합니다[8].
• 다중 작업 학습에 강점이 있습니다[4].

성능과 적용

1. BART:

• 요약, 데이터 복원, 스토리 생성 등의 작업에서 우수한 성능을 보입니다[4].
• 일부 연구에서는 요약 작업에서 T5보다 높은 ROUGE 점수를 기록했습니다[9].

1. T5:

• 번역, 질문 응답, 요약 등 다양한 작업을 통합해 처리할 수 있습니다[4].
• 일부 연구에서는 요약 작업에서 BART보다 높은 ROUGE-1과 METEOR 점수를 기록했습니다[9].

두 모델 모두 강력한 성능을 보이지만, 특정 작업이나 데이터셋에 따라 성능 차이가 있을 수 있습니다. 따라서 실제 적용 시에는 해당 작업에 맞는 모델을 선택하거나 비교 실험을 통해 결정하는 것이 좋습니다.

Citations:
[1] https://stackoverflow.com/questions/77732511/what-are-differences-between-t5-and-bart/77774322
[2] https://www.researchgate.net/figure/Performance-comparison-using-several-types-of-BART-and-T5-on-DialogSum_tbl2_373542055
[3] https://dev.to/admantium/large-language-models-comparing-gen-1-models-gpt-bert-t5-and-more-74h
[4] https://velog.io/@jayginwoolee/BERT-SBERT-BART-T5-%EA%B0%84%EB%8B%A8-%EC%84%A4%EB%AA%85
[5] https://www.cs.utexas.edu/~gdurrett/courses/fa2021/lectures/lec24-4pp.pdf
[6] https://discuss.huggingface.co/t/what-is-the-difference-between-t5-and-bart-model/12452
[7] https://discuss.huggingface.co/t/t5-outperforms-bart-when-fine-tuned-for-summarization-task/20009
[8] https://www.ee.cityu.edu.hk/~lmpo/ee4016/pdf/2024A_AI_L06D_BART-T5.pdf
[9] https://www.iieta.org/download/file/fid/132319

GPT(Generative Pre-trained Transformer)는 디코더만을 활용한 트랜스포머 아키텍처를 기반으로 하는 언어 모델입니다. GPT의 주요 특징과 작동 방식은 다음과 같습니다:

디코더 기반 아키텍처

GPT는 트랜스포머의 디코더 부분만을 사용합니다[1]. 이는 인코더-디코더 구조의 전통적인 트랜스포머와는 다른 접근 방식입니다[6].

주요 구성 요소

1. 입력 임베딩: 토큰 임베딩과 위치 임베딩을 결합하여 입력 시퀀스를 표현합니다[31].
2. 마스크드 멀티헤드 어텐션: 이전 토큰들만을 고려하여 다음 토큰을 예측합니다[22].
3. 위치별 피드포워드 신경망: 각 토큰의 표현을 더욱 풍부하게 만듭니다[31].
4. 레이어 정규화: 각 서브블록의 입력에 적용되어 학습을 안정화합니다[20].

작동 원리

1. 자기회귀적 처리: GPT는 왼쪽에서 오른쪽으로 텍스트를 처리하며, 이전 토큰들을 기반으로 다음 토큰을 예측합니다[5].
2. 대규모 사전 학습: 방대한 텍스트 데이터로 사전 학습되어 언어의 패턴과 구조를 학습합니다[28].
3. 파인튜닝: 특정 작업에 맞게 모델을 미세 조정할 수 있습니다[33].

GPT의 장점

1. 긴 시퀀스 생성: 디코더 구조로 인해 긴 텍스트 생성에 적합합니다[1].
2. 유연성: 다양한 자연어 처리 작업에 적용 가능합니다[33].
3. 확장성: 더 큰 모델과 더 많은 데이터로 성능을 향상시킬 수 있습니다[33].

GPT의 디코더 기반 아키텍처는 텍스트 생성 작업에 특히 효과적이며, 다양한 응용 분야에서 활용되고 있습니다. 그러나 양방향 문맥 이해가 필요한 일부 작업에서는 BERT와 같은 양방향 모델에 비해 제한적일 수 있습니다[5].

GPT 버전별 비교

Citations:
[1] https://www.exxactcorp.com/blog/deep-learning/gpt-3-vs-bert-llm-comparison
[2] https://bea.stollnitz.com/blog/gpt-transformer/
[3] https://codysolutions.com/blog/the-ultimate-guide-to-chat-gpt-4-features-benefits-and-usage
[4] https://www.streebo.com/chatgpt-manufacturing-use-cases
[5] https://blog.invgate.com/gpt-3-vs-bert
[6] https://www.gptfrontier.com/a-deep-dive-into-gpts-transformer-architecture-understanding-self-attention-mechanisms/
[7] https://gipiti.chat/industries
[8] https://vitalflux.com/bert-vs-gpt-differences-real-life-examples/
[9] https://jalammar.github.io/illustrated-gpt2/
[10] https://dev.to/meetkern/gpt-and-bert-a-comparison-of-transformer-architectures-2k46
[11] https://community.openai.com/t/is-gpt-group-of-models-decoder-only-model/286586
[12] https://www.geeksforgeeks.org/differences-between-gpt-and-bert/
[13] https://www.reddit.com/r/LanguageTechnology/comments/12fhw02/d_why_does_the_decoderonly_architecture_for_the/
[14] https://www.baeldung.com/cs/bert-vs-gpt-3-architecture
[15] https://www.researchgate.net/publication/384690504_GPT-3_Transformer_Decoder_gujoui_bunseoggwa_geu_gyebo
[16] https://www.arxiv.org/pdf/2405.12990.pdf
[17] https://www.linkedin.com/pulse/comparative-analysis-large-language-model-platforms-gpt-shifa-martin-nsjyc
[18] https://www.geeksforgeeks.org/introduction-to-generative-pre-trained-transformer-gpt/
[19] https://indigo.ai/en/blog/gpt4-guida/
[20] https://dugas.ch/artificial_curiosity/GPT_architecture.html
[21] https://www.coursera.org/articles/what-is-gpt
[22] https://bea.stollnitz.com/blog/how-gpt-works-technical/
[23] https://zapier.com/blog/how-does-chatgpt-work/
[24] https://runbear.io/posts/gpt-4-in-action-realworld-examples-of-successful-business-applications
[25] https://www.linkedin.com/pulse/gpt-4-vs-gpt-35-key-advantages-practical-applications-linkenite-pbd0f
[26] https://industrialax.com/solutions/understanding-gpt-agents-functionalities-and-applications-across-industries
[27] https://www.linkedin.com/pulse/potential-applications-gpt-5-various-bdlof
[28] https://aws.amazon.com/what-is/gpt/?nc1=h_ls
[29] https://www.signitysolutions.com/tech-insights/openais-gpt-models-architectural-insights
[30] https://www.ibm.com/think/topics/gpt
[31] https://bea.stollnitz.com/blog/gpt-transformer/
[32] https://www.plainconcepts.com/gpt-4-guide/
[33] https://30dayscoding.com/blog/understanding-the-architecture-of-gpt-models
[34] https://cloud.google.com/discover/what-is-gpt
[35] https://tuyadigital.com/gpt4-vs-gpt3-5/
[36] https://london-data-consulting.com/10-ways-chat-gpt-can-revolutionize-manufacturing/
[37] https://lumenalta.com/insights/what-is-a-custom-gpt-key-features-benefits
[38] https://www.appmatics.com/en/blog/vorteile-nachteile-chat-gpt

BERT(Bidirectional Encoder Representations from Transformers)는 트랜스포머의 인코더를 활용한 강력한 자연어 처리 모델입니다. BERT의 주요 특징과 작동 방식은 다음과 같습니다:

구조와 작동 원리

1. 인코더 기반 아키텍처: BERT는 트랜스포머의 인코더 부분만을 사용합니다. 기본 모델(BERT-base)은 12개의 인코더 층으로 구성되어 있으며, 대형 모델(BERT-large)은 24개의 층을 가집니다[1][15].
2. 양방향성: BERT는 문장의 전후 맥락을 동시에 고려하는 양방향 모델입니다. 이는 단어의 의미를 더 정확하게 파악할 수 있게 해줍니다[2][22].
3. 자기 주의 메커니즘: 트랜스포머의 핵심인 자기 주의 메커니즘을 사용하여 문장 내 단어들 간의 관계를 효과적으로 포착합니다[14][22].
4. 토큰화와 임베딩: 입력 텍스트는 토큰으로 분리되고, 각 토큰은 벡터로 변환됩니다. 이 과정에서 위치 정보와 세그먼트 정보도 함께 임베딩됩니다[14][16].

사전 학습 방법

BERT는 두 가지 주요 사전 학습 방법을 사용합니다:

1. 마스크 언어 모델(MLM): 입력 문장의 일부 단어를 마스킹하고, 모델이 이를 예측하도록 학습시킵니다[2][22].
2. 다음 문장 예측(NSP): 두 문장이 연속적인지 아닌지를 예측하는 작업을 통해 문장 간 관계를 학습합니다[2][22].

응용 분야

BERT는 다양한 자연어 처리 작업에 활용될 수 있습니다:

• 텍스트 분류
• 질의응답
• 개체명 인식
• 감성 분석
• 문장 유사도 측정[17][20]

BERT의 장점

1. 맥락 이해: 양방향 처리를 통해 단어의 맥락을 더 잘 이해합니다[22].
2. 전이 학습: 대규모 데이터로 사전 학습된 모델을 다양한 작업에 쉽게 적용할 수 있습니다[20].
3. 성능: 다양한 자연어 처리 작업에서 최고 수준의 성능을 보여줍니다[1].

BERT는 인코더 기반의 강력한 언어 모델로, 양방향 문맥 이해와 효과적인 전이 학습 능력을 통해 다양한 자연어 처리 작업에서 뛰어난 성능을 보여주고 있습니다.

Citations:
[1] https://gogl3.github.io/articles/2021-02/BERT_detail
[2] https://en.wikipedia.org/wiki/BERT_(language_model)
[3] https://research.google/pubs/bert-pre-training-of-deep-bidirectional-transformers-for-language-understanding/
[4] https://spotintelligence.com/2024/02/29/bert-nlp/
[5] https://towardsdatascience.com/bert-explained-state-of-the-art-language-model-for-nlp-f8b21a9b6270?gi=eb46a49bcbf4
[6] https://www.labellerr.com/blog/bert-explained-state-of-the-art-language-model-for-nlp/
[7] https://www.geeksforgeeks.org/explanation-of-bert-model-nlp/
[8] https://jalammar.github.io/illustrated-bert/
[9] https://huggingface.co/blog/bert-101
[10] https://www.javatpoint.com/bert-applications
[11] https://www.yitay.net/blog/model-architecture-blogpost-encoders-prefixlm-denoising
[12] https://arxiv.org/html/2412.14276v2
[13] https://www.researchgate.net/publication/381035351_Research_on_the_application_of_deep_learning-based_BERT_model_in_sentiment_analysis
[14] https://serokell.io/blog/bert-explanation
[15] https://wikidocs.net/224181
[16] https://tinkerd.net/blog/machine-learning/bert-encoder/
[17] https://towardsdatascience.com/bert-explained-state-of-the-art-language-model-for-nlp-f8b21a9b6270?gi=eb46a49bcbf4
[18] https://neptune.ai/blog/how-to-code-bert-using-pytorch-tutorial
[19] https://jalammar.github.io/illustrated-bert/
[20] https://www.tensorflow.org/text/tutorials/classify_text_with_bert
[21] https://huggingface.co/blog/modernbert
[22] https://zilliz.com/learn/what-is-bert
[23] https://hazyresearch.stanford.edu/blog/2024-05-20-m2-bert-retrieval
[24] https://pmc.ncbi.nlm.nih.gov/articles/PMC7889424/

크로스 어텐션(Cross-Attention)은 트랜스포머(Transformer) 아키텍처에서 사용되는 주요 메커니즘 중 하나로, 두 개의 서로 다른 입력 시퀀스를 결합하는 방식입니다. 크로스 어텐션의 주요 특징과 작동 방식은 다음과 같습니다:

기본 개념

크로스 어텐션은 셀프 어텐션(Self-Attention)과 달리 서로 다른 두 입력 시퀀스를 다룹니다[1][4]. 일반적으로 한 시퀀스에서 쿼리(Query)를 생성하고, 다른 시퀀스에서 키(Key)와 값(Value)을 생성합니다[6].

작동 원리

1. 입력 구조: 크로스 어텐션은 두 개의 다른 입력 시퀀스를 사용합니다. 예를 들어, 기계 번역에서는 소스 문장과 타겟 문장이 될 수 있습니다[5].
2. 쿼리, 키, 값 생성:

• 쿼리(Q): 일반적으로 디코더의 현재 상태에서 생성됩니다.
• 키(K)와 값(V): 인코더의 출력에서 생성됩니다[12].

1. 어텐션 계산: 쿼리와 키를 사용하여 어텐션 스코어를 계산하고, 이를 값과 곱하여 최종 출력을 생성합니다[1].

응용 분야

크로스 어텐션은 다양한 분야에서 활용됩니다:

• 기계 번역: 소스 언어와 타겟 언어 간의 관계를 모델링합니다[5].
• 이미지 캡셔닝: 이미지 특징과 텍스트 생성을 연결합니다[5].
• 멀티모달 학습: 텍스트, 이미지, 음성 등 다양한 모달리티 간의 관계를 학습합니다[8].

장점

1. 정보 융합: 서로 다른 도메인의 정보를 효과적으로 결합할 수 있습니다[10].
2. 선택적 집중: 관련성 높은 정보에 집중할 수 있어 효율적인 정보 처리가 가능합니다[14].
3. 유연성: 다양한 길이와 구조의 입력을 처리할 수 있습니다[5].

크로스 어텐션은 트랜스포머 모델의 핵심 구성 요소로, 복잡한 시퀀스 간 관계를 모델링하는 데 중요한 역할을 합니다. 이를 통해 모델은 서로 다른 입력 소스의 정보를 효과적으로 통합하고, 더 정확하고 맥락에 맞는 출력을 생성할 수 있습니다.

Citations:
[1] https://brunch.co.kr/@leadbreak/10
[2] https://www.youtube.com/watch?v=aw3H-wPuRcw
[3] https://magazine.sebastianraschka.com/p/understanding-and-coding-self-attention
[4] https://kongsberg.tistory.com/47
[5] https://aiml.com/explain-cross-attention-and-how-is-it-different-from-self-attention/
[6] https://www.reddit.com/r/deeplearning/comments/nf08zz/what_is_the_cross_attention/
[7] https://skyil.tistory.com/256
[8] https://paperswithcode.com/method/cross-attention-module
[9] https://jjuke-brain.tistory.com/entry/%EB%94%A5%EB%9F%AC%EB%8B%9D-%EA%B8%B0%EC%B4%88-Attention-Transformer
[10] https://velog.io/@letsbe/CrossViT-Cross-Attention-Multi-Scale-Vision-Transformer-for-Image
[11] https://zzziito.tistory.com/56
[12] https://www.linkedin.com/posts/damienbenveniste_what-is-the-difference-between-self-attention-activity-7211029906166624257-m0Wn
[13] https://kimjy99.github.io/%EB%85%BC%EB%AC%B8%EB%A6%AC%EB%B7%B0/prompt-to-prompt/
[14] https://rbcborealis.com/research-blogs/tree-cross-attention/
[15] https://www.kaggle.com/code/aisuko/coding-cross-attention

마스크 멀티 헤드 어텐션(Masked Multi-Head Attention)은 트랜스포머 모델의 디코더에서 사용되는 중요한 메커니즘입니다. 주요 특징과 작동 방식은 다음과 같습니다:

개념

마스크 멀티 헤드 어텐션은 디코더에서 순차적 처리를 보장하기 위해 사용됩니다. 이는 각 토큰이 자신보다 이전에 나온 토큰들만 참조할 수 있도록 하여, 미래의 정보를 사용하지 않도록 합니다[5].

작동 원리

1. 마스킹 과정: 어텐션 스코어 계산 후, 소프트맥스 함수 적용 전에 마스킹이 이루어집니다[4].
2. 마스크 적용: 현재 위치 이후의 토큰들에 대한 어텐션 스코어를 -∞(마이너스 무한대)로 설정합니다[6].
3. 소프트맥스 적용: 마스킹된 스코어에 소프트맥스를 적용하면, 미래 토큰들의 가중치는 0이 됩니다[6].

목적

1. 인과성 유지: 각 토큰이 이전 토큰들만 참조하여 순차적 생성을 가능하게 합니다[3].
2. 학습 시 병렬 처리: 전체 시퀀스를 한 번에 입력받아 병렬 처리가 가능하게 합니다[2].

구현

마스크 멀티 헤드 어텐션은 일반적인 멀티 헤드 어텐션과 유사하지만, 마스킹 단계가 추가됩니다:

1. 입력 임베딩을 쿼리(Q), 키(K), 값(V)으로 변환
2. 어텐션 스코어 계산: $$ \text{score} = \frac{QK^T}{\sqrt{d_k}} $$
3. 마스크 적용: 미래 토큰에 해당하는 스코어를 -∞로 설정
4. 소프트맥스 적용
5. 가중치와 값(V) 곱셈

중요성

마스크 멀티 헤드 어텐션은 디코더가 올바른 순서로 토큰을 생성하고, 문장의 일관성과 의미를 유지하는 데 핵심적인 역할을 합니다[4].

이 메커니즘을 통해 트랜스포머 모델은 효율적인 병렬 처리를 유지하면서도 순차적인 정보 처리가 필요한 작업을 수행할 수 있습니다.

Citations:
[1] https://www.youtube.com/watch?v=hF5bYLxIjwY
[2] https://stackoverflow.com/questions/58127059/how-to-understand-masked-multi-head-attention-in-transformer/59713254
[3] https://zaai.ai/llms-and-transformers-from-scratch-the-decoder/
[4] https://www.blossominkyung.com/deeplearning/transfomer-last
[5] https://glanceyes.com/entry/Transformer%EC%9D%98-Multi-Head-Attention%EA%B3%BC-Transformer%EC%97%90%EC%84%9C-%EC%93%B0%EC%9D%B8-%EB%8B%A4%EC%96%91%ED%95%9C-%EA%B8%B0%EB%B2%95
[6] https://acdongpgm.tistory.com/221

잔차 연결(Residual Connection)은 깊은 신경망에서 발생하는 문제들을 해결하기 위해 도입된 기법입니다. 주요 특징과 장점은 다음과 같습니다:

개념

잔차 연결은 신경망의 특정 층의 입력을 그 층의 출력에 직접 더하는 방식으로 작동합니다. 수학적으로 표현하면 다음과 같습니다:

$$ H(x) = F(x) + x $$

여기서 x는 입력, F(x)는 해당 층에서 수행되는 변환, H(x)는 최종 출력입니다.

장점

1. 기울기 소실 문제 해결: 깊은 신경망에서 발생하는 기울기 소실 문제를 완화합니다[1][6].
2. 정보 보존: 이전 층의 정보를 직접적으로 다음 층으로 전달하여 중요한 특징들이 보존됩니다[2].
3. 학습 용이성: 네트워크가 잔차 함수 F(x)를 학습하게 되어, 최적화가 더 쉬워집니다[4].
4. 깊은 네트워크 구현: 수백 개의 층을 가진 매우 깊은 네트워크를 효과적으로 학습할 수 있게 합니다[5].

응용

• ResNet: 컴퓨터 비전 분야에서 널리 사용되는 ResNet 모델의 핵심 구성 요소입니다[7].
• Transformer: 자연어 처리 분야의 Transformer 모델에서도 잔차 연결이 중요한 역할을 합니다[11].

잔차 연결은 단순한 덧셈 연산만으로 구현되지만, 신경망의 성능을 크게 향상시키는 강력한 기법입니다. 이를 통해 더 깊고 복잡한 모델을 효과적으로 학습시킬 수 있게 되었습니다[10].

Citations:
[1] https://velog.io/@glad415/Transformer-7.-%EC%9E%94%EC%B0%A8%EC%97%B0%EA%B2%B0%EA%B3%BC-%EC%B8%B5-%EC%A0%95%EA%B7%9C%ED%99%94-by-WikiDocs
[2] https://brunch.co.kr/@26dbf56c3e594db/115
[3] https://sunway-light.tistory.com/8
[4] https://channelai.tistory.com/2
[5] https://daeun-computer-uneasy.tistory.com/28
[6] https://wikidocs.net/120073
[7] https://chickencat-jjanga.tistory.com/141
[8] https://blog.naver.com/chatghui/223624149237
[9] https://heeya-stupidbutstudying.tistory.com/entry/DL-Exploding-Vanishing-gradient-%EB%AC%B8%EC%A0%9C%EC%99%80-Residual-Connection%EC%9E%94%EC%B0%A8%EC%97%B0%EA%B2%B0
[10] https://lv99.tistory.com/25
[11] https://blog.naver.com/winddori2002/222008003445
[12] https://velog.io/@olxtar/Residual-BlockFunction-Connection
[13] https://meaningful96.github.io/deeplearning/skipconnection/

Query(Q), Key(K), Value(V)는 셀프 어텐션 메커니즘의 핵심 구성 요소로, 입력 벡터를 세 가지 다른 표현으로 변환하는 과정을 거칩니다. 이 과정은 다음과 같이 이루어집니다:

입력 벡터의 변환

1. 초기 입력: 먼저 각 단어는 임베딩 과정을 통해 고차원 벡터로 변환됩니다[1].
2. 선형 변환: 이 임베딩된 벡터는 세 개의 서로 다른 가중치 행렬(Wq, Wk, Wv)과 곱해져 Q, K, V를 생성합니다[5].

• Q = Wq * 입력벡터
• K = Wk * 입력벡터
• V = Wv * 입력벡터

1. 학습 가능한 파라미터: Wq, Wk, Wv는 모델이 학습하는 파라미터로, 훈련 과정에서 지속적으로 업데이트됩니다[1].

Q, K, V의 역할

• Query (Q): 현재 처리 중인 단어의 표현으로, 다른 단어들과의 관련성을 찾는 데 사용됩니다[3].
• Key (K): 모든 단어의 특징을 압축한 값으로, Query와의 유사도를 계산하는 데 사용됩니다[3].
• Value (V): 실제 정보를 담고 있는 값으로, 최종적으로 attention 가중치와 곱해져 출력을 생성합니다[3].

변환의 의미

1. 정보 추출: 이 변환 과정은 입력 벡터에서 특정 정보를 추출하고 강조하는 역할을 합니다[7].
2. 컨텍스트 설정: Q, K, V로의 변환은 모델이 좁은 컨텍스트 내에서 검색과 매칭을 수행할 수 있게 합니다[7].
3. 정보 중요도 학습: 모델은 이 과정을 통해 임베딩의 어떤 정보가 더 중요한지 학습합니다[7].

계산 과정

1. 유사도 계산: Q와 K의 내적을 통해 attention 스코어(유사도)를 계산합니다[6].
2. 스케일링: 이 스코어를 임베딩 차원의 제곱근으로 나누어 스케일링합니다[8].
3. 소프트맥스 적용: 스케일링된 스코어에 소프트맥스 함수를 적용하여 가중치를 생성합니다[6].
4. 가중치 적용: 이 가중치를 V에 곱하여 최종 출력을 생성합니다[6].

이러한 과정을 통해 셀프 어텐션 메커니즘은 입력 시퀀스 내의 각 요소가 다른 모든 요소와 어떻게 관련되어 있는지를 효과적으로 모델링할 수 있게 됩니다.

Citations:
[1] https://codingopera.tistory.com/43
[2] https://www.youtube.com/watch?v=Yb3g3wjDsX4
[3] https://mvje.tistory.com/258
[4] https://kimmeoungjun.tistory.com/6
[5] https://sebastianraschka.com/blog/2023/self-attention-from-scratch.html
[6] https://ffighting.net/deep-learning-basic/%EB%94%A5%EB%9F%AC%EB%8B%9D-%ED%95%B5%EC%8B%AC-%EA%B0%9C%EB%85%90/attention-and-self-attention-in-deep-learning/
[7] https://epichka.com/blog/2023/qkv-transformer/
[8] https://cn-c.tistory.com/68

토큰 임베딩과 위치 인코딩을 더하는 것이 값을 희석시키지 않을까 하는 우려는 자연스러운 의문입니다. 하지만 실제로는 그렇지 않습니다:

1. 경험적 증거: 토큰 임베딩과 위치 인코딩을 더하는 방식은 실제로 효과적인 것으로 입증되었습니다. 이는 경험적으로 얻어진 결론입니다[1].
2. 상대적 크기: 위치 인코딩 벡터의 값은 일반적으로 토큰 임베딩 벡터에 비해 상대적으로 작습니다. 따라서 더했을 때 토큰의 의미 정보를 크게 변형시키지 않습니다[1].
3. 미세 조정: 위치 인코딩을 더하는 것은 토큰 임베딩에 미세한 조정을 가하는 정도의 효과를 줍니다. 이는 오히려 위치 정보와 의미 정보 사이의 조화를 이루게 합니다[1].
4. 학습 가능한 파라미터: 많은 모델에서 위치 인코딩은 학습 가능한 파라미터로 구현됩니다. 이는 모델이 토큰 임베딩과 위치 정보 사이의 적절한 균형을 학습할 수 있게 합니다[3].
5. 정규화 사용: 임베딩을 더한 후에는 보통 레이어 정규화(Layer Normalization)를 적용합니다. 이는 임베딩의 스케일을 조정하여 의미 정보와 위치 정보가 적절히 반영되도록 돕습니다[3].

결론적으로, 토큰 임베딩과 위치 인코딩을 더하는 방식은 실제로 모델의 성능을 향상시키는 데 도움이 되며, 의미 정보와 위치 정보를 효과적으로 결합하는 방법으로 입증되었습니다.

Citations:
[1] https://dusanbaek.tistory.com/99
[2] https://www.blossominkyung.com/deeplearning/transfomer-positional-encoding
[3] https://binnni.tistory.com/20
[4] https://data-newbie.tistory.com/942
[5] https://www.youtube.com/watch?v=fr2Rze9FZC8
[6] https://webnautes.tistory.com/2217
[7] https://velog.io/@io0818/DL-Transformers
[8] https://wikidocs.net/196666