transformer1 트랜스포머 (Transformer) 정의 RNN을 사용하지 않고 오직 어텐션의 기술을 활용하여 인코더-디코더를 구현한 구조 시퀀스투시퀀스 (seq2seq) 한계 각 단어간의 유의미한 관계를 분석하는데 어려움 문장이 긴 경우 은닉상태에서 정보가 손실 트랜스포머 (Transformer) 구조 인코더와 디코더라는 단위가 N개로 구성되는 구조 포지셔널 인코딩 (Positional Encoding) 인베딩 벡터 + 단어의 위치 정보 수식 : 인덱스가 짝수인 경우에는 사인 함수의 값을 사용하고 홀수인 경우에는 코사인 함수의 값을 사용 순서 정보가 보존 : 임베딩 값에 포지셔널 인코딩 값을 더하면 같은 단어라고 하더라도 입력값이 달라진다. 어텐션 (Attention) 인코더의 셀프 어텐션 : Query = Key = Value 디코더의 마스크드 셀프 .. 2021. 1. 19. 이전 1 다음 728x90 반응형
