Attention (어텐션)

정의 입력 단어를 예측하는 매 시점(time step)마다, 인코더에서의 전체 입력 문장을 다시 한 번 참고하는 기술 사용이유 첫째, 하나의 고정된 크기의 벡터에 모든 정보를 압축하려고 하니까 정보 손실이 발생 둘째, RNN의 고질적인 문제인 기울기 소실(Vanishing Gradient) 문제가 존재 즉, 결국 이는 기계 번역 분야에서 입력 문장이 길면 번역 품질이 떨어지는 현상으로 나타나서 이를 위한 대안으로 입력 시퀀스가 길어지면 출력 시퀀스의 정확도가 떨어지는 것을 보정해주기 위한 등장한 기법인 등장
AI 인공지능/NLP 2021. 1. 15. 17:50

시퀀스-투-시퀀스 (Sequence-To-Sequence, seq2seq)

정의 입력된 시퀀스로부터 다른 도메인의 시퀀스를 출력하는 모델 활용 챗봇 (Chatbot) 기계 번역 (Machine Translation) 내용 요약(Text Summarization) STT(Speech to Text) 용어정리 - 임베딩 벡터 기계는 텍스트보다 숫자를 잘 처리합니다. 그래서 자연어 처리에서 텍스트를 벡터로 바꾸어 처리를 하는데 단어들을 벡터화 한 것을 말합니다. - 컨텍스트 벡터 입력 받은 모든 단어 정보들을 압축해서 하나의 벡터로 만드는데, 이를 컨텍스트 벡터(context vector)라고 합니다. - 인코딩 입력받은 문장의 단어들을 압축해서 하나의 컨텍스트 벡터로 만드는 역할을 합니다. - 디코딩 입력받은 문장의 단어들을 압축해서 하나의 컨텍스트 벡터로 만드는 역할을 합니다.컨..
AI 인공지능/NLP 2021. 1. 12. 23:11