(제 25회) 시스템 구조 / (94)~(95) 해설

94. 다음 중 트랜스포머 모델에 대한 설명으로 가장 적절한 것은?

 

 

가. 멀티 헤드 어텐션 기법을 사용할 수 있다. 나. 대표적인 트랜스포머 모델에는 RNN이 있다. 다. 인코더는 생성문장을 출력한다. 라. 인코더와 디코더로 구성된 모델이다.

 

① 가, 나 ② 나, 다

③ 가, 라 ④ 다, 라

 

■ 해설

• 트랜스 포머 모델

- 모델이 다양한 "헤드"를 통해 입력 시퀀스의 여러 부분에서 정보를 병렬로 집중(attend)할 수 있게 하는

멀티 헤드 어텐션 기법은 트랜스포머 모델의 특징

- 트랜스포머 모델은 인코더와 디코더로 구성됨

- 트랜스포머 모델은 RNN(순환 신경망)을 사용하지 않음

- 인코더는 중간 표현인 임베딩을 생성하고 디코더가 생성문장을 출력함

 

• 인코더(Encoder) : 소스 시퀀스의 정보를 압축해 디코더로 보내는 역할
• 디코더(Decoder) : 인코더가 보내 준 소스 시퀀스 정보를 타킷 시퀀스를 생성

 

정답 : ③

 

 

95. BERT(Bidirectional Encoder Representation from Transformer)에 대한 설명으로 가장 적절하지 않은

것은?

 

① 위치 임베딩을 사용한다.

② 인코더와 디코더를 갖는다.

③ 트랜스포머 모델을 기반으로 한다.

④ 자연어 처리를 위한 딥러닝 아키텍처 중 하나이다.

 

■ 해설

• BERT(Bidirectional Encoder Representation from Transformer)

- 단어 순서와 위치 정보를 보정하기 위해 위치 임베딩을 사용

- BERT 는 트랜스포머 모델의 인코더 부분만 사용(단, 트랜스포머는 인코더-디코더 구조)

- BERT 는 트랜스포머 아키텍처 기반

- BERT 는 자연어 처리(NLP) 작업을 위해 설계된 딥러닝 아키텍처 중 하나

 

GPT	BERT
트랜스포머의 디코더 아키텍처가 기반 일방향(unidirectional)언어 모델링으로 문자 왼쪽에서 오른쪽으로 순차적 계산 이전 단어가 주어졌을 때 다음 단어가 무엇인지 맞히는 과정으로 훈련 텍스트 생성, 대화형 AI, 글쓰기 지원 같은 문장 생성 작업에 강점	트랜스 포머의 인코더 아키텍처가 기반 양방향(bidirectional) 언어 모델링을 통해 빈칸 앞뒤 문맥을 모두 살필 수 있음 문장 중간에 빈칸을 만들고 해당 빈칸에 어떤 단어가 적절할지 맞히는 과정을 통한 훈련 문장 분류, 개체명 인식, 질문 응답과 같은 문장 의미 추출하는 작업에 강함

- GPT 는 트랜스포머의 인코더 부분만을 사용한 모델이고, BERT 는 트랜스포머의 디코더만을 사용한 모델

정답 : ②

 

---

 

공감과 댓글은 아이티신비에게 큰 힘이 됩니다.

블로그 글이 유용하다면 블로그를 구독해주세요.♥