(제 24회) 시스템구조 / (98)~(100) 해설

98. 다음 괄호 안에 들어갈 용어를 순서대로 나열한 것으로 가장 적절한 것은?

 

( ㄱ )는 자연어 문장 생성에 특화된 모델로, 트랜스포머의 디코더 부분만 따로 떼어서 학습 모형으로 사용했다. 반면, ( ㄴ )는 트랜스포머의 인코드 부분을 떼어서 사용했다. 따라서, ( ㄱ )가 단방향 혹은 순방향으로의 셀프 어텐션만을 사용하는 것에 반해, ( ㄴ )는 양방향 셀프 어텐션을 모두 활용할 수 있다.

( ㄱ ) ( ㄴ )

① BERT - GPT

② GPT - CBOW

③ CBOW - BERT

④ GPT - BERT

 

▣ BERT vs GPT

- BERT : 마스크 언어모델(Masked Language Model)로서, 문장 중간에 빈칸을 만들고, 해당 빈칸에 어떤 단어가 적절할지 맞추는 과정에서 Pretrain 하며, 빈칸 앞뒤 문맥을 모두 살 필수 있다는 점에서 bidirectional

- GPT 는 문장 생성에, BERT 는 문장의 의미를 추출하는데 강점을 지님

구분	GPT	BERT
특징	일방향으로 나아가면서 다음 단어를 예측하는 방식으로 학습 순차적으로 문장을 생성하기에 인간처럼 일관되고 연관성이 높은 언어를 구사 트랜스포머에서 decoder 만 사용	전체 문장 내에서 단어의 좌우, 즉 양방향으로 문맥을 고려하면서 학습 문장의 의미를 포괄적으로 이해 가능하며, 맥락 상 단어의 의미를 파악하는 것이 중요한 자연어 처리 작업에 강점 트랜스포머에서 encoder 만 사용
주요 응용분야	문장 완성 요약 대화형 챗봇 창작 글쓰기(소설, 시 등) 프로그래밍 코드 작성	문서 분류 감성 분석 개체명 인식 Q&A 기계 번역

정답 : ④

 

 

99. 대규모 신경망을 학습시키는 데는 매우 많은 시간이 걸리며 데이터도 대량으로 필요하므로, 이런 경우 대량의데이터로 미리 학습되어 공개된 모델을 이용하는 것이 효과적이다. 학습된 모델을 이용하여 새로운 모델을 학습시키는 것으로 가장 적절한 것은?

 

① 사전 학습 ② 전이 학습

③ 지도 학습 ④ 강화 학습

 

▣ 머신러인의 학습모드

1) 지도학습 : 교사학습, 감독학습

- 말 그대로 정답을 알려 주면 학습 시키는 것

- 입력 값(즉, 백터형식의 입력 값)에 대한 Lable(Y값)을 붙여 주고 꼐속 학습을 시키는 것

- 예) 분류(Classification), 회귀(regression)

 

2) 비지도학습 : 비교사학습, 자율학습

- Input data(X값)에 대한 Lable(Y값)이 없는 경우(Labeling이 되어 있지 않음)

- 예)군집화(Clustering)

 

3) 강화학습

- 상과 벌이란 보상(Reward)를 통해 상을 최대화하고 벌을 최소화하는 방향으로 행위를 강화하는 학습 방법

- 환경 내에서 보상이 최대화되는 일련의 활동을 수행하도록 학습하는 기법

- 구성요소 : 행동(Action) 집합, 환경 상태(State)집합, 보상(Reward) 집합으로 구성

 

4) 전이학습

- 한 분야의 문제를 해결하기 위해서 얻은 지식과 정보를 다른 문제를 푸는데 사용

- 분류나 탐지, 분할 업무에 대해 학습된 딥러닝 모델을 다른 데이터셋에 활용

- 데이터가 적더라도 훈련된 모델에서 얻은 지식을 바탕으로 활용

 

정답 : ②

 

 

 

100. 다음 중 TCP/IP 모델의 트랜스포트 계층 프로토콜에서 사용하는 포트 번호(Port Number)에 대한 설명으로 가장 적절한 것은?

 

① 소스 포트 번호는 일반적으로 32비트를 사용한다.

② 포트 번호는 프로세스 간의 전달(process-toprocess-delivery)을 위해서 사용된다.

③ TCP에서 사용하는 포트 번호와 UDP에서 사용하는 포트 번호는 중복될 수 없다.

④ 소스 포트 번호는 클라이언트 프로그램에서 주로 사용하는 Well-known 포트 번호와 서버 프로그램에서 주로 사용하는 동적 포트 번호 등이 있다.

 

▣ TCP/UDP Header

 

* Port # : TCP 로 연결되는 양단의 송수신 프로세스에 할당되는 주소

일반적으로 well-know port, registered port, dynamic port 세 가지로 구분

- 잘 알려진 포트(well-known port) : 0번 ~ 1023번

- 등록된 포트(registered port) : 1024번 ~ 49151번

- 동적 포트(dynamic port) : 49152번 ~ 65535번

 

정답 : ②

 

---

 

공감과 댓글은 아이티신비에게 큰 힘이 됩니다.

블로그 글이 유용하다면 블로그를 구독해주세요.♥