공부 기록장 💻

"Do It! BERT와 GPT로 배우는 자연어처리" 1장 정리 학습 목표 모델 학습의 전체 파이프라인에 대해 알아보자. 해당 학습 파이프라인은 자연어 처리 모델이 수행하는 문서 분류, 개체명 인식, 질의응답, 문서 검색, 문장 생성의 5가지 과제에 상관없이 공통적으로 적용된다. 학습 파이프라인을 그림으로 나타내면 다음과 같다. 모든 실습은 ratsnlp 라는 오픈소스 파이썬 패키지를 사용하고, 패키지는 구글 Colab 환경에서 실습을 진행하게 된다. 1. 각종 설정값 정하기 모델을 만들기 위해선 가장 먼저 각종 설정값을 결정해야 한다. 어떤 pre-train model을 사용할 것인가? 학습에 사용할 데이터는 무엇인가? 학습 결과는 어디에 저장할 것인가? 하이퍼파라미터(hyperparmeter)란 모델..

"Do It! BERT와 GPT로 배우는 자연어처리" 1장 정리 학습 목표 딥러닝 기반에 둔 자연어 처리 모델의 개념과 학습 방법을 살펴 보자. 기계의 자연어 처리 모델(model)이란 입력을 받아 어떤 처리를 수행하는 함수(function)라 할 수 있다. 아래 그림과 같이 모델의 출력은 어떤 사건이 일어날 가능성을 의미하는, 0과 1 사이의 값의 확률(probability)이라는 점에 주목해야 한다. 즉, 모델이란 어떤 입력을 받아 해당 입력이 특정 범주일 확률을 반환하는 확률 함수이다. 그렇다면, 자연어 처리 모델의 입력은 자연어, 즉 사람의 말이다. 이를 정리해보면 자연어 처리 모델은 자연어를 입력 받아 해당 입력이 특정 범주일 확률을 반환하는 확률 함수라고 할 수 있다. 예를 들어 영화 리뷰의 ..