공부 기록장 💻

"Do It! BERT와 GPT로 배우는 자연어처리" 1장 정리 학습 목표 딥러닝 기반에 둔 자연어 처리 모델의 개념과 학습 방법을 살펴 보자. 기계의 자연어 처리 모델(model)이란 입력을 받아 어떤 처리를 수행하는 함수(function)라 할 수 있다. 아래 그림과 같이 모델의 출력은 어떤 사건이 일어날 가능성을 의미하는, 0과 1 사이의 값의 확률(probability)이라는 점에 주목해야 한다. 즉, 모델이란 어떤 입력을 받아 해당 입력이 특정 범주일 확률을 반환하는 확률 함수이다. 그렇다면, 자연어 처리 모델의 입력은 자연어, 즉 사람의 말이다. 이를 정리해보면 자연어 처리 모델은 자연어를 입력 받아 해당 입력이 특정 범주일 확률을 반환하는 확률 함수라고 할 수 있다. 예를 들어 영화 리뷰의 ..