공부 기록장 💻

"Do It! BERT와 GPT로 배우는 자연어처리" 1장 정리 학습 목표 모델 학습의 전체 파이프라인에 대해 알아보자. 해당 학습 파이프라인은 자연어 처리 모델이 수행하는 문서 분류, 개체명 인식, 질의응답, 문서 검색, 문장 생성의 5가지 과제에 상관없이 공통적으로 적용된다. 학습 파이프라인을 그림으로 나타내면 다음과 같다. 모든 실습은 ratsnlp 라는 오픈소스 파이썬 패키지를 사용하고, 패키지는 구글 Colab 환경에서 실습을 진행하게 된다. 1. 각종 설정값 정하기 모델을 만들기 위해선 가장 먼저 각종 설정값을 결정해야 한다. 어떤 pre-train model을 사용할 것인가? 학습에 사용할 데이터는 무엇인가? 학습 결과는 어디에 저장할 것인가? 하이퍼파라미터(hyperparmeter)란 모델..

"Do It! BERT와 GPT로 배우는 자연어처리" 1장 정리 학습 목표 해당 책에서 소개하는 자연어 처리 모델의 학습 방법은 전이 학습(Transfer Learning)이다. Pre-train, Fine Tuning 등 트랜스퍼 러닝과 관련된 개념을 이해해보도록 하자. Transfer Learning 트랜스퍼 러닝(Transfer Learning) 이란, 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법을 가리킨다. 사람이 새로운 지식을 배울 때, 그간 평생 쌓아왔던 지식을 요긴하게 다시 써먹는 것과 같다. 아래와 같이 태스크 2를 수행하는 모델을 만든다고 가정해볼 때 트랜스퍼 러닝이 도움이 될 수 있다. 모델이 태스크 2를 배울 때 태스크 1을 수행했던 경험을 재활용하기 때문이다. T..

"Do It! BERT와 GPT로 배우는 자연어처리" 1장 정리 학습 목표 딥러닝 기반에 둔 자연어 처리 모델의 개념과 학습 방법을 살펴 보자. 기계의 자연어 처리 모델(model)이란 입력을 받아 어떤 처리를 수행하는 함수(function)라 할 수 있다. 아래 그림과 같이 모델의 출력은 어떤 사건이 일어날 가능성을 의미하는, 0과 1 사이의 값의 확률(probability)이라는 점에 주목해야 한다. 즉, 모델이란 어떤 입력을 받아 해당 입력이 특정 범주일 확률을 반환하는 확률 함수이다. 그렇다면, 자연어 처리 모델의 입력은 자연어, 즉 사람의 말이다. 이를 정리해보면 자연어 처리 모델은 자연어를 입력 받아 해당 입력이 특정 범주일 확률을 반환하는 확률 함수라고 할 수 있다. 예를 들어 영화 리뷰의 ..