공부 기록장 💻

"Do It! BERT와 GPT로 배우는 자연어처리" 1장 정리 학습 목표 모델 학습의 전체 파이프라인에 대해 알아보자. 해당 학습 파이프라인은 자연어 처리 모델이 수행하는 문서 분류, 개체명 인식, 질의응답, 문서 검색, 문장 생성의 5가지 과제에 상관없이 공통적으로 적용된다. 학습 파이프라인을 그림으로 나타내면 다음과 같다. 모든 실습은 ratsnlp 라는 오픈소스 파이썬 패키지를 사용하고, 패키지는 구글 Colab 환경에서 실습을 진행하게 된다. 1. 각종 설정값 정하기 모델을 만들기 위해선 가장 먼저 각종 설정값을 결정해야 한다. 어떤 pre-train model을 사용할 것인가? 학습에 사용할 데이터는 무엇인가? 학습 결과는 어디에 저장할 것인가? 하이퍼파라미터(hyperparmeter)란 모델..