멋진신세계 멋진신세계

[논문 링크]BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding[세줄 요약]BERT는 Deep bidirectional representation를 pretrain하는 모델이다.Pretrain하는 방식은 2가지 방식 MLM(Masked LM)과 NLP(Next sentence Prediction)를 사용한다.BERT는 Finetuning하여 좋은 성능을 보여줄 수 있다.0. AbstractBERT(Bidirectional Encoder Representations from Transformers)는 Pretrained(사전훈련된) 모델 중 하나이다.  레이블되지 않은 테스트로부터 Deep bidirectional..