모델 도구

google-bert/bert-base-uncased

HFHugging Face발표일 미상 · 1분

BERT는 대규모 영어 코퍼스(BookCorpus, Wikipedia)를 기반으로 사전 학습된 트랜스포머 모델입니다. 마스크드 언어 모델링(MLM)과 다음 문장 예측(NSP)을 통해 양방향 문맥 이해 능력을 갖추었습니다.

세 줄 요약Hugging Face 원문 기반

기존의 순차적 처리 방식과 달리, BERT는 문장의 앞뒤 정보를 모두 활용하여 단어와 구문의 의미를 깊이 있게 파악합니다. 이 덕분에 분류나 질문 답변 등 다양한 다운스트림 작업에서 높은 성능을 발휘합니다.
별도의 레이블링 없이 공개된 방대한 데이터를 학습했기 때문에, 사용자가 특정 목적에 맞게 모델을 미세 조정(Fine-tuning)하여 활용하기 매우 용이한 강력한 기반 모델입니다.
다만, 훈련 데이터의 편향성(Bias)을 그대로 학습할 수 있다는 한계가 있습니다. 또한, 텍스트 생성 같은 작업에는 GPT-2와 같이 다른 구조의 모델 사용이 더 적합합니다.