BERT 소개: NLP 모델 설명

BERT의 양방향 컨텍스트 분석 능력은 AI와 NLP 진화 과정에서 중요한 이정표로 평가됩니다. 이를 통해 질문 응답, 감성 분석, 명명된 엔터티 인식(단어가 사람, 제품, 조직 또는 기타 엔터티를 나타내는지 자동으로 분류하는 작업)을 포함한 11개 NLP 과제 전반에서 기록적인 성과를 달성할 수 있었습니다. BERT에 사용된 트랜스포머 아키텍처는 긴 텍스트 전반에 걸친 단어 간 관계를 포착함으로써, 사실상 모든 최신 LLM의 기반이 되었습니다.

BERT의 학습과 추론은 여러 정교한 메커니즘이 결합돼 이루어집니다. 

토크나이제이션

BERT는 텍스트를 토큰이라는 더 작은 단위로 분해합니다. 예를 들어 ‘playing’이라는 단어는 ‘play’와 ‘##ing’로 나뉠 수 있습니다. 각 토큰은 숫자로 변환되며, 문장 시작에는 [CLS], 문장 사이에는 [SEP] 같은 특수 마커가 추가됩니다. 이 방식을 통해 드물게 사용되는 단어에 대한 정확도를 높이고 어휘 크기를 보다 효율적으로 관리할 수 있습니다.

입력 임베딩

각 토큰에는 세 가지 유형의 임베딩이 적용됩니다. 토큰 임베딩은 단어 자체를, 위치 임베딩은 시퀀스 내에서의 위치를, 세그먼트 임베딩은 어떤 문장에 속하는지를 나타냅니다. 이를 통해 BERT는 텍스트의 내용과 구조에 대한 유용한 정보를 함께 활용할 수 있습니다. 

어텐션 메커니즘 

BERT는 어텐션 메커니즘을 사용하여 문장 내의 각 단어가 다른 모든 단어를 얼마나 고려해야 하는지 계산합니다. 예를 들어 ‘bank’라는 단어를 처리할 때 문장 내 다른 모든 단어에 어텐션 점수를 부여합니다. ‘river’와 ‘water’가 함께 등장하면 높은 점수를 받게 되며, 이는 ‘bank’가 강둑을 의미할 가능성이 높다는 것을 나타냅니다. 반대로 ‘money’와 ‘deposit’가 더 높은 점수를 받으면, BERT는 ‘bank’를 금융 기관으로 이해합니다. 

트랜스포머 인코더 레이어

BERT는 여러 개의 스택 계층을 통해 텍스트를 처리하며, 각 계층은 여러 개의 어텐션 계산을 병렬로 실행합니다. 각 계층은 점진적으로 더 복잡한 패턴을 캡처합니다. 초기 계층은 기본적인 문법을 학습하는 반면, 심층 계층은 추상적인 관계와 의미 체계를 이해합니다.

사전 학습 작업 

사전 학습 과정의 일부로, BERT는 토큰의 15%를 무작위로 마스킹하고 해당 토큰을 예측합니다. 이를 통해 양방향 이해 능력이 강화됩니다. 또한 문장 쌍을 분석해, 두 번째 문장이 원문에서 첫 번째 문장보다 앞에 오는지 또는 뒤에 오는지를 예측합니다. 이 기법은 문장 간 관계를 이해하는 데 도움이 됩니다.

파인튜닝과 추론

사전 학습이 완료되면 개발자는 상단에 작업별 계층을 추가해 감성 분석이나 스팸 감지와 같은 특정 작업을 수행하도록 BERT를 학습시킬 수 있습니다. 추론 단계에서 텍스트는 모든 어텐션 계층을 거치며 컨텍스트에 기반한 이해를 형성하고, BERT는 이러한 풍부한 표현을 기반으로 예측 결과를 출력합니다.

2018년 도입 이후, BERT는 다양한 실제 사용 사례에 널리 적용되어 왔습니다. 대표적인 사례는 다음과 같습니다.

Google 검색 

BERT는 복잡한 쿼리의 컨텍스트 및 의도를 더 잘 이해할 수 있도록 Google의 검색 순위를 뒷받침하며, 특히 단어 순서와 전치사가 중요한 긴 대화형 검색에서 효율을 발휘합니다. 

가상 어시스턴트 

BERT는 Google Assistant나 Alexa 같은 음성 어시스턴트가 사용자의 의도를 더 정확히 파악해, 실제로 원하는 바를 잘 이해할 수 있도록 지원합니다. 또한 대화 전반에 걸쳐 컨텍스트를 유지함으로써 후속 질문에 대해 보다 정확한 응답을 지원합니다.

헬스케어 

임상 기록과 의료 기록을 분석함으로써 BERT는 관련 환자 정보를 추출하고 진단을 식별하며, 치료 계획에서 발생할 수 있는 잠재적인 약물 상호작용이나 불일치를 사전에 식별할 수 있습니다. 

리걸 테크 

BERT는 수천 건의 법률 문서에서 핵심 조항, 의무 사항, 위험 요소를 식별하는 계약 분석 도구에 활용됩니다. 또한 판례 전반에 대한 시맨틱 검색을 지원해, 서로 다른 용어가 사용되더라도 변호사가 관련 판례를 효율적으로 찾을 수 있도록 합니다.

전자상거래 

BERT는 고객의 의도를 이해함으로써 챗봇이 고객 서비스 문의에 보다 정확하게 응답할 수 있도록 지원하며, 제품 리뷰를 감성별로 분류할 수 있습니다.

소셜 미디어 

BERT는 키워드 기반 접근 방식보다 뛰어난 컨텍스트 이해를 바탕으로 혐오 발언, 괴롭힘, 허위 정보를 탐지해 콘텐츠 조정을 지원합니다. 또한 사용자에게 관련성 높은 연결, 그룹 또는 콘텐츠를 추천하는 소셜 미디어 추천 시스템도 구동합니다.

초기 설계 기준으로 볼 때, BERT에는 몇 가지 한계가 존재합니다. 대표적인 한계 요소는 다음과 같습니다.

높은 연산 비용

BERT는 학습과 추론 모두에서 상당한 컴퓨팅 파워를 요구하기 때문에, 특히 자원이 제한된 디바이스 환경에서는 실시간 애플리케이션에 적용하기에 비용 부담이 크고 지연이 발생할 수 있습니다. 

제한된 입력 길이

BERT는 최대 512토큰 길이의 시퀀스만 처리할 수 있어, 전체를 하나의 맥락으로 이해해야 하는 법률 계약서나 연구 논문과 같은 장문 문서에는 문제가 될 수 있습니다. 

텍스트 생성 불가

텍스트 이해를 위한 인코더로만 설계된 BERT는 일관된 응답을 생성하거나 새로운 콘텐츠를 만들어내는 데에는 한계가 있습니다. 반면, GPT 모델과 이해와 생성을 모두 처리하도록 설계된 이후의 인코더-디코더 아키텍처는 요약이나 번역과 같은 작업에 적합합니다.

하이퍼파라미터 민감도

모델 성능은 학습률, 배치 크기, 그리고 BERT가 학습 데이터 세트를 한 차례 모두 처리하는 횟수와 같은 설정에 따라 크게 달라질 수 있습니다. 이로 인해 광범위한 파인튜닝이 필요할 수 있습니다.

다국어 성능의 과제

다국어 BERT는 104개 언어를 동시에 학습했기 때문에 언어별로 충분한 학습 집중도를 확보하기 어려웠고, 그 결과 언어별 전용 모델에 비해 성능이 저하됐습니다. 이후 등장한 최신 모델들은 훨씬 더 큰 다국어 데이터 세트를 사용하되, 개선된 샘플링 전략을 적용하거나 교차 언어 전이 학습을 활용해 언어별 성능을 향상시키고 있습니다.

BERT는 이후 더 발전된 언어 모델들이 등장하는 계기가 됐습니다. 일부 주요 언어 모델은 다음과 같습니다.

GPT 

GPT는 단방향(왼쪽에서 오른쪽) 처리 방식을 사용하며, 시퀀스에서 다음 단어를 예측하도록 학습돼 대화나 창작 글과 같이 일관된 텍스트를 생성하는 데 적합합니다. BERT와는 달리, GPT는 단어를 해석할 때 앞선 컨텍스트만 참조하고 뒤에 오는 컨텍스트는 반영하지 않습니다.

RoBERTa 

RoBERTa(Robustly Optimized BERT Pretraining Approach)는 BERT와 동일한 양방향 아키텍처를 사용하지만, 10배 더 많은 데이터로 학습됩니다. 또한 동적 마스킹과 같은 개선된 기법을 적용해, 동일한 문장이라도 학습할 때마다 서로 다른 단어를 마스킹합니다. 그 결과, RoBERTa는 BERT의 기본 접근 방식을 변경하지 않고도 성능이 크게 향상됩니다.

XLNet 

XLNet은 BERT와 마찬가지로 양방향 컨텍스트 이해를 달성하지만, 마스킹 방식 대신 순열 언어 모델링을 사용해 단어를 무작위 순서로 예측합니다. 이러한 방식 덕분에 BERT보다 더 높은 정확도를 보이는 경우가 많지만, 계산 복잡도가 높아 학습이 더 어렵다는 단점이 있습니다.