딥러닝과 NLP: 자연어 처리를 위한 기술 탐구딥러닝과 자연어 처리(NLP)의 발전자연어 처리 기술은 딥러닝의 등장과 함께 크게 발전했고, 특히 LLM(Large Language Model)의 등장은 또 다른 혁신의 물결을 가져왔다. 초창기에는 정규표현식을 활용해 텍스트를 분석했지만, 이제는 더욱 정교한 알고리즘과 모델을 통해 고도화된 자연어 처리가 가능해졌다.토큰화의 세계텍스트를 처리하는 기본 단계는 토큰화이다.Subword TokenizationBPE(Byte Pair Encoding): 빈도 기반의 토큰화 방식WordPiece: 확률 기반으로 점수를 계산해 토큰화Unigram: 가능한 모든 조합을 만든 후 불필요한 것을 제거하는 방식이 과정에서 Hugging Face의 tokenizers 패키지를 ..

수업을 들으면서 Notion을 이용해 필기를 하고 있다. 오늘 회고는 필기의 덕을 보려고 한다. 기존에 했던 대로 4F방식의 회고를 진행하고자 한다. 다만, 필기한 내용을 바탕으로 첫 번째 F를 채우고자 한다. 요약을 도와주는 도구로 chatGPT를 사용하였다.  - FACTS(사실, 객관):2024.10.28.분류 평가 지표 모델을 평가하기 위해 다양한 분류 지표를 학습했습니다.정확도(Accuracy): 올바르게 예측한 비율정밀도(Precision): 양성 예측 중 실제 양성 비율재현률(Recall): 실제 양성 중 모델이 양성으로 예측한 비율F1 점수: 정밀도와 재현율의 조화 평균PR Curve, AP score: 정밀도-재현률 곡선과 평균 정밀도ROC, AUC score: 수신자 조작 특성 곡선과 ..