딥러닝과 NLP: 자연어 처리를 위한 기술 탐구딥러닝과 자연어 처리(NLP)의 발전자연어 처리 기술은 딥러닝의 등장과 함께 크게 발전했고, 특히 LLM(Large Language Model)의 등장은 또 다른 혁신의 물결을 가져왔다. 초창기에는 정규표현식을 활용해 텍스트를 분석했지만, 이제는 더욱 정교한 알고리즘과 모델을 통해 고도화된 자연어 처리가 가능해졌다.토큰화의 세계텍스트를 처리하는 기본 단계는 토큰화이다.Subword TokenizationBPE(Byte Pair Encoding): 빈도 기반의 토큰화 방식WordPiece: 확률 기반으로 점수를 계산해 토큰화Unigram: 가능한 모든 조합을 만든 후 불필요한 것을 제거하는 방식이 과정에서 Hugging Face의 tokenizers 패키지를 ..

주제: 딥러닝 모델의 구조와 학습 이해2024.11.04 - 기본 개념 다지기: 모델과 학습의 기초내용 요약: 딥러닝 모델 구성의 기초인 forward propagation과 backward propagation을 학습하고, 학습에서 중요한 개념인 learning rate 조정과 오버피팅 방지를 다뤘습니다. 특히 linear regression과 nn.linear 모델을 다루면서 기본적인 학습 흐름을 이해했습니다.핵심 통찰: 모델링의 기초를 다지며 개념 이해가 중요하다는 점을 강조하고, 학습률과 파라미터 조정의 미묘한 차이가 성능에 큰 영향을 미친다는 사실을 깨달았습니다.2024.11.05 - 딥러닝 모델 설계: 모델 구조와 학습의 구체화내용 요약: torch.nn.functional 함수 라이브러리를 ..