[플레이데이터 SK네트웍스 Family AI 캠프 6기] 16주차 회고 (01/6~01/10)

Django 웹 프레임워크 복습1. 웹 프로그래밍 기초Front End: 사용자가 보는 부분을 개발하는 영역. HTML, CSS, JS로 UI/UX 구현.Back End: 사용자 요청을 처리하는 서버 부분을 개발. DB 관리 및 API 구축.Full Stack: 프론트엔드와 백엔드 모두 다루는 개발자.2. HTTP 프로토콜Stateless 프로토콜: 서버는 클라이언트의 상태를 유지하지 않는다. 클라이언트 요청 후 응답이 끝나면 연결이 종료됨.주요 HTTP 메서드:GET: 리소스 요청POST: 데이터 전송PUT, DELETE: 리소스 갱신 및 삭제3. Django 개요MVT 구조:Model: 데이터베이스를 조작하는 ORM 클래스View: 요청을 받아 처리하는 로직 작성Template: 사용자에게 보이는 응..

1. Agent 학습 및 Tool 호출Agent는 기본적으로 함수와 유사한 개념입니다. 하지만 핵심은 도구 호출에 있습니다. Agent의 모델은 성능이 중요한 요소입니다. 성능이 떨어지면 제대로 된 tool을 찾기 어려워지기 때문에, Agent에는 성능 좋은 모델을 사용해야 합니다.Tool 호출: 도구를 호출하는 부분이 핵심입니다. 이를 위해 Agent Executor를 활용하여 도구를 실행하고, 그 결과를 받아옵니다.Tool 구현: Tool을 만드는 것은 다소 어려운 작업일 수 있습니다. 대부분의 경우, Tool은 함수로 구현됩니다.Tool 설명: 각 Tool의 입력 및 출력값에 대한 타입과 기능을 명확히 정의해야 합니다.2. RAG (Retrieval-Augmented Generation)RAG는 검..

금주 학습 회고: Hugging Face와 LangChain을 중심으로이번주 학습에서는 Hugging Face 모델 활용과 LangChain 프레임워크에 대해 심도 있게 살펴보았습니다. 이를 통해 자연어 처리와 AI를 효율적으로 활용하는 방법, 최신 기술 트렌드, 그리고 이를 실제 응용에 적용하는 방안을 탐구했습니다.1. Hugging Face: 모델 사용의 기본max_length 지정: max_length를 설정할 때는 truncation과 padding을 반드시 같이 설정해야 한다는 점이 중요합니다. 특히, max_length가 데이터의 최대 길이보다 짧을 경우 유의해야 합니다.필수 패키지 설치:pip install transformers -qUpip install langchain-huggingfa..

RAG 기술 학습 회고최근 RAG (Retrieval-Augmented Generation) 기술을 학습하며 얻은 주요 내용을 블로그 형식으로 정리해 보았습니다. RAG는 특정 문서에 기반하여 정확한 답변을 생성하는 기술로, 최신 데이터를 빠르게 전달하거나, 정밀한 정보 검색을 필요로 하는 애플리케이션에서 강력한 도구로 활용됩니다.주요 학습 내용1. RAG 개요RAG는 정보를 검색(Retrieval) 한 뒤, 이를 바탕으로 생성(Generation) 작업을 수행합니다.핵심은 좋은 embedding 모델과 효율적인 문서 분할 및 저장 방식입니다.Multilingual-e5-large와 같은 모델은 다양한 언어의 의미적 유사성을 잘 포착하며, 질문과 유사한 벡터를 효과적으로 찾아냅니다.2. Embedding..

딥러닝과 NLP: 자연어 처리를 위한 기술 탐구딥러닝과 자연어 처리(NLP)의 발전자연어 처리 기술은 딥러닝의 등장과 함께 크게 발전했고, 특히 LLM(Large Language Model)의 등장은 또 다른 혁신의 물결을 가져왔다. 초창기에는 정규표현식을 활용해 텍스트를 분석했지만, 이제는 더욱 정교한 알고리즘과 모델을 통해 고도화된 자연어 처리가 가능해졌다.토큰화의 세계텍스트를 처리하는 기본 단계는 토큰화이다.Subword TokenizationBPE(Byte Pair Encoding): 빈도 기반의 토큰화 방식WordPiece: 확률 기반으로 점수를 계산해 토큰화Unigram: 가능한 모든 조합을 만든 후 불필요한 것을 제거하는 방식이 과정에서 Hugging Face의 tokenizers 패키지를 ..

주제: 딥러닝 모델의 구조와 학습 이해2024.11.04 - 기본 개념 다지기: 모델과 학습의 기초내용 요약: 딥러닝 모델 구성의 기초인 forward propagation과 backward propagation을 학습하고, 학습에서 중요한 개념인 learning rate 조정과 오버피팅 방지를 다뤘습니다. 특히 linear regression과 nn.linear 모델을 다루면서 기본적인 학습 흐름을 이해했습니다.핵심 통찰: 모델링의 기초를 다지며 개념 이해가 중요하다는 점을 강조하고, 학습률과 파라미터 조정의 미묘한 차이가 성능에 큰 영향을 미친다는 사실을 깨달았습니다.2024.11.05 - 딥러닝 모델 설계: 모델 구조와 학습의 구체화내용 요약: torch.nn.functional 함수 라이브러리를 ..