오늘은 한국경제신문 1면에 트럼프가 AI 산업에 5000억 달러를 투자 계획이 실렸다. AI를 공부하고 있는 그대여, 희망이 있다. 지루하고도 처절한 하루하루를 쌓아가다 보면 광명이 보일 것이다. 묵묵히 공부하고, 배우자.   오늘 프로젝트를 진행하면서는 템플릿과 llm모델, 크롤링을 진행하였다. 나는 그 중에 크롤링에 대부분의 시간을 썼으므로 크롤링에 대한 이야기를 해보려고 한다.   크롤링은 말 그대로 웹 상에서 정보를 긁어오는 것을 의미한다. 일반적으로, 파이썬의 beautifulsoup4 혹은 selenium 라이브러리를 활용하여 크롤링을 진행한다.  오늘 주로 시간을 쎃던 것은 쿠팡 플레이의 오리지널 시리즈를 크롤링하는 작업이었다.   크롤링하면서 실제로 행동에 옮겼던 행동은 다음의 세 가지이다..

이 글을 시작하기 전에 먼저 누군가 이 글을 읽는다면 그 삶을 응원해주고 싶다는 생각이 든다. 아마도 나와 같은 20대 혹은 30대의 젊은이일 것이고, 높은 확률로 한국인이지 않을까 싶다.   당신의 삶을 응원한다.  열심히 자신의 흥미와 재능을 찾기 위해서 고군분투하는 당신의 모습을 응원한다.   당신은 성공할 것이고, 당신이 원하는 모든 것을 이룰 것이다.  그러니 다만 자기 자신에게 좋은 것을 원하는 사람이 되길 바란다.   같은 2025년을 살아가는 한 명의 20대 청년으로서 나는 내가, 그리고 우리가 조금 더 당차고 꿈을 품고 살았으면 좋겠다. 우리가 잘 되는 길이 우리나라가 잘 되는 길이고, 우리나라가 잘 되는 길이 우리 자신이 잘 되는 길이기 때문이다.   짧은 응원을 마치고, 이번 글을 기..

Django 웹 프레임워크 복습1. 웹 프로그래밍 기초Front End: 사용자가 보는 부분을 개발하는 영역. HTML, CSS, JS로 UI/UX 구현.Back End: 사용자 요청을 처리하는 서버 부분을 개발. DB 관리 및 API 구축.Full Stack: 프론트엔드와 백엔드 모두 다루는 개발자.2. HTTP 프로토콜Stateless 프로토콜: 서버는 클라이언트의 상태를 유지하지 않는다. 클라이언트 요청 후 응답이 끝나면 연결이 종료됨.주요 HTTP 메서드:GET: 리소스 요청POST: 데이터 전송PUT, DELETE: 리소스 갱신 및 삭제3. Django 개요MVT 구조:Model: 데이터베이스를 조작하는 ORM 클래스View: 요청을 받아 처리하는 로직 작성Template: 사용자에게 보이는 응..

1. Agent 학습 및 Tool 호출Agent는 기본적으로 함수와 유사한 개념입니다. 하지만 핵심은 도구 호출에 있습니다. Agent의 모델은 성능이 중요한 요소입니다. 성능이 떨어지면 제대로 된 tool을 찾기 어려워지기 때문에, Agent에는 성능 좋은 모델을 사용해야 합니다.Tool 호출: 도구를 호출하는 부분이 핵심입니다. 이를 위해 Agent Executor를 활용하여 도구를 실행하고, 그 결과를 받아옵니다.Tool 구현: Tool을 만드는 것은 다소 어려운 작업일 수 있습니다. 대부분의 경우, Tool은 함수로 구현됩니다.Tool 설명: 각 Tool의 입력 및 출력값에 대한 타입과 기능을 명확히 정의해야 합니다.2. RAG (Retrieval-Augmented Generation)RAG는 검..

금주 학습 회고: Hugging Face와 LangChain을 중심으로이번주 학습에서는 Hugging Face 모델 활용과 LangChain 프레임워크에 대해 심도 있게 살펴보았습니다. 이를 통해 자연어 처리와 AI를 효율적으로 활용하는 방법, 최신 기술 트렌드, 그리고 이를 실제 응용에 적용하는 방안을 탐구했습니다.1. Hugging Face: 모델 사용의 기본max_length 지정: max_length를 설정할 때는 truncation과 padding을 반드시 같이 설정해야 한다는 점이 중요합니다. 특히, max_length가 데이터의 최대 길이보다 짧을 경우 유의해야 합니다.필수 패키지 설치:pip install transformers -qUpip install langchain-huggingfa..

RAG 기술 학습 회고최근 RAG (Retrieval-Augmented Generation) 기술을 학습하며 얻은 주요 내용을 블로그 형식으로 정리해 보았습니다. RAG는 특정 문서에 기반하여 정확한 답변을 생성하는 기술로, 최신 데이터를 빠르게 전달하거나, 정밀한 정보 검색을 필요로 하는 애플리케이션에서 강력한 도구로 활용됩니다.주요 학습 내용1. RAG 개요RAG는 정보를 검색(Retrieval) 한 뒤, 이를 바탕으로 생성(Generation) 작업을 수행합니다.핵심은 좋은 embedding 모델과 효율적인 문서 분할 및 저장 방식입니다.Multilingual-e5-large와 같은 모델은 다양한 언어의 의미적 유사성을 잘 포착하며, 질문과 유사한 벡터를 효과적으로 찾아냅니다.2. Embedding..