2BArtist

이 글의 목표- 객관적인 성능 평가 지표로 RAG 시스템 설계 평가하기이 글에 담긴 내용- 허깅페이스 모델카드 이해하기- 벤치마크- 모델 평가 기준 (F1, Accuracy, recall, em ... )- LLM as a judge 지금까지는 눈으로 직접 데이터를 확인하면서 챗봇이 맞는 말 하는지 아닌지 확인했다.그런데... 데이터가 몇만 몇억개면 어쩔텐가.. 객관적인 지표로 품질을 평가할 수 있는 지표가 있다.이번 포스팅에서는 LLM평가 객관적인 지표로 사용되는 개념들을 확인하고 취사선택하여 지금까지 만든 시스템 평가에 활용할 것이다. 일단 허깅페이스 모델카드를 이해해보자https://huggingface.co/meta-llama/Llama-3.2-3B-Instruct meta-llama/Llama-..

이 글의 주요 목표- 부자연스러운 응답의 품질 향상이 글에 담긴 내용- Reranking (적용하지는 않음)- 메타데이터의 confidence score활용 - 프롬프트 엔지니어링 (시스템 프롬프트 설정)- 번외 : 그래프 데이터베이스와 연결 (적용하지는 않음) 오늘은 화나는 일도 있고 갑자기 살기 팍팍해졌으므로 좀 즐겁게 글을 써 보겠다.셀프 즐거움라이팅 시작 지금 현재 상황으로는 내 이력서 및 자기소개서 (영어 및 한국어) 데이터를 청킹 -> 임베딩 해 둔 상태다. Question: 이력서에서 AI 관련 프로젝트는 뭐야? Answer: AI Consultant로 프로젝트를 수행했습니다. Fine-tuned LLMs, prompt generation, RLHF, Trust & Safety conten..

이 글의 주요 목표- 자기소개봇을 위한 VectorDB 결정 및 임베딩- 검색과 답변 확인이 글에 담긴 내용- VectorDB 개념과 유형- RAG를 위한 검색 방법과 유형 데이터를 어디에 어떻게 연결할까?VectorDB 선택하기일단 자유분방한 문서를 활용가능한 '데이터' 형태로 구조화시키긴 했으나, 어떤 방식으로 저장하고 검색할지 선택할 필요가 있다. 여러가지 VectorDB 종류가 있다. 몇 가지만 비교해 보자면 Chroma- 오픈소스, 설치가 간단하며, 로컬 저장이 가능하다. - 메타데이터를 포함해 임베딩 벡터를 저장한다.- 단점 : 대규모 데이터에서 성능이 떨어진다. LanceDB- 이미지 및 텍스트 혼합 질문 처리도 가능하다.- chroma에 더해 SQL 처리 가능- 단점 : 플러그인 제한적 ..

이 글의 주요 목표- 유형별 문서를 의미 단위로 파싱- RAG 챗봇 프로젝트에 사용 가능하도록 정제이 글에 담긴 내용- 기본적인 데이터 수동 전처리- Langchain을 이용한 문서 청킹과 정제- docx, pdf 타입 에세이, resume 등 타입에 따른 청킹과 정제- 임베딩을 위한 메타데이터 설계 어떻게 문서를 파싱할까?Langchain을 활용한 문서 Loading, Text Splittingdocx 타입 문서의 경우 Python 라이브러리 중 python-docx, docling 여러가지 parser를 통해 처리할 수 있다.이 프로젝트는 RAG 용 데이터를 구축하는 게 목적이고, 복잡한 제약조건이 없기 때문에 langchain을 사용해 간단하게 파싱 후 정제하기로 해 본다. langchain은 RA..