2BArtist

이 글의 목표- 객관적인 성능 평가 지표로 RAG 시스템 설계 평가하기이 글에 담긴 내용- 허깅페이스 모델카드 이해하기- 벤치마크- 모델 평가 기준 (F1, Accuracy, recall, em ... )- LLM as a judge 지금까지는 눈으로 직접 데이터를 확인하면서 챗봇이 맞는 말 하는지 아닌지 확인했다.그런데... 데이터가 몇만 몇억개면 어쩔텐가.. 객관적인 지표로 품질을 평가할 수 있는 지표가 있다.이번 포스팅에서는 LLM평가 객관적인 지표로 사용되는 개념들을 확인하고 취사선택하여 지금까지 만든 시스템 평가에 활용할 것이다. 일단 허깅페이스 모델카드를 이해해보자https://huggingface.co/meta-llama/Llama-3.2-3B-Instruct meta-llama/Llama-..

이 글의 주요 목표- 부자연스러운 응답의 품질 향상이 글에 담긴 내용- Reranking (적용하지는 않음)- 메타데이터의 confidence score활용 - 프롬프트 엔지니어링 (시스템 프롬프트 설정)- 번외 : 그래프 데이터베이스와 연결 (적용하지는 않음) 오늘은 화나는 일도 있고 갑자기 살기 팍팍해졌으므로 좀 즐겁게 글을 써 보겠다.셀프 즐거움라이팅 시작 지금 현재 상황으로는 내 이력서 및 자기소개서 (영어 및 한국어) 데이터를 청킹 -> 임베딩 해 둔 상태다. Question: 이력서에서 AI 관련 프로젝트는 뭐야? Answer: AI Consultant로 프로젝트를 수행했습니다. Fine-tuned LLMs, prompt generation, RLHF, Trust & Safety conten..

이 글의 주요 목표- 자기소개봇을 위한 VectorDB 결정 및 임베딩- 검색과 답변 확인이 글에 담긴 내용- VectorDB 개념과 유형- RAG를 위한 검색 방법과 유형 데이터를 어디에 어떻게 연결할까?VectorDB 선택하기일단 자유분방한 문서를 활용가능한 '데이터' 형태로 구조화시키긴 했으나, 어떤 방식으로 저장하고 검색할지 선택할 필요가 있다. 여러가지 VectorDB 종류가 있다. 몇 가지만 비교해 보자면 Chroma- 오픈소스, 설치가 간단하며, 로컬 저장이 가능하다. - 메타데이터를 포함해 임베딩 벡터를 저장한다.- 단점 : 대규모 데이터에서 성능이 떨어진다. LanceDB- 이미지 및 텍스트 혼합 질문 처리도 가능하다.- chroma에 더해 SQL 처리 가능- 단점 : 플러그인 제한적 ..

이 글의 주요 목표- 유형별 문서를 의미 단위로 파싱- RAG 챗봇 프로젝트에 사용 가능하도록 정제이 글에 담긴 내용- 기본적인 데이터 수동 전처리- Langchain을 이용한 문서 청킹과 정제- docx, pdf 타입 에세이, resume 등 타입에 따른 청킹과 정제- 임베딩을 위한 메타데이터 설계 어떻게 문서를 파싱할까?Langchain을 활용한 문서 Loading, Text Splittingdocx 타입 문서의 경우 Python 라이브러리 중 python-docx, docling 여러가지 parser를 통해 처리할 수 있다.이 프로젝트는 RAG 용 데이터를 구축하는 게 목적이고, 복잡한 제약조건이 없기 때문에 langchain을 사용해 간단하게 파싱 후 정제하기로 해 본다. langchain은 RA..

Tell your words: Speaking practice service for children (project from 09-2023 to 12-2023)1) Introduction: Motivation and benefitsTeam MemberA, Dept of Information SystemB, Dept of Korean Language & Literature 19C, Dept of business administration 18Research ProposalOur service is an educational service that uses NUGU AI speakers to help children practice speaking. Nowadays, double-income families..

ObjectivesERP life cycle의 implementation stage 설명ERP customization의 다양한 타입ERP implementation의 testing done 타입 ERP implementation 전략들 사이 차이점ERP implementation 과정에서 consultants를 쓰는 데 장단점ERP life cycle의 operation & manintenance stage 발생 이슈 ERP life cycle - ImplementationSW implenetation - 조직의 workflow를 integration SW로 구조적 접근1990년 후~ 2000년대 초반 많은 ERP SW implementation은 failure.ERP life cycle의 implem..

Controls against security flaws in programs 지금까지 의도치 않은 flaws, 의도했지만 악의는 없는 것들, malicious code 등을 살펴봤다. 이것을 control하는 것이 목적. software lifecycle 소프트웨어는 lifecycle동안 몇개의 단계를 거친다. specification, design, implementation, change management, code review, testing, documentation, maintanance…. 이 중 어느 단계에서 security control에 신경써야 할까? security control design 어떻게 하면 security flaws가 적은 프로그램을 design할 수 있을까? mod..

Flaws, faults, failures Flaws : 프로그램 상 문제 security flaw : confidentiality, integrity, availability 등 security에 문제를 줄 수 있는 문제 Faults : 잠재적인 문제 - programmer / specifier / inside view Failures : 문제가 발생함 - user / outside view faults를 고치는 법 일단 faults를 찾기 고의로 failures 발생시킴 ( attacker 처럼 생각하라!) pentrate & patch- faults를 찾으면 고친다 마이크로소프트의 patch tuesday가 잘 알려진 예시 패치한다고 다 좋은 게 아니다 좁은 focus로 failure를 잡아내면 다..

Security confidnetiality - 시스템이나 데이터에 접근 권한을 가진 사람만 접근 가능하다. integrity - 데이터는 함부로 바뀌지 않는다. 데이터가 온전히 보존된다. availability - 원할 때 시스템이나 데이터를 사용가능하다. 위 세 조건(기밀성,무결성,사용가능성)을 만족할 때 시스템이 secure 하다고 볼 수 있다. reliability(신뢰성) security는 reliability 하에 이용된다. 개인정보를 confidential 하게 유지 접근권한이 있는 사람이 리소스에 접근하거나 수정 정확하고 의미있는 결과를 보여줌 (원할 때) 정확하고 의미있는 결과를 보여줌 Privacy 프라이버시에 관한 많은 정의가 있다. 그 중 useful한 정의 : information..

💡 대화함축은 전제, 함의와 달리 화맥(맥락)이 주어져야 적절한 추론이 가능하다. 앞선 두개가 의미론의 영역이었다면, 함축은 화용론의 영역. 이 장에서 다룰 내용 대화함축의 개념 대화함축의 특성 격률준수에 따른 대화함축의 유형 맥락에 따른 대화함축의 유형 1. 대화 함축의 개념 정의 대화함축이란, 주어진 발화로부터 추론으로 끌어낼 수 있는, 실제로 말해진 것 이상의 의미 전제, 함의와는 구분 언어현상에 대한 화용론적 설명의 예 화맥을 통해 추론되는 것 그라이스에 따른 대화 함축의 조건 화자는 대화격률 또는 협력 원칙을 준수한다. 이 가정을 유지하면서 화자가 함축되는 x를 생각한다고 가정 화자는 첫번째 가정을 보존하기 위해 x가 필요하다는 것을 청자가 추론할 수 있는 상태라는 것을 대화참여자 모두가 알고 ..