안녕하세요!케이뱅크 데이터AI서비스팀에서 AI/ML 업무를 맡고 있는 최고운입니다. 오늘은 제가 최근 관심을 갖고 활용하고 있는 LLM 프레임워크인 DSPy에 대해 소개해 드리고자 합니다. 목차들어가며LangChain vs. DSPyDSPy 실전 사용법마치며 들어가며 LLM 프레임워크란?대형 언어모델(LLM)을 활용한 애플리케이션을 더 쉽고, 체계적으로 설계·구현·운영할 수 있도록 지원하는 소프트웨어 구조와 도구들의 집합을 의미합니다. ChatGPT, Claude, Gemini 등 다양한 LLM을 잘 활용하기 위해 좋은 프롬프트를 작성하는 것이 필수라는 것은 이제 상식처럼 여겨지고 있습니다.저 역시 LLM Application 개발을 하며 프롬프트 엔지니어링에 많은 시간을 투자해야 했는데요, 프롬프트를..

안녕하세요.케이뱅크 데이터인텔리전스팀에서 Data Scientist로 일하고 있는 조용걸입니다. 케이뱅크에는 사내 다양한 동아리들이 있는데요. 저는 Edit이라는 IT 동아리에서 다양한 부서 사람들과 정보도 공유하고 정규 업무와는 별개로맘에 맞는 사람들끼리 업무 외적으로 사이드 프로젝트 또는 세미나를 진행하고 있습니다. 작년에(2024년 초...) Edit을 통해 호기심 차원에서 AI를 활용해서 여행 컨시어지를 만들어 보면 재밌겠다는 의뢰가 들어왔는데요.동아리원 분들과 함께 사이드 프로젝트로 여행 컨시어지를 개발한 경험을 공유하고자 합니다. (개발에 도움주신 고객인증팀 진보성님, 뱅킹서비스개발팀 김채원, 홍서연님 감사합니다🙇‍♂️)  여행 컨시어지 여행 컨시어지란? 컨시어지(Concierge)는 프랑스..

들어가며 안녕하세요. 케이뱅크 데이터서비스팀에서 AI 업무를 하고 있는 김하영입니다.  이번 포스팅에서는 LLM(Large Language Model)이라 불리는 거대 언어 모델을 최소한의 비용과 인프라로 내 입맛에 맞게 조정하는 방법 중 하나인 PEFT(Parameter Efficient Fine-tuning)에 대해 다루어보려 합니다. 본 포스팅은 총 2부로 구성되어 있습니다. 1부에서는 LLM을 조정하는 여러가지 방법들을 소개합니다. 그리고 2부에서는 PEFT 방법 중에서도 가장 핵심이 되는 QLoRA에 대해 실제코드까지 자세히 살펴보겠습니다.    'Large' 언어 모델, 만능인가? 최근 메타에서 오픈소스 거대 언어 모델인 Llama 3를 공개했습니다. 8B 및 70B 라인업이며, 오는 7월에는..