들어가며 안녕하세요. 케이뱅크 데이터서비스팀에서 AI 업무를 하고 있는 김하영입니다.  이번 포스팅에서는 PEFT 방법 중 가장 핵심이 되는 QLoRA에 대해 실제코드를 살펴보고 학습 결과를 확인해 보겠습니다.   1부 되짚어 보기 지난 포스팅에서는 거대 언어 모델(LLM)을 조정하는 세 가지 방법에 대해 살펴보았습니다. In-context Learning은 프롬프트 입력 시 연관된 예시를 함께 제공하여 모델의 가중치를 업데이트하지 않고 프롬프트 엔지니어링만으로 문제를 해결하는 방법입니다. 사용자가 제공하는 예시의 수에 따라 Zero-shot 또는 Few-shot Learning 등으로 구분됩니다. 전체 파인튜닝(Full Fine-tuning)은 사전 학습된 모델(Pre-trained Model, PLM..

들어가며 안녕하세요. 케이뱅크 데이터서비스팀에서 AI 업무를 하고 있는 김하영입니다.  이번 포스팅에서는 LLM(Large Language Model)이라 불리는 거대 언어 모델을 최소한의 비용과 인프라로 내 입맛에 맞게 조정하는 방법 중 하나인 PEFT(Parameter Efficient Fine-tuning)에 대해 다루어보려 합니다. 본 포스팅은 총 2부로 구성되어 있습니다. 1부에서는 LLM을 조정하는 여러가지 방법들을 소개합니다. 그리고 2부에서는 PEFT 방법 중에서도 가장 핵심이 되는 QLoRA에 대해 실제코드까지 자세히 살펴보겠습니다.    'Large' 언어 모델, 만능인가? 최근 메타에서 오픈소스 거대 언어 모델인 Llama 3를 공개했습니다. 8B 및 70B 라인업이며, 오는 7월에는..

안녕하세요 케이뱅크 데이터서비스팀에서 AI/ML 업무를 하고 있는 임태훈입니다. 오늘은 지식을 저장하고 소비하는 방법론 대해서 얘기를 해보고자 합니다. 지식을 저장하고 소비하는 방법론에 이야기하면서 잘 정리된 메모는 나만을 위한 두 번째 뇌이며, 또 하나의 개인적인 AI라는 이야기를 해보고자 합니다. 현대사회에서는 트위터, 유튜브, 커뮤니티 등의 다양한 플랫폼등을 통해서 정말 많은 정보들이 쏟아져 나오고 있습니다. 제가 업무를 보고 있는 곳에서는 최근 LLM, 생성형 AI 분야에서 새로운 정보들이 엄청나게 많이 나오고 있습니다. 혹시 여러분들은 이러한 정보들을 어떻게 관리하고 계신가요? 정리가 되지 않은 정보들은 우리의 뇌 한구석이나 정보매체의 한 구석에서 쌓여만 가다가 그 의미가 퇴색되게 됩니다. 단순..

안녕하세요. 케이뱅크 DataBiz팀에서 데이터 사이언티스트로 일하고 있는 조용걸입니다. 이 글에서는 ChatGPT와 Streamlit을 활용해 행내에서 진행했었던 PoC에 대해서 소개해 드리고자 합니다. ChatGPT 올 해에는 ChatGPT효과(?)로 관련 종사자뿐만 아니라 일반인들도 LLM, Foundation Model, ChatGPT의 문제점, 활용 사례 등을 뉴스나 다른 매체를 통해 심심치 않게 해당 내용을 접할 수 있었습니다. 그리고 업권과 분야를 가리지 않고 ChatGPT를 접목할 수 있는 방법과 사례에 대한 내용들이 테크 세미나에 단골 주제로 화두가 되었던 해였습니다. 이러한 분위기 덕택에 자연스레 행 내에서도 ChatGPT를 활용해 업무 생산성 또는 고객 경험을 향상할 수 있는 방안에 ..

들어가며안녕하세요! 케이뱅크 데이터서비스팀에서 AI 모델 개발을 하고 있는 김하영입니다.이번 포스팅에서는 신분증 OCR PoC를 진행하면서 겪었던 데이터 수집의 어려움을 공유하고, 이를 극복하기 위해 어떤 방법들을 적용했는지 간단하게 소개하고자 합니다.데이터 수집의 문제점우수한 성능의 신분증 OCR 모델을 개발하려면 대량의 신분증 데이터셋이 필수적입니다. 그러나 데이터를 수집하기에는 현실적으로 다양한 어려움이 있습니다. 개인 정보 포함여러분들도 아시다시피, 신분증에는 많은 개인 정보가 포함되어 있습니다. 먼저, 주민등록증에는 얼굴 사진, 이름, 주민등록번호, 주소 등 민감 정보가 존재합니다. 운전면허증에는 더불어 운전면허번호와 6자리 보안코드 등이 추가로 존재하지요. 이로 인해 대량의 원본 데이터를 획득..

이런 앱푸시 많이 받고 계시죠? (광고) 표시를 보자마자 넘겨버리실 수도 있겠지만, 앱푸시 하나를 고객님께 보내기 전에 저희도 나름대로 심사숙고하고 많은 과정을 거쳐서 발송을 하고 있습니다. 오늘은 그 프로세스를 간단하게나마 설명을 드리고자 합니다. 안녕하세요. 저는 케이뱅크 데이터서비스팀에서 CRM 시스템의 운영을 담당하고 있는 윤지훈입니다. 고객관계관리(Customer Relationship Management), 많이 들어봤음직한 용어이고 지금은 흔한 방법론일 수도 있습니다. 하지만 케이뱅크는 인터넷전문은행으로서 길에서 흔히 볼 수 있는 영업점이 없기 때문에 CRM 시스템이 고객님들을 만나는 주요한 창구로써 더욱 중요하게 활용되고 있습니다. 얼굴을 마주할 수 없어 소통의 방법이 제한되기 때문에 앱푸..