생성형AI/LLM/ChatGPT의 짧은 역사와 이해 그리고 금융 적용 - 2부

 안녕하세요. Data Biz팀 김진식이라고 합니다. 저희 팀은 데이터를 통해 고객 접점 비즈니스 가치를 만들어가는 다양한 업무를 수행하고 있습니다. 개인화나 다양한 AI 기술의 활용, 제휴 데이터 수집/가공, 데이터 기반 캠페인 자동화/타겟팅 등이 대표적인 업무입니다.

 

 이 글은 아래와 같이 이루어져 있습니다.

 

   ㅇ1부

     . 개괄

     . 인공 신경망, 연결주의 소개, 딥러닝이 나오기 전까지

     . 이미지 인식의 고성능 모델 등장, CNN 그리고 AlphaGo

     . Transformer의 등장

     . Transformer 학습하기

     . GPT가 달려온 길

     . ChatGPT 미래는 어떻게 전개될까요?

     . LLM의 역사 마무리

 

   ㅇ2부

     . 개괄

     . 금융 적용 가능 분야 탐색

     . 생성형AI의 어느 단계까지 내재화 대응할까요?

     . 오픈소스 모델을 사용하는 것은 어떨까요?

     . 망분리, 개인정보보호, on-prem/cloud의 복합문제

     . 일단 응용분야를 정했다면 어떻게 해야 할까요?

     . LLM은 어떤 모델들에 주목해야 할까요?

     . 기타

 

본 글의 예상 독자는 다음과 같습니다. 다만 2부를 보시기 전에 LLM에 대한 기본 지식을 1부를 통해 얻고 보시기면 더 이해하기 쉽습니다.

 

   . 대형언어모델(Large Language Model)에 대해 관심이 있거나 응용을 고민하시는 분

   . 최근의 딥러닝 AI 트렌드에 대해 알고 싶은 분

   . 금융에서 대형언어모델이 어떻게 사용될 수 있고, 어떤 방향을 잡아야 할지 고민하시는 분

 

개괄

 금융에서의 AI 적용은 전통적인 신용평가에서부터, 고객 서비스 개선, 서류 처리/OCR, 사기 탐지, 자금세탁 방지, 인증, 챗봇 등 수 없이 시도되어 왔습니다. 그리고 LLM을 시작으로 생성형 AI 분야에서도 다양한 시도가 이루어질 것이라 예상됩니다. 이번에는 생성형 AI 중심으로 금융사라는 특성에 맞추어 어떤 관점에서 대응하면 좋을지 살펴보도록 하겠습니다.

생성형AI의 금융 활용을 나타내는 대표이미지 생성 요청으로 DALL-E가 만든 이미지

 

금융 적용 가능 분야 탐색

 가장 먼저 확인할 내용은, 활용 가능 분야에 대한 순차적 검토입니다. 대고객부터 내부 업무까지 알려진 후보를 나열해보겠습니다. 생각보다 생성형 AI의 적용 가능 분야가 다양할 수 있습니다. 앞서 1부에서 살펴본 것처럼 Prompting만 변형해도 긍부정 문제 같은 수많은 언어 연관된 문제를 분류/인식/처리할 수 있기 때문입니다. 따라서 응용 분야는 지속 확장될 수 있지만, 그래도 초반에 검토해 볼 수 있는 분야는 아래와 같습니다.

각종 자료들의 후보 분야 요약

 

 여기서 고려해야 할 사항은 현재 LLM을 중심으로 한 생성형 AI의 현재 시장에서의 주요 서비스들이 거두고 있는 성과입니다. 즉 시장이 지향하는, 도메인별 성능이 좋은 분야가 맨 먼저 성과를 낼 수 있기 때문입니다. 많은 서비스들이 나와 있는데, ChatGPT 같은 대화 및 검색/질의, 정보 Curation 및 요약, 간단한 요약 정보에 의한 보고서 생성, 마케팅 문구 생성, 이미지 소재 생성, 데이터 분석, 코드 생성 등이 초기에 검토할만한 분야입니다. 해당 분야는 시장 수요도 있고, 각 도메인의 모델이나 Prompting 기술이 우선 성숙될 수 있는 분야입니다. 

 

 물론 성능이 빠르게 올라갈 영역을 미리 알 수 있다면 도움이 되겠지만, 아직 생성형AI기술이 각 분야별로 얼마의 속도로 어느 정도의 성능에 이르게 될지 예측하기가 어렵습니다. 또한 현재는, 앞서 밝혔듯이 아직은 우리가 원하는 업무 100%의 성능 대비해서 생성형 AI들은 30~70% 정도의 성능밖에 내지 못하는 경우가 많습니다. 즉, 완성되기 전 초안 정도 수준인 경우겠죠. 그래서 향후 미래의 예상 성능을 기대하고 선 검토를 시작하는 경우도 많을 겁니다.

 

 따라서 1차적인 내부 필요 분야와 시장 기술 성숙도, 협업 가능한 파트너사 및 내부 역량에 기준하여 검토해나가는 수밖에 없습니다. 다만, 성능 관점에서는 ChatGPT의 모델 기술이 현재는 가장 나은 것이 현실이므로, 해당 API 중심의 최근 성능을 기준으로 확인하는 것이 현재로서는 가장 유효한 전략이라고 판단됩니다. 한글을 포함해도 그렇다는 것은 늘 놀랍습니다.

 

 ChatGPT가 사이트에서 제공하는 서비스뿐만 아니라 API로 제공하는 서비스도  검토가 필요합니다. API 리스트를 보면, 음성에 대한 텍스트 변환, fine-tuning 기능, 이미지 생성 기능, Assistant 관련 등 제공하고 있고, 이런 것들도 같이 고려해야 합니다.

 

 앞서 밝혔듯이 Transformer 류 들은 대화 생성 외에도, 자연어 처리를 통한 문장 연관도, 긍부정, 질문/답변 등 다양한 업무를 Prompting으로 수행할 수 있기 때문에, 후보 분야는 지속 늘어날 수 있습니다. 기타 최근의 DALL-E 3(OpenAI), Bing Creator(MS Bing), Stable Diffusion 등이 이미지 생성 영역도 주목할 필요가 있습니다 다. 이 부분의 인상적인 성능과 시장 호응으로 계속 발전하게 되리라 예측됩니다. 그리고 해당 분야의 성능 척도는 당분간 Stable Diffusion이나 DALL-E가 될 것이며 기업용 이미지 디자인 부분에서도 성능 향상이 기대됩니다. 여러 회사들이 또한 참여하고 있기도 합니다.

 

생성형 AI의 어느 단계까지 내재화 대응할까요?

 해당 생성형 AI의 내부 적용을 염두해 둔다고 하면 어느 정도까지 내부에서 대응하고 어느 부분을 외부에 의존할지 선택의 문제를 만나게 됩니다. 아래 3가지 단계 정도로 나누어 볼 수 있고 각기 장단점이 있지만, 상위 수준으로 갈수록 더 정교하게 LLM을 다듬을 수 있는 가능성이 많아지지만 자원 투자의 정도가 심해지기 때문에 대부분의 기관이 Fine-tuning이나 Prompting 혹은 아예 완전히 아웃소싱을 하리라 예상됩니다. 늘 제일 부족한 것은 전문가이기 때문입니다.

내재화 수준과 각 단계별 설명

 

 원하는 적용 분야의 생성형AI 기대 성능이 이미 시장의 모델을 통해 만족된다고 하면, 아웃소싱을 처리할 정도로만 조직 역량을 올리면 됩니다. 그러나 타 경쟁사대비 특화된 기능을 제공하고 싶다면, 어쩔 수 없이 자사 데이터에 의한 Fine-tuning이나 Prompting 고급 개선 관점에서는 대응이 필요하게 됩니다. 따라서 장기적으로는 내부 데이터에 의한 Fine-tuning까지 염두에 두고 모델을 도입하도록 권고하고 싶습니다. 이 경우는 정제된 내부 데이터 확보라는 주제도 같이 다루어져야 합니다.

 

 ChatGPT도 그렇고, 해당 B2B로 모델을 공급하는 회사들은 향후 여러가지 필요성에 의해서 Fine-tuning 기능을 같이 제공할 것이며 이미 그렇게 계획을 잡고 있습니다. B2B는 모두 Fine-tuning을 통해 최고의 성능을 보여주기를 원하는 기업 고객이 존재하기 때문입니다. 더군다나 공급자 입장에서 해당 유형의 고객은 주로 대형 사업자기 때문에 수익을 올리는 수단도 됩니다. 1편의 LLM 현황에서도 밝혔듯이 특정 분야로 한정하지 않으면, 기대하는 100% 성능이 시장에서 자체로 획득되기 더 오래 걸릴 수 있기 때문에, 분야가 세분화되고 발전할수록 타사 대비 경쟁력 확보 차원에서도 Fine-tuning은 선택이 아닌 필수로 자리 잡을 소지가 높습니다.

 

 Pre-training을 진행할 정도의 내재화는, 국내 금융 기관이 해당 전략을 선택하기는 쉽지 않습니다. 국내외의 대규모 투자에 의한 기술 발전이 너무 급격하기 때문에 major 테크 회사들도 향후 몇 년간 지속 승자독식을 예측하고 있습니다. 즉 매우 소수만 승리하리라고 예측되는 시장이므로 무모하게 투자하기 어렵습니다. 다만, Pre-training 노하우가 확산되고 인프라 비용이 낮아진다면, Fine-tuning보다 더 전략적으로 경량화 및 특수 목적 효율화가 가능한 Pre-training전략을 선택할 수는 있겠습니다. 이 부분은 좀 더 시장 변화를 주시할 필요가 있으나 아직까지는 소위 흔히 이야기하는 가성비를 기대하기 어렵다고 생각합니다.

 

 따라서 대부분의 경우는 믿음직한 생성형AI의 기술 파트너와의 장기 전략하에 기관 내부에서 내재화할 수준을 결정하는 것이 바람직합니다. 해당 파트너십 하에서 도입하는 생성형 AI의 서비스 경쟁력 확보를 위한 Fine-tuning이 가능하도록 환경을 갖추고, 내부 데이터를 축적/준비하는 전략이 기본이 되며, 이에 가감하는 형태가 될 것입니다. 그리고 또 하나 Fine-tuning은 최근 데이터를 계속 보강해 주는 장점까지 가지고 있습니다. 즉 모델에 최근 데이터를 직접 반영하려면 최소한 Fine-tuning전략을 가져가야 한다는 점입니다. 물론 뒤에 살펴볼 테지만 RAG(증강검색생성)라는 대안이 있기는 합니다.

 

오픈소스 모델을 사용하는 것은 어떨까요?

 메타의 LLAMA2가 공개된 이후로 오픈소스 모델에 대한 기대가 커졌습니다. LLAMA는 여전히 한글에 대한 성능도 부족하고, ChatGPT 보다는 낮은 성능을 보이지만 Fine-tuning같은 변형 활용이나, 라이센스 제약이 없는 점, 낮은 성능의 하드웨어에서도 구동 가능한 매력이 있기 때문입니다. 그리고 이후 언급될 테지만, 정보보호나 망분리 이슈에 구애받지 않고 On-prem(자체 IDC 내 설치 사용)으로 사용할 수 있는 장점이 존재합니다.

 

 설치와 사용도 방법이 잘 공개되어 있으므로, 여러 가지 ChatGPT사용이 어려운 금융기관으로써는 이 오픈소스 모델이 반가울 수밖에 없습니다. 특별한 외부 도움 없이도, 과거 보유한 장비에서 올려 다양한 실험을 해볼 수 있는 점도 매력입니다. 내부 구성원의 역량 향상용으로 쓸 수 있습니다. 따라서 일정 부분 오픈소스 모델을 반입하여 구동이나 변형 사용 등 내부 인력 수준에 따른 여러 가지 실험을 하도록 권고하고 싶습니다. 또한 오픈소스 모델은 허깅페이스(Hugging Face) 등을 중심으로 지속 공유 발전하고 있고, 다수의 참여 특성상 경량화 모델 관점에서는 더욱 큰 가능성을 가지고 있습니다. Pre-training관점의 내재화를 준비하는 금융기관이 있다면, 아마도 이런 오픈소스 기반의 접근이 유일하게 가능한 초기 선택일 수 있습니다.

 

 그러나 금융기관 입장에서는 오픈소스 모델을 범용 혹은 상용으로 대고객으로 운영하는 부분에 있어서는, 해당 모델의 미래 성능과 규제 대응에 대한 장기 불확실성에 대한 해법을 고민해야 합니다.

 

 금융기관의 AI모델은 윤리 문제나 한글 성능 문제 등 여러 가지 다양한 규제나 최적화 이슈에 직면할 수 있습니다. 이때 해당 오픈소스 모델에 대한 적절한 조치를 취할 수 있을 만큼의 전문 역량이 필요한데, 그것이 어느 정도 필요한지 예측하기 어려운 부분이 있습니다.

 

 이를 위해 그러한 대응이 가능한 해당 오픈소스 모델 전문의 기술 파트너사와 협업하는 방법도 대안이 될 수 있습니다. 물론, 해당 파트너사는 최소한의 Fine-tuning 이나 모델 운영 및 상용화에 대한 역량이나 로드맵을 갖추고 있어야 하겠죠.

 

 따라서 오픈소스 모델은 규제나 큰 투자 이슈 없이 내부 역량 확보나 PoC용으로 사용하기 적당하며 권고 할 만합니다. 운영 이슈가 크지 않은 특수 분야, 특히 직원용으로 한정해서는 실제 사용도 가능합니다. 하지만 본격적으로 사용하기 위해서는, 그에 상응하는 역량을 확보하고 장기 운영 가능한 방안이 있는지 판단이 필요합니다. 그 비교 대상은 국내에서도 막 태동하고 있는 다양한 기업용 LLM 파트너사나 클라우드 상에서의 솔루션이 될 수 있습니다.

 

망분리/개인정보보호, Cloud or On-prem의 복합 문제

 국내 금융사들의 LLM도입에 가장 첫번째 아이러니는 이 붐을 일으킨 주력 서비스인 OpenAI의 ChatGPT를 쓰기가 어렵다는 사실입니다. 기본적으로 망분리 때문에 ChatGPT를 내부 시스템에 연결해서 제대로 사용하기 어렵습니다. 이 상황을 차근차근 정리해 보겠습니다. 금융사별로 규제 수준(은행, 카드, 핀테크 등)이나 리스크 감내 여부에 대한 정책이 다르겠으나 아래가 기본적인 검토 순서라고 생각됩니다. 

 

A. 기관마다 다르지만 인터넷망에서의 ChatGPT 사이트 사용자체도 차단하는 경우가 있습니다. 내부 기밀 정보 유출에 대한 리스크 때문입니다. 이미 다양한 기사를 통해 삼성전자의 ChatGPT사용 금지 정책 등이 소개되었습니다.

 

B. 특정 기관들은 직원 책임하에 ChatGPT를 사이트에 접속해서 사용하는 부분을 허가하고 있습니다. 다만, 이것은 회사 기밀이나 개인정보를 업로드하지 않는 범위내에서 개인적인 사용만 가능할 것입니다. 그러한 리스크 하에서 사용하고 있는 것입니다.

 

C. 다만, LLM을 제대로 사용하기 위해서는 내부 정보와 결합된(내부 시스템과 연결된) 사용이 필수입니다. 잘 알려진 RAG(증강검색생성) 등 내부 정보를 prompting에 추가하여 사용해야 합니다. 그런데 이렇게 하려면 금융사의 시스템을 ChatGPT API와 연결해야 하는데 곧바로 망분리 위배 이슈에 대한 확인이 필요합니다.

 

D. ChatGPT는 당장에 망분리 규제를 충족하는 환경을 제공할 수 없는 해외 업체입니다. MS Azure의 OpenAI 클라우드 서비스나 AWS Bedrock 같은 API가 제공되기는 하지만, 클라우드 사용에 대한 규제가 없는 것도 아니고 아직은 레퍼런스가 부족해서, 실제 각 계위의 금융사가 제약 없이 사용가능한지는 별도 세부 판단이 필요합니다. 그러나 해외 유명 모델의 경우는 클라우드를 통한 사용이 현재는 유일한 해법이기 때문에, 높은 성능을 원한다면 우선 검토할 수밖에 없다고 생각합니다.

 

E. 이제 남은 것은 On-prem 구축입니다. 기관 내 IDC에 구축해서 사용하면 망분리나 개인정보이슈가 사라집니다. 그러나 일정 규모 이상의 GPU 장비가 필요하고 만약에 Fine-tuning이 필요하다면 그 학습에 상응하는 장비 구성이나 전문가도 필요합니다. 따라서 이 경우에도 클라우드 인프라 사용을 염두할 필요는 여전히 있습니다. 주의할 점은 각 CSP(클라우드 사업자) 별로 제공 가능한 GPU장비 제한이 다양하게 존재한다는 사실입니다 (region별로도 다릅니다). 더군다나 잘 알려진 대로 충분한 GPU 서버를 자체 구축하는 것은 시장의 GPU 공급 부족에 의해 쉽지 않은 상황이라는 점도 참고해야 합니다.

 

F. 고객 개인정보 교환이 우려되는 상황에서는, 더 까다롭게 개인정보 위탁이 가능한 사업자와의 연계 하에서만 사용이 가능합니다. 즉, 대고객 서비스와의 연계 사용은 최소 On-prem환경 혹은 안정성이 확보된 클라우드 서비스 형태로만 사용이 가능하게 됩니다. 혹은 전용회선으로 연결되며 개인정보를 위탁할 수 있는 국내 회사만 가능하겠죠. 물론 대고객 서비스와 연계되면서도 개인정보를 필터링하여, 개인정보가 없다고 주장할 수 있으나, 이는 쉽지 않은 문제입니다. 고객은 어떤 형태로든 실수로 개인정보를 입력할 수 있고, 관련해서 정보보호 부서에는 이에 대한 위험 부담을 회피하고 싶을 수밖에 없습니다.

 

 이러한 환경 하에서의 전략은 아래의 순차적인 접근이 합리적이라고 생각합니다.

 

A. PoC는 공개된 데이터에 기반하여 ChatGPT API로 진행하면 가장 빨리 그 성능을 확인할 수 있습니다. 내부 시스템 연결없이 가장 빠르게 경험을 축적할 수 있습니다. 오히려 은행 서비스와 완전히 독립된 외부 시험용 클라우드를 써서 이를 달성하는 방법이 있습니다. PoC는 속도가 중요하기 때문입니다. 인터넷망 PoC용 클라우드라면, 설치가 쉬운 것도 장점입니다.

 

B. 두 번째는 경량형 오픈소스 모델 등으로 내부 설치 후 시험하는 방법입니. 주로 직원들을 위한 활용이 중심이 될 것입니다. 아직 한글 성능 등 이슈로 대고객 서비스 검토에는 시간이 소요됩니다.

 

C. 세 번째는 major 클라우드 회사를 통한 기업용 LLM API사용입니다. 망분리와 개인정보이슈를 해결하면서 Fine-tuning을 포함한 충분한 기술 로드맵하에서 사업을 진행할 수 있습니다. 그렇습니다. 해당 유명 LLM의 다음 모델이 곧 그 클라우드 API에 적용되리라는 믿음이 있습니다. 또한 API사용의 장점은 하드웨어 추가 투자 부담이 적다는 점이 있습니다. Azure OpenAI 서비스나, AWS의 Bedrock Anthropic 등 클라우드 사업자들은 major 모델을 B2B로 공급하는 비즈니스 기회를 잡기 위해 최선을 다할 것입니다. 이 분야는 지속적인 State of The Art 수준의 모델 개선 로드맵이나 한글 성능, 다양한 부가기능 등을 적시에 공급받을 수 있는 대부분의 금융사에게 장기적으로 매력적인 방법입니다. 현재로서는 빠른 기술 발전하에서의 내재화에 대한 고민 없이 가장 옵션이 많으며 결국에는 안정된 길이라고 생각합니다. 회사가 내재화나 협력할 수 있는 파트너사의 규모에 따라 조금 다른 전략이 채택될 수는 있습니다. 즉 아래 D의 형태가 될 수 있습니다.

 

D. 네번째는 On-prem형의 기업용 LLM입니다. 이 부분은 일정 수준 이상의 GPU장비 투자와 모델 구매 및 LLM 전문 기술 파트너십이 필수입니다. 사실은 이 정도 수준에 이르렀다면 적지 않은 투자(우선 장비 인프라 확보가 고가이다)를 각오하고 사업을 진행할 수밖에 없을 것입니다. 따라서 아마도 파트너사와 단기간 기술 도입 관점에서 진행하면서, 내재화 역량을 확대하는 식의 전략이 이 단계를 추진하는 금융사의 모습이라고 예상됩니다.

 

일단 응용분야를 정했다면 어떻게 해야 할까요?

 가장 처음에는 Prompting을 통해 LLM이 가진 성능을 최대한 끌어올리려는 노력이 제일 쉽고 빠른 방법입니다. 이 분야에서는 기존 시행착오를 거친 Prompting 방법을 확보하여, 다시 한번 해당 분야에 맞게 Prompting을 개선하는 시도가 필요합니다.

 

 두 번째는 Prompting시에 RAG를 사용하는 방법입니다. 금융분야는 금전과 관련된 문제를 다루고, 따라서 가장 민감한 민원이나 소송에 직면할 수 있는 사업이기 때문에 LLM의 불확실성에 대한 회피 열망이 타 사업대비 매우 큽니다. 이 경우 현재 가장 손쉬운 회피 방법이 이 RAG입니다. 혹자는 RAG도 해당 검색 시 적당한 데이터 확보에 실패하면, 오류가 많아지기 때문에 적당하지 않다고 주장하고, 일부는 사실입니다. 그러나 여전히 RAG 방법론은 답변에 모호성을 줄이고 기관이 보유한 최근 데이터를 실시간으로 반영할 수 있는 매력적인 방법입니다. Fine-tuning으로 최근 데이터를 반영하는 것은 어떤 것은 무리가 있을 수 있습니다. 최소한 RAG를 보조의 방법으로 운영하게 되리라 예상합니다.

 

 그런데 이 RAG를 사용할 수 있기 위해서는 어느 정도 내부 데이터가 정비되어 있을 필요가 있습니다. 따라서 특정 응용분야의 성능을 높이기 위해서는 아래 단계의 점점 확장된 방법에 대한 시도가 예상됩니다.

 

  A. Prompting개선

  B. RAG 통한 최근 데이터 반영 및 Hallucination 문제 방지

  C. RAG를 위한 내부 데이터 정비 및 정형화

  D. 내부 데이터를 통한 Fine-tuning이나 해당 도메인 특화된 LLM 변경

  E. 해당 분야 특화된 Pre-training방법 접근과 유관 대량 데이터 확보 및 추진

 

 아마도 LLM을 금융기관에서 사용한다면 다양한 이슈로 많은 부서에서 공통의 LLM을 사용하는 형태로 진행될 수 있을 겁니다. 만약에 다양한 LLM 사용이 가능하다면 위의 D단계까지 검토가 되겠지만, 나머지는 C의 단계를 검토해서 개선하는 사례가 대부분의 경우라고 예상됩니다.

 

LLM은 어떤 모델들에 주목해야 할까요?

 개인적으로는 클라우드에서 공급하는 모델들에 우선 주목해야 한다고 생각합니다. Azure나 AWS는 OpenAI, Anthropic의 상용모델과 LLAMA2 등 오픈소스 모델을 우선 공급하려고 하기 때문에 그 모델들을 지속 눈여겨볼 필요가 있습니다. 이 모델들은 향후 개선 가능성이 큰 부분도 강점입니다.

 

 언급한 대로 B2B부분 에서는 각 유명 모델 회사(OpenAI, Anthropic)의 B2B 서비스의 진화를 눈여겨봐야 합니다. 특히나 금융사 입장에서는 해당 회사가 한국 내 서비스를 제공한다거나, 클라우드를 통한 major CSP 경유 서비스 제공의 변화를 주시해야 합니다. 지속 각 회사와 CSP의 뉴스를 주목할 필요가 있습니다. 그들은 늘 가장 높은 성능의 모델을 자사를 통해 서비스하도록 H/W와 같이, 혹은 API형태로 제공할 것입니다.

 

 오픈소스 모델의 경우는 LLAMA2 등, 해당 모델을 자체적으로 Fine-tuning하여 공급하는 파트너사에 주목할 필요가 있습니다. 한글을 어느 정도 높은 성능으로 끌어올릴 수 있다면, 금융사의 특정 분야별 Fine-tuning도 가능하다는 의미가 되므로 해당 관점에서 지속 모니터링이 필요합니다. 다행스럽게도 오픈소스 모델들은 이러한 설치나 실행, 시험에 다양한 대안이 존재합니다. 예를 들어 GPU가 없어도 경량형 모델의 경우는 llama.cpp 같은 애플 실리콘(M1, M2, M3등 가성비 좋은 환경)에서의 일정 수준 이상 구동도 가능합니다. 경량형 모델의 경우는 MS의 orca2(LLAMA 2 기반)도 주목받고 있습니다. 좁은 분야의 다양한 성능 관점에서는 이러한 오픈소스 모델이 더 유용해질 수 있기 때문입니다. 현행의 대개의 상용모델은 B2C사업을 주로 하기 때문에, 범용성을 추구하는 경향이 강합니다.

 

기타

 여러가지 지금까지의 상황에 대한 정보에도 불구하고, 시장 기술의 발전이 너무 빠르고 다양합니다. 각 모델별로 진화형태나 개선이 알 수 없는 방향으로 흐를 수 있기 때문에, 최소한의 시장 변화에 대한 확인이나 대응은 필요합니다. 자칫하면 잘못된 선택으로 낮은 경쟁력의 LLM을 선택해 불행히도 해당 모델에 lock-in이 되면, 경쟁에서 뒤처지는 상황을 맞게 될 수 있습니다.

 

 그래서 클라우드 기반의 major CSP의 B2B LLM이 이러한 시장 변화를 알려주는 가장 중요한 시금석이 된다고 생각합니다. 생성형 AI의 상위 로드맵을 점령한 회사들은 큰 수익을 올릴 수 있는 B2B 시장을 염두에 두게 되고, 자연스럽게 클라우드 회사와 협업하게 되기 때문입니다. MS는 이미 OpenAI와 강하게 협력하고 있으며, AWS/Google은 Anthropic에 대한 투자를 단행하고 있습니다. 그러므로 클라우드 회사의 B2B LLM은 늘 모니터링이 필요합니다.

 

 또한 GPTs 흐름도 눈여겨볼 필요가 있습니다. GPTs의 본질은 각 과업별 특화 LLM입니다. 연관된 기술도 지속 개선되어 금융사의 각 업무 특화된 LLM이 만들어지는 기술적인 기반이 될 것입니다.

 

 국내 회사들도 한글 데이터가 강화된 한글 전용 모델을 앞세워 B2B 시장 개척을 하기위한 전초전을 진행하고 있습니다. KT,네이버,  LG, SKT 등 얼마나 차별화된 한글 B2B 솔루션을 제공할지 내년 초를 기점으로 경쟁이 본격화리라 예상됩니다.

 

 앞으로 LLM의 성능개선, 각 분야별 특화 LLM, 하드웨어 비용의 하락이나 LLM tuning의 용이해지는 부분 등은 예상할 수 있는 주된 흐름입니다. 다양한 규제 상황이나 불확실성은 있지만, 금융에서도 이 생성형 AI의 적용은 피해 갈 수 없는 경쟁력 차별화 방안입니다. 가장 유망한 분야부터 한 분야씩 성공사례를 만들어 가야 하는 부분은 큰 이견이 없으리라 생각합니다. 어떤 방법으로 어느 분야에서 고객 UX를 혁신시켜 가면서, 지속된 아이디어를 실험하고 적용하며, 어떻게 규제를 다뤄나가면서 진행할지의 그 전략이 중요한 때입니다.

 

 

케이뱅크와 함께 하고 싶다면 🚀