2024년 8월 1일, 서울 – IBM은 최근 메타에서 발표한 ‘라마3.1’과 미스트랄 AI에서 발표한 ‘미스트랄 라지(Mistral Large) 2’ 등 최신 오픈소스 거대언어모델(LLM)을 왓슨x.ai에서 제공한다고 발표했다. 이로써 왓슨x 사용 기업들은 IBM 그래니트(Granite), 라마 3.1, 미스트랄 라지 2 등 최고 성능의 오픈소스 AI 모델을 자사의 용도와 필요에 따라 자유롭게 선택하고 맞춤화해 사용할 수 있다. 

이번에 발표된 라마 3.1은 각각 80억 개(8B), 700억 개(70B), 4050억 개(405B)의 매개변수를 가진 사전 학습된 오픈소스 생성형 AI 모델들로 구성됐다. 특히 현재 사용 가능한 가장 크고 강력한 오픈소스 언어 모델로 평가받고 있는 라마 3.1-405B 모델은 한번에 처리할 수 있는 문맥의 길이가 토큰 8,192개에서 128,000개로 16배 늘어났으며[1], 이는 약 85,000 영어 단어에 해당한다. 오픈AI의 GPT-4o와 같은 시장에서 가장 우수한 독점적 모델들과 독해력, 코드생성, 학부 수준의 지식 분야의 경쟁에서도 뒤지지 않는 성능을 보여주는 것으로 알려져 있다. 강력한 성능을 제공하는 405B 모델은 추론 및 텍스트 생성과 같은 일반적인 AI 활용 사례 외에도 AI의 사전 학습이나 미세 조정을 위한 합성 데이터 생성 및 더 작은 모델로 만드는 지식 증류와 같은 작업에도 사용할 수 있다.

1,230억 개의 매개변수를 가진 미스트랄 라지 2는 코딩과 수학 부문에서 뛰어난 성능을 발휘, 80가지가 넘는 코딩 언어를 지원하며, 오픈AI의 GPT-4o, 앤트로픽(Anthropic)의 클로드 3 오푸스, 메타 라마 3.1 405B와 같은 최첨단 모델과 동등한 수준의 성능을 제공한다. 그리고, 향상된 추론 능력을 통해 환각이나 그럴듯하게 들리는 거짓 답변들을 최소화했다.

기업에서 AI 모델을 선택할 때는 고려해야 하는 다양한 요소가 존재하기 때문에 성능이 좋은 범용 모델을 선택하는 것이 정답이 아닐 수 있다. 예를 들어, 일반적으로 매개변수의 크기가 더 크고 유능한 모델은 사용하는 데 더 많은 비용이 들고, 모델 정확도가 증가하면 속도가 느려질 수 있다. 이에 비해 크기는 작지만 특정 환경에 미세 조정된 모델의 경우, 그 환경 내에서는 크기가 큰 모델 대비 속도가 더 빠르고 비용이 획기적으로 적게 들면서도 뛰어난 성능을 낼 수 있다. 따라서, 기업의 용도에 맞는 이상적인 모델을 선택하는 것이 필요하다. 

라마 3.1이나 미스트랄 라지 2, IBM 그래니트와 같은 광범위한 최신 오픈 소스 AI 모델을 제공하는 IBM 왓슨x는 고객이 용도와 목적, 가격과 성능의 최적의 균형을 가진 가장 적합한 AI 모델을 선택해 각 기업에 가장 잘 맞는 방식으로 구현해 보다 쉽게 사용할 수 있도록 지원한다.

IBM 왓슨x는 사내 서버, 퍼블릭, 프라이빗, 하이브리드 클라우드 등 기업이 선호하는 인프라 환경에서 모델을 활용할 수 있는 유연성을 제공하는 한편, AI를 활용한 비즈니스 애플리케이션을 쉽게 개발하고, 모든 데이터 소스를 관리하고, 용도에 맞는 미세 조정, 기업에서 사용하는 애플리케이션과의 통합을 위한 직관적인 업무 프로세스를 구축하는 것이 하나의 플랫폼에서 가능하도록 지원한다.

한편, 미스트랄 라지 2 모델은 기업에서 상업적으로 사용하려면 미스트랄 AI에 ‘미스트랄 커머셜 라이선스’을 요청해야 하지만, IBM 왓슨x에서는 상업적 목적으로도 자유롭게 사용할 수 있다.