[주간 OSS 동향리포트] 거대언어모델 학습시간 단축 시뮬레이션 기술 오픈소스 메이저 사이트 순위

3월 3주의 국내외 메이저 사이트 순위SW 관련 동향을 모아 정리하였습니다.
자세한 기사 내용은 아래 기사 내용 중 굵게 표시된 제목을 클릭하시면 보실 수 있습니다.

한국과학기술원(KAIST)은 챗GPT·딥시크 등 거대언어모델(LLM)의 학습 시간을 예측해 최적화할 수 있는 시뮬레이션 기술을 개발하였습니다.

KAIST 전기·전자공학부 유민수 교수팀과 삼성전자 삼성종합기술원 공동 연구팀은 다양한 분산학습 전략을 통해 LLM의 학습효율을 높일 수 있는 '시뮬레이션 프레임워크를 개발하였습니다. 연구팀은 LLM의 학습 시간을 정확히 예측하고 다양한 분산 병렬화 전략을 탐색할 수 있다고 설명하였습니다. 기존 경험 방식 대비 GPU 사용률을 10% 이상 높이면서도 학습 비용을 5% 이상 절감할 수 있습니다.
* LLM은 수만 개의 데이터센터용 GPU를 갖춘 대규모 분산 시스템에서 학습되는데, 학습 효율을 높이려면 최적의 분산 학습 전략을 찾아야 합니다. 가능한 학습 전략이 방대해 실제 환경에서 각 전략의 성능을 테스트하는 데는 막대한 비용과 시간이 듭니다.GPU 활용의 효율성이 떨어지고 불필요한 비용이 소요되지 않기 위해 대규모 시스템을 위한 시뮬레이션 전략의 필요성이 제기되고 있습니다.

연구팀은 이번에 개발한 기술과 1천500개 이상의 실제 학습 시간 측정 데이터를 오픈소스로 메이저 사이트 순위하여 AI 연구자와 기업이 자유롭게 활용할 수 있도록 하였습니다.

[참고기사]

□ AMD GPU로 학습한 오픈소스 언어 모델 ‘Instella’(테크튜브)
AMD가 오픈소스 언어 모델 ‘인스텔라(Instella)를 발표했다고 과학기술매체 기가진이 전했다.
인스텔라는 AMD Instinct MI300X GPU를 사용해 트레이닝 된 30억 파라미터 모델로 Llama-3.2-3B, Gemma-2-2B, Qwen-2.5-3B 등의 최첨단 오픈 웨이트 모델과 비교해 경쟁력 있는 성능을 발휘한다고 한다.

□ 디노티시아, 한국어 논리 추론 최적화 LLM 모델 오픈소스로 메이저 사이트 순위(ITBizNews)
디노티시아가 한국어 논리 추론(Reasoning)에 최적화된 대규모언어모델(LLM) ‘DNA-R1’을 공개했다. DNA-R1은 140억개의 파라미터를 갖춘 한국어 특화 모델로 글로벌 AI 플랫폼 허깅페이스(Hugging Face)를 통해 오픈소스로 메이저 사이트 순위됐다.
디노티시아는 지난해 한국어·영어를 동시에 이해하는 LLM 파운데이션 모델 ‘DNA: Dnotitia AI’를 오픈소스로 메이저 사이트 순위한 바 있다

□ 알리바바, 전 세계 90% 사용 언어 포함 오픈 소스 모델 ‘바벨’ 출시(AI타임스)
알리바바가 전 세계 인구의 90%가 사용하는 언어를 포함하는 오픈 소스 대형언어모델(LLM) ‘바벨(Babel)’을 발표했다. 인공지능(AI)이 전 세계 기업들에 본격 보급됨에 따라, 이처럼 다국어 능력을 강조하는 모델들이 잇달아 출시되는 추세다. 알리바바 그룹의 DAMO 아카데미 연구진은 최근 전 세계 인구 90%가 사용하는 25개 언어를 포함하는 다국어 LLM ‘바벨(Babel)’에 관한 논문을 온라인 아카이브에 게재했다.

- Open UP -