Divided by Zero에 오신 걸 환영합니다. IT테크, 스타트업 그리고 자본시장에 대한 2차적 사고를 공유합니다.
지난주 초까지만 해도 오픈 모델 진영은 멈춰 선 것처럼 보였습니다. 증류 단속이 세지고 미국 연구소들이 최신 모델을 붙잡아두면서, 중국 오픈 모델의 속도가 꺾였다는 얘기를 했었죠.
그런데 잠깐사이에 분위기가 확 바뀌었습니다. 중국 밖에서 오픈소스 모델 세 개가 한꺼번에 나왔거든요. 독일 알레프 알파의 콜리브리, 미국 리플렉션의 빔, 프랑스 미스트랄의 라지 4입니다.
| 모델 | 회사 | 전체 파라미터 | 활성 파라미터 | 라이선스 |
| 콜리브리 | 알레프 알파 (독일) | 781억 | 약 35억 | 아파치 2.0 |
| 빔 | 리플렉션 (미국) | 5,010억 | 230억 | 아파치 2.0 (예정) |
| 미스트랄 라지 4 | 미스트랄 (프랑스) | 1조 | 490억 | 미공개 |
셋 다 전문가 혼합(MoE) 구조입니다. 전체 파라미터 중 질문마다 일부만 꺼내 쓰는 방식이라 덩치가 커도 실제로 돌리는 비용은 활성 파라미터 크기를 따라갑니다.
의견을 남겨주세요