현재 전 세계 수십 개의 기업이 ChatGPT 언어 모델의 성공을 재현하기 위해 노력하고 있습니다. 하지만 스탠포드 대학교의 개발자들은 자신들만의 방식으로 이를 성공시켰습니다.
이들은 ChatGPT처럼 작동하지만 오픈 소스 언어 모델을 기반으로 하는 알파카 7B를 만들었습니다. 그리고 수백만 달러의 가치가 있는 ChatGPT를 훈련시키는 데 600달러 밖에 들지 않았습니다.
이는 특정 방식으로 학습된 Meta LLaMA 7B 모델을 기반으로 합니다. 이 모델은 LLaMA 시리즈 중 가장 작은 모델이라는 점에 유의하는 것이 중요합니다. 기본 버전에서는 대부분의 작업에서 ChatGPT보다 뒤처졌지만 필요한 훈련을 거친 후에는 이를 능가하기도 했습니다.
이메일, 소셜 미디어, 성능 도구와 관련된 테스트에서 알파카는 90점, GPT는 89점을 획득했습니다.
"모델 크기가 작고 명령어를 실행하기 위한 데이터 양이 많지 않다는 점을 고려하면 놀라운 결과입니다. 이러한 정적 평가 외에도 대화형으로 알파카를 테스트한 결과 다양한 입력에서 GPT-3.5와 유사하게 작동하는 경우가 많았습니다. 저희의 평가가 범위와 다양성에 제한이 있을 수 있음을 인정합니다."라고 개발자들은 보고했습니다.
하지만 이러한 신경망은 일반 PC나 라즈베리 파이와 같은 단일 보드 시스템에서도 실행할 수 있다는 점에 주목할 필요가 있습니다.
2023-03-21 07:00:44
작가: Vitalii Babkin
소스 URL