スタンフォード大学が600ドル以下でChatGPTのアナログを作成しました

現在、世界中の何十もの企業がChatGPT言語モデルの成功を再現しようとしています。しかし、スタンフォード大学の開発者たちは、独自の方法でそれを実現することができました。

彼らが作ったAlpaca 7Bは、ChatGPTと同じように機能しますが、オープンソースの言語モデルをベースにしています。しかも、ChatGPTが数百万ドルの価値があるのに対して、訓練にかかった費用はたったの600ドルです。

これは、ある方法で訓練されたMeta LLaMA 7Bモデルに基づいています。重要なのは、これがLLaMAシリーズの中で最も小さなモデルであることです。基本バージョンでは、ほとんどのタスクでChatGPTに遅れをとっていましたが、必要なトレーニングを施すと、ChatGPTを上回るようになりました。

メール、ソーシャルメディア、パフォーマンスツールを含むタスクのテストでは、Alpacaが90勝、GPTが89勝しました。

"モデルサイズが小さく、命令を実行するためのデータ量も控えめであることから、この結果には驚かされました。今回の静的評価に加えて、Alpacaをインタラクティブにテストしたところ、さまざまな入力に対してGPT-3.5と同様の挙動を示すことが多いことがわかりました。開発者は、「私たちの評価は、範囲や種類が限られている可能性があることを認めます」と報告した。

とはいえ、このようなニューラルネットワークは、普通のPCや、Raspberry Piのようなシングルボードシステムでも実行可能であることに留意しています。

著者: Vitalii Babkin