GPT-3 オープンソースの代替手段トップ 6

Shannon Jackson-Barnes | 12/07/2024

OpenAI が GPT-3 (2020) をリリースして以来、いくつかの人工知能の競合他社が登場し、それぞれがほぼコストをかけずに同様の自然言語処理機能を約束しています。 GPT-3 は強力ではありますが、非常に高価であるため、同様にインテリジェントでありながら、より手頃な価格の大規模言語モデル (LLM) に対する高い需要が生じています。

GPT-3、価格モデル、およびさまざまな GPT-3 オープンソースの代替手段について詳しく知るには、読み続けてください。

GPT-3とは何ですか?

GPT-3 は、2020 年 6 月 11 日にサンフランシスコを拠点とする研究機関 OpenAI によって開発された大規模言語モデルです。GPT 標準という用語は、Generative Pre Training Transformer を指します。 GPT-2の後継です。これは、Common Crawl、Wikipedia、OpenAI が選択したその他のテキストからの厳選されていない公開データを含む、約 570 GB のインターネットテキストでトレーニングされたニューラルネットワーク機械学習 (ML) モデルです。このデータを使用すると、GPT-3 は人間のような知能で事実上あらゆるサイズのテキスト入力に応答できます。質問に答えたり、エッセイを書いたり、コンピューターコードを書いたり、長いテキストを要約したり、言語を翻訳したり、機能的なアプリを作成したりすることもできます。

GPT-3 は予測言語モデルとして、テキスト入力を受け取り、次に入力される可能性が最も高いものを予測できます。これらの予測の精度は主に、ML モデルのトレーニングデータの品質と量に依存します。データセットが優れていて大きいほど、予測の精度が高くなります。 OpenAI はリリース以来、GPT-3 を継続的に更新して有害な反応を減らし、有害で欺瞞的な言語を減らしてきました。 GPT-3 は、AI チャットボットを含む他の OpenAI アプリを強化するエンジンです。チャットGPT、そしてその人工知能 (AI) 画像ジェネレーター、Dall-E。 GPT-3 は、2022 年に GPT-3.5 と GPT-4 に後継になりました。

GPT-3 の価格モデルは何ですか?

GPT-3 には、Ada、Babbage、Curie、DaVinci と呼ばれる 4 つの異なる大規模な言語モデルがあり、それぞれに独自の価格モデルとインテリジェンスのレベルがあります。彼らの知能のレベルは、モデルがトレーニングされるパラメーターの数によって異なります。たとえば、Ada は 3 億 5,000 万のパラメーターでトレーニングされ、DaVinci は 1,750 億のパラメーターでトレーニングされます。これにより、Ada は他のモデルの中で最も高速、低コスト、最もインテリジェントなモデルとなり、DaVinci は最も遅く、最もコストが高く、最もインテリジェントなモデルになります。 OpenAI は、トークンベースの通貨システムを使用して従量課金制で GPT-3 を請求します。比較のために、Ada の価格は 1,000 トークンあたり 0.0004 ドル、DaVinci の価格は 1,000 トークンあたり 0.0300 ドルです。 100 トークンごとに 75 ワードが与えられるため、1,000 トークンごとに 750 ワードを受け取ることになります。

5,000 ワードのエッセイを書いたり、e コマースの製品説明をいくつか作成したりするなど、小規模で個別のタスクの場合、GPT-3 は手頃な価格です。しかし、大規模で継続的なコンテンツの作成とコーディングのタスクを抱えている組織の場合、GPT-3 の価格は大幅に膨らむ可能性があります。また、この価格には、AI の品質保証のコスト、つまり GPT-3 が生成するコンテンツのレビュー、編集、校正のために人を雇うコストは含まれていません。これらの理由から、GPT-3 オープンソースの代替案があらゆる場所で出現しており、オプションが増えると選択肢も増えます。

推奨される GPT3 オープンソースの代替案

GPT-3 のオープンソースの代替案は数多くあります。 Open AI によって提供されるさまざまな言語モデルと同様に、それぞれの言語モデルはトレーニングパラメーターの数に基づいて異なる機能を備えています。ほとんどの GPT-3 代替手段は無料で使用できますが、いくつかは従量制で料金を請求します。ジュラシック-1 by AI21 Labs。この記事の目的上、各 GPT-3 代替案は無料で使用できます。もちろん、ご自身で調査を行って、よりニーズに合った有料の代替案を探すこともできます。

GPT-Neo および GPT-J (EleutherAI)

AI のオープンソース化に専念する研究者の集団によってリリースされました。 GPT-ネオ、そして GPT-Jはそれぞれ2021年3月と2021年6月にリリースされました。 GPT-Neo には、1 億 2,000 万パラメータ、13 億パラメータ、27 億パラメータの 3 つのバージョンがあります。一方、GPT-J には 60 億のパラメーターでトレーニングされたバージョンが 1 つだけあります。

GPT-Neo と GPT-J はどちらもオープンソースで無料で使用できますが、すべての LLM と同様に、最小ハードウェア要件があります。 GPT-J など、数十億のパラメーターでトレーニングされた LLM を実行するには、少なくとも 25 GB の RAM、複数の CPU、および約 25 GB の VRAM が必要です。ハードウェアの仕様によっては、GPT-J をデスクトップワークステーションで効率的に実行できるように微調整する必要がある場合があります。

Megatron-Turing NLG (NVIDIA および Microsoft)

5,300 億を超えるパラメータでトレーニングされ、メガトロン・チューリング自然言語生成 (NLG)は、最大かつ最も強力なモノリシック LLM です。 NVIDIA と Microsoft は、63.460 ペタフロップスを達成できる世界で 5 番目に高速なスーパーコンピューターである NVIDIA DGX SuperPOD ベースの Selene スーパーコンピューターを使用して、22 の小型の高品質データセットで構成される 800 GB データセットである The Pile 上で LLM をトレーニングしました。現在、Megatron は早期アクセス段階にあり、NVIDIA と Microsoft によって承認された研究目標を持つ組織に招待のみで利用可能です。

AlexaTM (アマゾン)

わずか 200 億のパラメータでトレーニングされているにもかかわらず、アレクサTM ゼロショット学習タスクでは 1,750 億 GPT-3 モデルを上回るパフォーマンスを発揮します。ゼロショット学習タスクとは、学習者がトレーニング中に観察されなかったクラスのサンプルを観察し、各サンプルが属するクラスを予測するタスクです。これは、機械翻訳やテキスト要約に特に効果的な双方向形式のエンコードであるエンコーダ/デコーダアーキテクチャを使用することでこれを実現します。 AlexaTM は、それほど技術的ではないタスクにも使用でき、英語、アラビア語、日本語、イタリア語などの複数の言語を翻訳できます。

LaMDA （Google）

LaMDA は、Google の AI チャットボットである Google Bard を動かすエンジンです。 2020 年に初めて発表された LaMDA は、約 1 兆 5,600 億語を対象にトレーニングされた会話型 AI で、特に人間の会話やストーリーのトレーニングに重点を置いています。これにより、LaMDA は自然かつシームレスな方法でテキスト入力に応答し、人間のようなテキストを高レベルの精度で複製できるようになります。

誤った情報の共有を最小限に抑えるために、Google は LaMDA が第三者の情報源から事実を入手できるようにし、人間と同じようにインターネットでデータを検索できるようにしました。この記事の執筆時点では、LaMDA の最大バージョンは 1,370 億のパラメータでトレーニングされています。 LaMDA は現在一般公開されていませんが、興味のある方は順番待ちリストに参加できます。

バート (Google)

BERTは、Bidirectional Encoder Representations from Transformers の略で、Google が開発した自己回帰言語モデルです。これは、世界中で最も古い転送ベースの言語の 1 つで、2018 年にオープンソースになり、Wikipedia のテキストに基づいてトレーニングされました。ただし、Google は検索意図をより深く理解し、自然言語生成を改善するために、依然としてこの情報を参照として使用しています。

双方向の教師なし言語モデルとして、BERT は正確なテキスト予測を提供するために、過去のテキスト入力のコンテキストとそれに続く可能性のある条件を考慮します。

ブルーム (ビッグサイエンス)

AIスタートアップのHugging Faceと協力して1,000人以上のボランティア研究者によって開発され、咲くは、フランス国立科学研究センターで 117 日間にわたって 1,760 億個のパラメータを使用してトレーニングされた LLM です。

BLOOM は透明性を重視しており、開発者はモデルのトレーニングに使用しているデータ、モデル開発の課題、グループによるモデルのパフォーマンスの評価方法をオープンに共有しています。これにより、部外者は BLOOM がどのように機能するかについてより深い洞察が得られ、BLOOM は最も透明性の高い LLM の 1 つとなります。倫理は別として、BLOOM は現在公開されており、無料で使用でき、ユーザーはハードウェア要件やニーズに合わせてさまざまな言語モデルから選択できます。

AI サービスに Orient Software を選ぶ理由?

Orient Software では、最新の AI テクノロジーと LLM について最新情報を入手しています。私たちの AI 専門家の専任チームクラウドベースおよびエンドツーエンドのプラットフォームの開発を専門としています。当社は、顧客関係から人材管理、データマイニング、金融サービスに至るまで、堅牢かつスケーラブルでパフォーマンスの高い LLM ソリューションをさまざまな業界の組織に構築し、統合します。

AI を既存のワークフローに組み込んでほしい場合でも、新しい AI 製品をゼロから必要とする場合でも、当社は時間をかけてお客様固有の要件を理解し、お客様自身のニーズと予算に合ったカスタムソリューションを提供します。

また、私たちの活動の一環として、人工知能のサービスとソリューション、専門家による AI コンサルティングサービスを提供します。私たちはお客様のニーズを特定し、リスクを評価し、お客様が正しい方向に進んでいることを確認するための継続的なガイダンスとサポートを提供します。私たちは、いくつか例を挙げると、GPT-3 (およびそれ以降のイテレーション)、ChatGPT、LaMDA、AlexaTM など、幅広い LLM を扱った経験があります。

オリエントソフトウェアは、世界中で AI 関連サービスを提供する信頼できる会社です。当社は、リスクを最小限に抑え、生産性を向上させ、コストを削減し、業務運営を合理化するために、最新の AI テクノロジーを活用できるよう支援することに全力で取り組んでいます。

Orient ソフトウェアにお問い合わせください最新の AI テクノロジーを最大限に活用するために私たちがどのように支援できるかを今すぐご確認ください。

Topics: プログラミング言語