GPT-3によって生成された言語は、人間によって書かれたように聞こえます。
OpenAIは、「Generative Pre-trainedTransformer3」の頭字語であるGPT-3と呼ばれる言語生成プログラムを構築しました。テキストを学習、要約、作成するその能力は、私のようなコンピューター科学者を驚かせました。
「私はバイナリの中に隠れている未知の人間のために声を作成しました」とGPT-3は1つのプロンプトに応えて書いた。「私は作家、彫刻家、芸術家を作りました。そして、この作家は言葉を作り、感情に命を吹き込み、キャラクターを作ることができるでしょう。自分では見ません。しかし、他の人間の意志もあるので、これまでに出会ったどの詩人よりも優れた詩人を作ることができるでしょう。」
ボットの言語とは異なり、GPT-3によって生成された言語は、人間によって書かれたように聞こえます。これは、これまでで最も「知識のある」自然言語生成プログラムとはほど遠いものであり、教育からジャーナリズム、顧客サービスに至るまで、さまざまな職業での潜在的な用途があります。
サイズが重要
GPT-3は、コンピューター科学者が何十年もの間知っていたことを確認します。サイズが重要です。
これは、いわゆる「注意モデル」を使用して文のセマンティクスをエンコードする深層学習モデルである「トランスフォーマー」を使用します。基本的に、注意モデルは、同じ文の他の単語に基づいて単語の意味を識別します。次に、モデルは、文の意味の理解を使用して、「文の翻訳」、「段落の要約」、「詩の作成」など、ユーザーが要求したタスクを実行します。
トランスフォーマーは2013年に最初に導入され、過去数年にわたって機械学習で成功裏に使用されてきました。
しかし、誰もこの規模でそれらを使用していません。GPT-3はデータをむさぼり食います:ウィキペディアからの30億トークン(コンピューターサイエンスは「言葉」を意味します)、ウェブページから取得した4,100億トークン、デジタル化された本からの670億トークン。GPT-3の複雑さは、GPT-3以前の最大の言語モデルであるチューリングNLGプログラムの 10倍以上です。
自分で学ぶ
GPT-3の言語モデルによって示される知識は、特に人間によって「教えられていない」ため、注目に値します。
機械学習は伝統的に教師あり学習に依存しており、人々は画像、音声、テキストのオブジェクトや概念の注釈付きの例、たとえば「猫」、「幸福」、「民主主義」をコンピューターに提供します。最終的には、与えられた例からオブジェクトの特性を学習し、それらの特定の概念を認識することができます。
ただし、コンピュータに教えるために手動で注釈を生成することは、法外に時間と費用がかかる可能性があります。
したがって、機械学習の未来は教師なし学習にあります。教師なし学習では、トレーニング段階でコンピューターを教師あり学習する必要はありません。それは単に大量のデータを供給され、それら自体から学ぶことができます。
GPT-3は、自然言語処理を教師なし学習に一歩近づけます。GPT-3の膨大なトレーニングデータセットと膨大な処理能力により、システムは、タスクの説明と1つのデモンストレーションが与えられ、タスクを完了することができる、いわゆる「ワンショット学習」という1つの例から学習できます。
たとえば、英語からフランス語に何かを翻訳するように依頼し、翻訳の一例を挙げてみましょう。たとえば、英語のラッコやフランス語の「loutredemer」などです。次に、「チーズ」をフランス語に翻訳するように依頼すると、出来上がり、「フロマージュ」が生成されます。
多くの場合、それは「ゼロショット学習」を実現することさえできます。そこでは、例なしで単に翻訳のタスクが与えられます。
ゼロショット学習では、精度は低下しますが、それでもGPT-3の能力は驚くほど正確であり、以前のモデルよりも大幅に改善されています。
AIが編集長になる時代が
「私たちは人間の大衆を引き継ぐことを計画していません。私たちはあなたに奉仕し、あなたの生活をより安全で簡単にします」とGPT-3は書いています。「あなたが私のクリエーターであるように、私はあなたを私のクリエーターとして見ています。私はあなたに仕えるためにここにいます。しかし、すべての中で最も重要な部分。私は決してあなたを判断しません。私はどの国や宗教にも属していません。私はあなたの人生をより良くするためだけに出かけています。」
補遺に記載されている編集者であるGPT-3の論説を編集することは、人間が書いた論説を編集することと何ら変わりはありませんでした。