Test AHA 5

Beschreibung

Im Jahr 2017 veröffentlichten Forscher von Google[5] die Arbeit Attention Is All You Need, in der die Transformerarchitektur eingeführt wurde[1], welche stark auf dem bereits zuvor entwickelten Konzept der Aufmerksamkeit basiert und seit diesem Zeitpunkt die neue Grundlage der Softwarearchitektur von GPTs wurde.[6] Die Modelle zuvor (unter der Domäne Natural Language Processing (NLP)) beruhten noch auf dem überwachten Lernen und manuell markierten Daten. Sie waren daher beschränkt auf annotierte Datensätze. Ein Trainieren von großen Sprachmodellen war damit zu zeitaufwendig.[7] Die Innovation der Transformer löste dieses Problem.

Dieser Baustein (Transformer[1]) führte zu den folgenden softwarebasierten Sprachmodellen, auch bekannt als große Sprachmodelle (LLMs), da sie mathematisch-statistisch eine große Anzahl von Wörtern verarbeiten. Ein frühes Beispiel war der Bidirectional Encoder Representations from Transformers (BERT) von Google selbst, der 2018 veröffentlicht wurde.[8] Wenig später wurde XLNet zur Verbesserung von BERT publiziert.[9] Sie waren vorab trainierte Transformer, aber nicht generativ konzipiert, d. h. nur als Encoder aufgebaut.[10]

Die Entwicklungsabteilung von OpenAI arbeitete ebenfalls seit 2015 an einem neuen Modell. Das LLM-Modell GPT-1 wurde im Jahr 2018 jedoch als reines Decoder-Modell eingeführt.[7][11] Es war das erste generative, vorab trainierte Transformer(GPT)-Softwaresystem. Die GPT- und BERT-Modelle wurden auf der Datenbasis BookCorpus trainiert.[12] Dieser Datensatz bzw. Textkorpus enthält 7000 selbstpublizierte Bücher und etwas unter einer Milliarde Wörter.[13]

Das erste generative System, basierend auf der Transformertechnik, stammte von OpenAI. Der dort verwendete halbüberwachte Ansatz umfasste zwei Phasen: eine unbeaufsichtigte, generative Vortrainings-Phase, sowie eine überwachte, diskriminative Feinabstimmungs-Phase. Bei der ersten Phase wurden die anfänglichen Parameter anhand eines Sprachmodellierungsziels festgelegt. Bei der zweiten Phase wurden diese Parameter an eine Ziel-Aufgabe angepasst.[7]

Wir bieten

Die rasante Entwicklung der GPT-Modelle führte zu einer neuen Basis. Man spricht von einem Grundlagenmodell (englisch Foundation Model), was ein KI-Modell ist, das auf umfangreichen Daten in großem Maßstab trainiert wurde, so dass es an eine Vielzahl von nachgelagerten Aufgaben angepasst werden kann. Diese Anpassungen sind auch als Feinabstimmung (englisch Fine-Tuning) bekannt.[14]

Wir erwarten

Die rasante Entwicklung der GPT-Modelle führte zu einer neuen Basis. Man spricht von einem Grundlagenmodell (englisch Foundation Model), was ein KI-Modell ist, das auf umfangreichen Daten in großem Maßstab trainiert wurde, so dass es an eine Vielzahl von nachgelagerten Aufgaben angepasst werden kann. Diese Anpassungen sind auch als Feinabstimmung (englisch Fine-Tuning) bekannt.[14]