Das außergewöhnliche Lernvermögen, das sogenannte „Zero-Shot Learning“, das Großmodelle – englisch „Large Foundation Models“ (LFM) – wie ChatGPT und GPT-4 demonstrieren, hat die Frage aufgeworfen, ob diese Modelle ihr Verhalten oder das von anderen Modellen mit minimaler menschlicher Intervention autonom überwachen können. In diesem Kontext hat ein Forscherteam von Microsoft eine innovative KI-Lösung, Orca, vorgestellt. Orca ist ein Modell mit 13 Milliarden Parametern, das komplexe Erklärungsverläufe und schrittweise Denkprozesse von GPT-4 lernt und dadurch die Leistung von bestehenden, aktuellen anweisungsgesteuerten Modellen deutlich verbessert.
Das Forscherteam erkannte, dass die Anfrage- und Antwortpaare von GPT-4 wertvolle Hinweise für Lernmodelle bieten können. Daher erweiterten sie diese Paare durch detaillierte Antworten, die ein besseres Verständnis des von den Lehrenden angewendeten Denkprozesses beim Generieren ihrer Antworten liefern. Durch die Einbeziehung dieser Erklärungsverläufe stattet Orca Lernmodelle mit verbesserten Denk- und Verständnisfähigkeiten aus, was die Lücke zwischen Lehrenden und Lernenden effektiv überbrückt.
Um Orcas Lernprozess weiter zu verbessern, nutzt das Forschungsteam die Flan 2022 Collection. Hierbei werden Aufgaben aus dieser umfangreichen Sammlung ausgewählt, um eine vielfältige Mischung an Herausforderungen zu gewährleisten. Diese Aufgaben werden dann unterprobiert, um komplexe Aufforderungen zu generieren, die als Anfragen für LFMs dienen. Dieser Ansatz ermöglicht ein vielfältiges und umfangreiches Trainingsset, das robustes Lernen für Orca ermöglicht und es befähigt, eine breite Palette von Aufgaben effektiv zu bewältigen.
Ist Orca wirklich so gut?
Die Fähigkeiten von Orca wurden durch umfassende Evaluierungen überprüft, wobei der Schwerpunkt auf generativen, logischen und Verständnisfähigkeiten lag. Orca wurde mit starken Baselines wie Text-Davinci-003, ChatGPT, GPT-4 und Vicuna verglichen. Die Ergebnisse zeigen, dass Orca überlegen gegenüber aktuellen anweisungsgesteuerten Modellen wie Vicuna-13B ist, mit einer Verbesserung von über 100% auf BigBench Hard (BBH). Darüber hinaus zeigt Orca auch in Zero-Shot-Einstellungen bei akademischen Prüfungen wettbewerbsfähige Leistungen, was auf sein Potenzial für reale Anwendungen hindeutet.
Diese Forschungsergebnisse bestätigen das enorme Potenzial des Lernens aus schrittweisen Erklärungen zur Verbesserung der Modellleistung. Durch die Einbeziehung detaillierter Erklärungsverläufe und Skalierung von Aufgaben mit komplexen Aufforderungen erzielt Orca erhebliche Fortschritte in anweisungsgesteuerten Modellen. Dieser Ansatz befähigt nicht nur Lernmodelle, ihre Denk- und Verständnisfähigkeiten zu verbessern, sondern ermöglicht es ihnen auch, bestehende Benchmarks zu übertreffen.
Die Einführung von Orca und seine erfolgreiche Anwendung zur Verbesserung von anweisungsgesteuerten Modellen eröffnen spannende Perspektiven für zukünftige Forschungen. Mit der Weiterentwicklung der Großmodelle könnten selbstüberwachte Lernmechanismen und die Fähigkeit, andere Modelle mit minimaler menschlicher Intervention zu überwachen, das Feld der künstlichen Intelligenz revolutionieren. Durch die Verfeinerung des Lernprozesses aus komplexen Erklärungsverläufen können Forscher die Modellleistung bei verschiedenen Aufgaben weiter verbessern und somit Fortschritte im Bereich der natürlichen Sprachverarbeitung vorantreiben.
Fazit
Orca stellt einen bedeutenden Durchbruch in der Weiterentwicklung von anweisungsgesteuerten Modellen dar. Orca übertrifft bestehende Modelle durch Erklärungs-Tuning, Skalierung von Aufgaben und Anweisungen und strenge Bewertung. Das Versprechen, das in schrittweisen Erklärungen für Trainingsprozesse steckt, könnte das volle Potenzial von Großmodellen freisetzen und den Fortschritt in der natürlichen Sprachverarbeitung vorantreiben.