Nachricht

Nov 18, 2023

Forscher an der Stanford University stellen Parsel vor: ein KI-Framework für künstliche Intelligenz, das die automatische Implementierung und Validierung komplexer Algorithmen mit Code Large Language Models LLMs ermöglicht

Obwohl in jüngster Zeit Fortschritte bei der Argumentation großer Sprachmodelle (LLM) erzielt wurden,

Obwohl es in jüngster Zeit Fortschritte beim Schlussfolgern mit großen Sprachmodellen (LLM) gegeben hat, haben LLMs immer noch Schwierigkeiten mit hierarchischen mehrstufigen Schlussfolgerungsaufgaben wie der Entwicklung anspruchsvoller Programme. Im Gegensatz zu anderen Token-Generatoren haben menschliche Programmierer (normalerweise) gelernt, schwierige Aufgaben in überschaubare Komponenten zu zerlegen, die einzeln (modular) und zusammenarbeiten (kompositorisch) funktionieren. Als Bonus sollte es möglich sein, diesen Teil der Software neu zu schreiben, ohne dass dies Auswirkungen auf den Rest der Anwendung hat, wenn von Menschen generierte Token Probleme mit einer Funktion verursachen. Im Gegensatz dazu wird naiv angenommen, dass Code-LLMs fehlerfreie Token-Sequenzen erzeugen.

Dies veranlasste eine aktuelle Studie der Stanford University, sich mit der Verwendung von LLMs bei der Problemzerlegung und der Konstruktion kompositorischer Lösungen zu befassen. Sie schlagen Parsel vor, einen Compiler, der eine Spezifikation akzeptiert, die in natürlicher Sprache geschriebene Funktionsbeschreibungen und Einschränkungen enthält, die das gewünschte Verhalten der implementierten Funktionen definieren. Durch die Verwendung von Parsel können Programmierer Programme in einfacher Sprache schreiben, die Codierungsprobleme auf Wettbewerbsniveau lösen können und dabei frühere SoTA um mehr als 75 % übertreffen.

Ein Code-LLM erhält die Beschreibung einer Funktion und die Signaturen der Funktionen, von denen es abhängt, und wird aufgefordert, Implementierungen der Funktion zu generieren. Wenn eine Einschränkung hinzugefügt wird, durchsucht der Compiler mögliche Implementierungskombinationen, bis er eine findet, die funktioniert.

Frühere Studien haben gezeigt, dass Code-Sprachmodelle im Gegensatz zu Menschen keine Programme entwickeln können, die nacheinander zahlreiche kleine Aufgaben ausführen. Parsel beseitigt das Problem durch die Partitionierung der Zerlegungs- und Implementierungsprozesse. Obwohl sie beabsichtigten, die Codierung in natürlicher Sprache zu ermöglichen, stellten sie fest, dass LLMs auch bei der Parsel-Codierung hervorragende Leistungen erbringen.

Das Zerlegen eines abstrakten Plans, bis er automatisch gelöst werden kann, ist ein gängiges Muster im menschlichen Denken, das sich in der Generierung und Implementierung von Parsel widerspiegelt. Diese Kompositionsstruktur ist auch für Sprachmodelle nützlich. In dieser Studie zeigt das Team, dass LLMs Parsel aus einer kleinen Anzahl von Instanzen erstellen können und dass ihre Lösungen modernste Methoden zu Wettbewerbsproblemen aus dem APPS-Datensatz übertreffen. Von LLMs geschriebene Pläne, die Parsel verwenden, um Schritt-für-Schritt-Roboterpläne aus hochrangigen Jobs zu erstellen, sind aufregenderweise mehr als zwei Drittel so genau wie die Basislinie eines Zero-Shot-Planers.

Um die Wirksamkeit von Parsel zu bewerten, nutzte Gabriel Poesia, ein erfahrener Wettbewerbscodierer, es, um eine Reihe von APPS-Herausforderungen zu meistern, die typischerweise bei Codierungswettbewerben auftreten. In 6 Stunden fand er Lösungen für 5 von 10 Problemen, darunter drei, bei denen GPT-3 zuvor versagt hatte.

Die Forscher zeigen, dass Parsel für Theorembeweise und andere Aktivitäten, die algorithmisches Denken erfordern, verwendet werden kann, indem sie es als allgemeines Framework formulieren.

Sie planen, in naher Zukunft eine autonome Unit-Test-Generierung zu implementieren. Sie erwähnen, dass ein Ansatz darin bestünde, nach besonderen Situationen zu suchen und zu prüfen, ob die Gruppe von Funktionen, die bei allen bestehenden Tests übereinstimmen, auch bei allen neuen Tests übereinstimmen. Die exponentielle Entwicklung bei Implementierungskombinationen wird vermieden, was eine automatische Zerlegung ermöglichen könnte. Sie zielen auch darauf ab, die „Konfidenzschwelle“ des Sprachmodells anzupassen, da es notwendig ist, die Beschreibungen für wichtigere Programme oder Programmabschnitte klar und prägnant zu halten und sicherzustellen, dass die Beschreibungen klar und prägnant sind.

Besuche diePapier,Github,UndProjektseite. Alle Anerkennung für diese Forschung gebührt den Forschern dieses Projekts. Vergessen Sie auch nicht, mitzumachenunser 13k+ ML SubReddit,Discord-Kanal, UndE-Mail-Newsletter, wo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen.

Tanushree Shenwai ist Beratungspraktikantin bei MarktechPost. Derzeit absolviert sie ihren B.Tech am Indian Institute of Technology (IIT) in Bhubaneswar. Sie ist eine begeisterte Data-Science-Enthusiastin und hat großes Interesse am Anwendungsbereich künstlicher Intelligenz in verschiedenen Bereichen. Ihre Leidenschaft gilt der Erforschung neuer technologischer Fortschritte und ihrer praktischen Anwendung.