02.06.2023
| Forschung |
Ein neuer Ansatz für die Leistungsprognose von ML-Beschleunigern
Algorithmen für maschinelles Lernen wie CNNs sind entscheidend für die Entwicklung neuer Technologien wie bspw. autonomes Fahren, das IoT oder Edge Computing. Die Auswahl des bestgeeigneten ML-Beschleunigers ist hierbei essentiell und bringt Herausforderungen mit sich. Eine neu entwickelte Methode erlaubt es, die Leistungsfähigkeit von CNNs für GPGPUs bereits während der Entwicklung schnell und präzise zu bestimmen.
Convolutional Neural Networks (CNNs) können mit riesigen Mengen an unstrukturierten Daten arbeiten und dienen dazu, verschiedene Aufgaben wie bspw. Bild- und Videoerkennung, Klassifizierung und natürliche Sprachverarbeitung auszuführen. Darüber hinaus sind CNNs einer der meist genutzten Deep Learning Algorithmen, der für neu entstehende Technologien wie z.B. autonomes Fahren eingesetzt wird. CNNs sind hochkomplexe Algorithmen, die aus mehreren Convolutional Layers bestehen und dementsprechend sehr hohe Rechenressourcen erfordern. Deshalb werden häufig Machine Learning (ML)-Beschleuniger wie
General Purpose Computation on Graphics Processing Units (GPGPUs) verwendet, um ihre Leistung zu verbessern.
Folglich ist die Auswahl des passenden ML-Beschleunigers essentiell. Dies ist jedoch mit Herausforderungen verbunden und kann sehr zeit- und kostenintensiv sein. Um dies zu vermeiden, ist ein schneller und automatisierter Ansatz erforderlich, der es ermöglicht, den bestgeeigneten ML-Beschleuniger zu finden, ohne zahlreiche Prototypen und Hardwareplattformen testen zu müssen.
In dem Paper „Fast and Accurate: Machine Learning Techniques for Performance Estimation of CNNS for GPGPUs“ hat unser wissenschaftlicher Mitarbeiter Christopher Metz zusammen mit Mehran Goli (DFKI) und unter der Leitung von Rolf Drechsler eine neue Methode entwickelt, mit Hilfe derer die Leistungsfähigkeit von CNNs für GPGPUs schon während der Entwicklung schnell und präzise prognostiziert werden kann. Das Paper greift dabei frühere Ansätze der Autoren auf, die sich mit der Bestimmung des Stromverbrauchs von Grafikkarten beschäftigen (wir berichten
»hier).
Im Rahmen der Studie wurden fünf verschiedene ML-Algorithmen verglichen, um das präziseste Performance-Vorhersagemodell zu bestimmen. Darüber hinaus wurde der neue Ansatz getestet, indem die Leistung mehrerer CNNs für verschiedene GPGPUs prognostiziert wurde (NVIDIA V100S and NVIDIA GTX 1080iT). Die Ergebnisse zeigen, dass das Vorhersagemodell, im Vergleich zu realen GPGPUs, die Leistungsfähigkeit eines CNNs mit einem Fehler von nur 5,73 % bestimmen kann. Die neue Methode ist deutlich schneller als bisherige Ansätze und ermöglicht somit die Performance-Vorhersage in frühen Phasen der Entwicklung. Anders als bei vielen vergleichbaren Ansätzen, wird hierbei keine vorherige Ausführung der neuronalen Netze benötigt. Des Weiteren ist der Ansatz nicht auf eine GPGPU beschränkt, da er Hardwaremerkmale mitberücksichtigt und somit plattformübergreifende Schätzungen unterstützt.
Die Arbeit wurde am 19. Mai (16:10 Uhr (MEZ)) im Rahmen des Workshops PAISE 2023 zum Thema „Parallel AI and Systems for the Edge“ in St. Petersburg, Florida vorgestellt. Der interaktions-orientierte Workshop fand zum fünften Mal statt und wurde in Zusammenarbeit mit IPDPS 2023 durchgeführt.
Aktualisiert von: Svenja Goers
« zurück
02.06.2023 | Forschung
Ein neuer Ansatz für die Leistungsprognose von ML-Beschleunigern
Algorithmen für maschinelles Lernen wie CNNs sind entscheidend für die Entwicklung neuer Technologien wie bspw. autonomes Fahren, das IoT oder Edge Computing. Die Auswahl des bestgeeigneten ML-Beschleunigers ist hierbei essentiell und bringt Herausforderungen mit sich. Eine neu entwickelte Methode erlaubt es, die Leistungsfähigkeit von CNNs für GPGPUs bereits während der Entwicklung schnell und präzise zu bestimmen.
Convolutional Neural Networks (CNNs) können mit riesigen Mengen an unstrukturierten Daten arbeiten und dienen dazu, verschiedene Aufgaben wie bspw. Bild- und Videoerkennung, Klassifizierung und natürliche Sprachverarbeitung auszuführen. Darüber hinaus sind CNNs einer der meist genutzten Deep Learning Algorithmen, der für neu entstehende Technologien wie z.B. autonomes Fahren eingesetzt wird. CNNs sind hochkomplexe Algorithmen, die aus mehreren Convolutional Layers bestehen und dementsprechend sehr hohe Rechenressourcen erfordern. Deshalb werden häufig Machine Learning (ML)-Beschleuniger wie
General Purpose Computation on Graphics Processing Units (GPGPUs) verwendet, um ihre Leistung zu verbessern.
Folglich ist die Auswahl des passenden ML-Beschleunigers essentiell. Dies ist jedoch mit Herausforderungen verbunden und kann sehr zeit- und kostenintensiv sein. Um dies zu vermeiden, ist ein schneller und automatisierter Ansatz erforderlich, der es ermöglicht, den bestgeeigneten ML-Beschleuniger zu finden, ohne zahlreiche Prototypen und Hardwareplattformen testen zu müssen.
In dem Paper „Fast and Accurate: Machine Learning Techniques for Performance Estimation of CNNS for GPGPUs“ hat unser wissenschaftlicher Mitarbeiter Christopher Metz zusammen mit Mehran Goli (DFKI) und unter der Leitung von Rolf Drechsler eine neue Methode entwickelt, mit Hilfe derer die Leistungsfähigkeit von CNNs für GPGPUs schon während der Entwicklung schnell und präzise prognostiziert werden kann. Das Paper greift dabei frühere Ansätze der Autoren auf, die sich mit der Bestimmung des Stromverbrauchs von Grafikkarten beschäftigen (wir berichten
»hier).
Im Rahmen der Studie wurden fünf verschiedene ML-Algorithmen verglichen, um das präziseste Performance-Vorhersagemodell zu bestimmen. Darüber hinaus wurde der neue Ansatz getestet, indem die Leistung mehrerer CNNs für verschiedene GPGPUs prognostiziert wurde (NVIDIA V100S and NVIDIA GTX 1080iT). Die Ergebnisse zeigen, dass das Vorhersagemodell, im Vergleich zu realen GPGPUs, die Leistungsfähigkeit eines CNNs mit einem Fehler von nur 5,73 % bestimmen kann. Die neue Methode ist deutlich schneller als bisherige Ansätze und ermöglicht somit die Performance-Vorhersage in frühen Phasen der Entwicklung. Anders als bei vielen vergleichbaren Ansätzen, wird hierbei keine vorherige Ausführung der neuronalen Netze benötigt. Des Weiteren ist der Ansatz nicht auf eine GPGPU beschränkt, da er Hardwaremerkmale mitberücksichtigt und somit plattformübergreifende Schätzungen unterstützt.
Die Arbeit wurde am 19. Mai (16:10 Uhr (MEZ)) im Rahmen des Workshops PAISE 2023 zum Thema „Parallel AI and Systems for the Edge“ in St. Petersburg, Florida vorgestellt. Der interaktions-orientierte Workshop fand zum fünften Mal statt und wurde in Zusammenarbeit mit IPDPS 2023 durchgeführt.
Autor*in: Svenja Goers
Fragen beantwortet:
Christopher Metz
Wissenschaftlicher Mitarbeiter
+49 (421) 218 - 63942
cmetz@uni-bremen.de
« zurück