Bewertung der Klassifikationsleistung von Oberflächeninspektionssystemen

Mit dem im April 2023 veröffentlichten Richtlinienentwurf VDI/VDE/VDMA 2632 Blatt 4.2 ist dies nun möglich. Das Verfahren kann auf viele Klassifikationsaufgaben übertragen werden, bei denen die Bestimmung einer „Ground Truth“ nicht möglich ist. Mit Blick auf die Datennutzung im Kontext von Industrie 4.0 bietet die Richtlinie wertvolle Hilfestellungen, da eine zunehmende Bedeutung valider Daten zu erwarten ist.

„Bei der Oberflächeninspektion von Flachstahl geht es darum, Fehler von oft nur wenigen Quadratmillimetern Größe zu erkennen und einer korrekten Fehlerklasse zuzuordnen. Bei Weißblech reden wir beispielsweise von etwa 15 Kilometer langen und 1 Meter breiten Stahlbändern, die bei einer Bandgeschwindigkeit von bis zu 54 km/h inspiziert werden. Dabei können durchaus mal 200.000 Ereignisse auf einem Band sein.“ sagt Dr.-Ing. Jens Brandenburger, Vorsitzender der VDI-Arbeitsgruppe „Oberflächeninspektionssysteme“. Er ergänzt: „Das ist etwa so, als würde man auf einer zügigen Fahrt von Düsseldorf nach Duisburg die Steinchen auf der Straße auf einer Fahrradwegbreite erkennen und klassifizieren wollen.“ Da ein solches Inspektionsergebnis nicht mit angemessenem Aufwand zu verifizieren ist, fehlt die sogenannte „Ground Truth“, die Grundwahrheit, wie viele und welche Fehler tatsächlich auf dem Band sind.

Es ist höchstens für Teilabschnitte einzelner Bänder möglich, die Ergebnisse der OIS mit denen des Inspektionspersonals zu vergleichen. Doch welche Schlussfolgerungen lassen sich aus solchen Stichproben ziehen? Ein Beispiel: Eine Person schaut sich 1.000 Einzelbilder an, die einem bestimmten Fehlertyp, wie z. B. „Kratzer“, zugeordnet wurden. Wenn diese Person dann feststellt, dass drei Kratzer in Wirklichkeit Risse sind, was sagt das über die Leistungsfähigkeit des Klassifikators aus? In der nächsten Sammlung mit 1.000 Bildern könnten fünf falsch klassifizierte Bilder sein oder auch zwei. 

Herausforderungen bei der OIS-Bewertung

Dieses Beispiel zeigt einige Herausforderungen bei der Bewertung der OIS-Klassifikationsleistung in der Flachstahlproduktion. Die folgenden Punkte fassen Rahmenbedingungen in der Flachstahlproduktion zusammen, die eine Bewertung des Klassifikationsergebnisses nach gängigen Methoden, wie sie in VDI/VDE/VDMA 2632 Blatt 3.1 vorgestellt werden, unmöglich machen:

• Es existiert eine sehr große Anzahl zu klassifizierender Ereignisse. Praktisch ist es daher unmöglich, jedem Ereignis eine "wahre" Klasse zuzuordnen.
• Es fehlen trennende Merkmale für eine eindeutige Klassenzuweisung.
• Es gibt einen hohen Anteil von nicht qualitätsrelevanten Ereignissen.
• Die Bewertung des Produkts als „gut“ kann zulässig sein, auch wenn detektierte Einzelereignisse als Fehler klassifiziert wurden.
• Produkte und/oder Produktbereiche können abhängig von den Klassifikationsergebnissen in verschiedene Qualitätsklassen eingeteilt oder für unterschiedliche Einsatzzwecke freigegeben werden. Es gibt nicht nur binäre gut/schlecht-Entscheidungen.
• Eine Zurückstellung von Proben für spätere Vergleichsmessungen ist nicht möglich.

VDI/VDE/VDMA 2632 Blatt 4.2

Der im April 2023 veröffentlichte Richtlinienentwurf VDI/VDE/VDMA 2632 Blatt 4.2 stellt ein Verfahren für die Leistungsbewertung von Inspektionssystemen vor, das unter den Rahmenbedingungen der Flachstahlproduktion praktikabel ist. Der Entwurf wurde in einer zweisprachigen (deutsch/englisch) Ausgabe veröffentlicht und kann bis zum 30.06.2023 kommentiert werden.

Die Richtlinie wurde für die Belange der Oberflächeninspektionssysteme in der Stahlproduktion geschrieben, doch kann die in der Richtlinie beschriebene Methodik auch auf viele andere Einsatzgebiete für klassifizierende Bildverarbeitungssysteme übertragen werden, bei denen keine „Ground Truth“ ermittelt werden kann.

Produktionsdaten als Teil des Unternehmensvermögens

Ein wichtiger Aspekt der Industrie 4.0 ist es, Daten von Sensoren, Mess- und Prüfsystemen nicht nur zur Automatisierung des Fertigungsprozesses oder zur Qualitätskontrolle einzusetzen, sondern diese Daten auch zur kontinuierlichen Prozessoptimierung und damit auch für strategische Unternehmensentscheidungen zu nutzen. Hierbei bilden Qualitätsdaten häufig die Zielgröße für übergeordnete Analysen beispielsweise gemäß der Richtlinienreihe VDI/VDE 3714 „Big Data“. Der Wert von validen Daten wird durch die neuen Methoden zur Datenanalyse noch einmal gesteigert. Dadurch erlangt der neue Richtlinienentwurf VDI/VDE/VDMA 2632 Blatt 4.2 zur Leistungsbewertung der Klassifikation eine besondere Relevanz.

Der Anspruch an die Zuverlässigkeit der OIS-Ergebnisse steigt hierbei abhängig vom gewählten Anwendungsfeld und geht von einfachen Fehlertrendberichten zur Bewertung der Prozessqualität und der frühzeitigen Erkennung von Qualitätsabweichungen (Qualitätsmonitoring) bis hin zu automatisierten Freigabeentscheidungen für jedes einzelne Band. Der neue Richtlinienentwurf VDI/VDE/VDMA 2632 Blatt 4.2 gibt deshalb zusätzliche Hilfestellungen für die Bewertung von OIS-Ergebnissen und die Leistungsanforderungen abhängig vom gewählten Anwendungsfeld.

Jetzt bei Beuth bestellen

Fachlicher Ansprechpartner im VDMA:
Suprateek Banerjee
VDMA Robotik + Automation
E-Mail: suprateek.banerjee@vdma.org 

Fachlicher Ansprechpartner im VDI:
Dr.-Ing. Erik Marquardt
VDI/VDE-Gesellschaft Mess- und Automatisierungstechnik (GMA)
E-Mail: marquardt@vdi.de