Blog

May 12, 2023

Ein Ende

Wissenschaftliche Berichte Band 13,

Wissenschaftliche Berichte Band 13, Artikelnummer: 9376 (2023) Diesen Artikel zitieren

Details zu den Metriken

Der Fortschritt auf dem Gebiet der 3D-Integrationsschaltungstechnologie führt zu neuen Herausforderungen für die Qualitätsbewertung von Verbindungen, beispielsweise durch Silizium-Durchkontaktierungen (TSVs), im Hinblick auf eine automatisierte und zeiteffiziente Analyse. In diesem Artikel entwickeln wir ein vollautomatisches, hocheffizientes CNN-Modell (End-to-End Convolutional Neural Network) unter Verwendung zweier sequentiell verknüpfter CNN-Architekturen, das zur Klassifizierung und Lokalisierung Tausender TSVs sowie zur Bereitstellung statistischer Informationen geeignet ist. Insbesondere erzeugen wir Interferenzmuster der TSVs, indem wir ein einzigartiges Konzept der Rasterakustischen Mikroskopie (SAM)-Bildgebung durchführen. Rasterelektronenmikroskopie (REM) wird verwendet, um das charakteristische Muster in den SAM-C-Scan-Bildern zu validieren und auch offenzulegen. Durch den Vergleich des Modells mit halbautomatisierten maschinellen Lernansätzen wird seine herausragende Leistung verdeutlicht, die auf eine Lokalisierungs- und Klassifizierungsgenauigkeit von 100 % bzw. mehr als 96 % hinweist. Der Ansatz ist nicht auf SAM-Bilddaten beschränkt und stellt einen wichtigen Schritt in Richtung Null-Fehler-Strategien dar.

Bildgebende Techniken sind für die moderne zerstörungsfreie Fehleranalyse1 in verschiedenen Bereichen von großer Bedeutung, von der Luft- und Raumfahrt, der Bahngleisinspektion, dem Bauingenieurwesen, der Automobilindustrie, der Energieerzeugung bis hin zur Mikroelektronik2. Algorithmen des maschinellen Lernens (ML) bieten neue Möglichkeiten für eine effiziente Fehleranalyse der generierten komplexen Datensätze, die bisher hauptsächlich auf menschlichem Fachwissen beruhten3. Kürzlich wurden Forschungsarbeiten zur Anwendung verschiedener ML-Modelle in 3D-Integrationskomponenten durchgeführt4,5,6,7, die in der Mikroelektronikindustrie großes Interesse erwecken. Wesentlich für den Einsatz im industriellen Umfeld sind vollautomatisierte Modelle, die nicht unbedingt auf spezifische Trainingsfunktionen angewiesen sind. Kürzlich wurden erste Versuche unternommen, ML-basierte Tests anzuwenden, wie in 4,6,7 gezeigt. Hier wurden bisher überwiegend teilautomatisierte Ansätze demonstriert. Aufgrund der notwendigen spezifischen Merkmalsdefinition für das Training mangelt es solchen Ansätzen jedoch an einer Anwendung für eine verallgemeinerte Analyse. Überwachte halbautomatische ML-Modelle wie K-Nearest Neighbors (KNN) und ein Random Forest-Klassifikator werden beispielsweise verwendet, um Hohlräume in Through Silicon Vias (TSVs) zu erkennen, die in 3D-integrierten Schaltkreiskomponenten verarbeitet werden4. Wie beispielsweise in 4 gezeigt, verwenden solche Modelle für das Training eine spezifische Merkmalsextraktion, wie die Daten des High-Frequency Structural Simulator (HFSS) für die Lücke „TSV mit“ und „TSV ohne“. In6 wird ein ähnlicher halbautomatischer Ansatz verwendet, um Funktionsfehler, einschließlich Unterbrechungen und Kurzschlüsse bei TSVs, zu identifizieren. Darüber hinaus werden in diesem Zusammenhang allgemeine neuronale Regressionsnetze zur Erkennung von Defekten in Loten mittels SAM diskutiert.

Das Convolutional Neural Network (CNN) ist eine bekannte Deep-Learning-ML-Architektur, die in der Lage ist, mehrstufige Merkmale aus einem Bild zu extrahieren8. Der Hauptvorteil von CNN liegt in seiner Fähigkeit, Muster oder relevante Merkmale direkt aus den Rohpixeln zu erkennen, indem die zeitliche und räumliche Korrelation in Daten ohne komplexe Vorverarbeitung untersucht wird9,10. Das heißt, für CNN-basierte Ansätze ist keine vorherige spezifische Merkmalsdefinition erforderlich. Kürzlich wurde in5 ein CNN-basiertes Modell verwendet, um den Zustand eines einzelnen Mikrobuckels nach dem Reflow-Prozess auf der Grundlage von Bilddaten vorherzusagen, die vor dem Reflow-Prozess mittels 3D-Röntgentomographie aufgenommen wurden.

Die moderne Fehlerinspektion von TSVs erfordert eine kosten- und zeiteffiziente Charakterisierung von Hunderten oder sogar bis zu Tausenden von TSVs11,12, einschließlich der begleitenden statistischen Informationen, der Lokalisierung und des Status des einzelnen TSV, die die gesamte Geometrie mit Boden und Seitenwand abdecken Die Einstufung des TSV scheitert. Es gibt verschiedene Arten von Defekten im Zusammenhang mit TSVs, darunter Hohlräume, die aus der Galvanisierung resultieren13, Delaminationen, die aus einer unterschiedlichen Wärmeausdehnung resultieren14, Risse, die aus globaler Spannung im Formverzug resultieren15 und so weiter16,17. Um solche Defekte zu erkennen, werden nichtautomatisierte Labortechniken wie Rasterelektronenmikroskopie (SEM), Röntgen-Computertomographie (XCT), Emissionsmikroskopie (EMMI) oder automatisierte Techniken18,19 wie elektrische Messungen (EM) und automatische optische Mikroskopie (AOM) eingesetzt )20 und Rasterakustische Mikroskopie (SAM) werden hauptsächlich verwendet20. Alle diese Techniken haben sowohl Vor- als auch Nachteile, die ihre Anwendungsmöglichkeiten einschränken. Beispielsweise zeigt EM eine schnelle und häufige Methode, kann den Fehler jedoch nicht innerhalb der TSVs lokalisieren20,21. AOM eignet sich hauptsächlich zur Erkennung von Bodendefekten20,22, versagt jedoch bei Defekten in der Seitenwand. SEM liefert hochauflösende Bilddaten für die Seitenwand und die Unterseite der TSVs. Letzteres ist jedoch für die Hochdurchsatzprüfung nicht geeignet und aufgrund der sehr zeitaufwändigen Datenerfassung nicht für die Bereitstellung statistischer Informationen geeignet23,24. μ-XCT oder Röntgenmikroskopie (XRM) weisen Einschränkungen hinsichtlich der erforderlichen langen Scanzeiten auf, um eine ausreichende Auflösung und statistische Ausgabe zu erzielen5,15,25,26. EMMI kann nur Defekte mit einer elektrischen Signatur erkennen und versagt bei der Erkennung von Defekten ohne elektrische Signatur27. Die akustische Rastermikroskopie (SAM) stellt eine zerstörungsfreie Technik28 dar, mit der sich zeit- und kosteneffizient große Bereiche im Bereich der Mikroelektronik29 charakterisieren lassen. Dennoch liegt die Hauptherausforderung dieser Methode in der begrenzten Auflösung und dem begrenzten Kontrast sowie in der Nachbearbeitung des generierten Bilddatensatzes, nämlich effizient Erkenntnisse über den Ort des einzelnen Fehlers, aber auch über die statistische Verteilung des Fehlers zu extrahieren Fehler innerhalb des Arrays einschließlich des Typs der Fehlerklasse. Dies erfordert im Allgemeinen eine sorgfältige manuelle Prüfung der erfassten Bilddaten. Eine solche manuelle Prüfung hängt stark von der Erfahrung des menschlichen Anwenders ab, ist daher subjektiv und zudem fehleranfällig.

In diesem Artikel führen wir einen einzigartigen Ansatz der akustischen Rastermikroskopie (SAM) durch und entwickeln einen End-to-End Convolutional Neural Network (E2E-CNN)-Workflow, um (1) bis zu Tausende von TSV auf Waferebene effizient zu charakterisieren, einschließlich begleitender statistischer Informationen , (2) fehlerhafte und nicht fehlerhafte TSVs lokalisieren und (3) die einzelnen TSVs nach ihrem Fehlergrad klassifizieren. Durch den Vergleich der gewonnenen SAM-Daten mit korrelierter Rasterelektronenmikroskopie (SEM) zeigen wir, dass die SAM-Technik geeignet ist, Informationen sowohl vom Boden als auch von der Seitenwand des TSV zu liefern. Das vollautomatisierte E2E-CNN-Netzwerk, das zwei sequentiell verknüpfte CNN-Architekturen verwendet, gewährleistet eine Genauigkeit für die Erkennung und Klassifizierung der TSVs von 100 % bzw. über 96 %. Darüber hinaus diskutieren wir den entwickelten E2E-CNN-Algorithmus mit halbautomatischer binärer TSV-Klassifizierung unter Verwendung von Multi-Layer Perceptron (MLP), Entscheidungsbaum und Random Forest und zeigen seine Überlegenheit hinsichtlich Zeiteffizienz und Genauigkeit. Bemerkenswert ist, dass der vorgestellte neuartige Ansatz nicht auf SAM-basierte Bilddaten beschränkt ist, sondern vielmehr einen allgemeinen Ansatz darstellt, der auf andere Bildgebungsmethoden anwendbar ist, z. B. μ-XCT, SEM, optische Mikroskopie usw.

Wir verwenden akustische Rastermikroskopie, um die TSV-Arrays zu scannen. Hier charakterisieren wir eine offene TSV-Technologie46, siehe auch Methodenabschnitt für weitere Beispieldetails und das Schema in Abb. 1A. Die Hauptschwierigkeit bei der Defekterkennung in solchen TSVs liegt in der notwendigen großen Eindringtiefe und Auflösung im niedrigen μm-Bereich. Wir verwenden eine einzigartige Technik unter Verwendung spezieller akustischer Linsen mit einer Nennfrequenz von 100 MHz und einem Öffnungswinkel von 60°, die den Anforderungen moderner TSV-Inspektion und -Analyse gerecht werden. Der Öffnungswinkel der Linse ist in unseren Experimenten so gewählt, dass er größer ist als der kritische Rayleigh-Winkel von Si, der 17° beträgt. Der piezoelektrische Wandler arbeitet im Puls-Echo-Modus und ist in der Lage, Ultraschallsignale zu erzeugen und zu empfangen. Abbildung 1B und C zeigt ein Schema für zwei verschiedene Linsenpositionen, wobei eine Position fokussiert (Z0) und eine andere defokussiert (Zn) auf der Oberfläche des Wafers ist. Die Abbildungen 1D und E zeigen das C-Scan-Bild eines einzelnen TSV mit homogenen und inhomogenen Streifen, jeweils erhalten bei Z = Z0 und verschiedenen defokussierten Positionen mit Z < Z0. Das Objektiv in der defokussierten Position liefert im C-Scan-Bild Muster oder Streifen, die mit der TSV-Qualität korreliert werden können. Eine beispielhafte Inhomogenität, die im TSV beobachtet wurde, ist wie in Abb. 1E markiert.

TSV-Setup und SAM-Charakterisierungsansatz. (A) Schematische Darstellung eines offenen TSV mit einem Durchmesser von 100 µm und einer Tiefe von 250 µm. (B) Schematische Darstellung eines fokussierten Schallfeldes mit einem Rasterakustikmikroskop (SAM) bei Z0. (C) Schematische Darstellung eines defokussierten Schallfelds bei Zn. (D) SAM-C-Scan-Bilder für verschiedene Z-Positionen beginnend bei Z0 für einen „guten“ TSV ohne Inhomogenität. (E) SAM-C-Scan-Bilder für verschiedene Z-Positionen beginnend bei Z0 für ein „defektes“ TSV, was auf eine Inhomogenität bei Z2 zu Zn hinweist. Die beobachtete Inhomogenität ist mit einem roten Kreis markiert.

Die Methodik in Abb. 1C stellt einen äußerst zeit- und kosteneffizienten Ansatz dar und bietet die Möglichkeit, eine statistisch relevante Menge an TSVs mit ausreichender Auflösung für die weitere Bildnachbearbeitung und Bildquantifizierung zu sammeln. Die Schrittgröße zwischen zwei Wandlerpositionen für die in Abb. 1D und E dargestellten C-Scan-Bilder beträgt 20 µm. Eine vollständige Z-Serie von SAM-C-Scan-Bildern für ein einzelnes TSV, das eine Inhomogenität zeigt, ist in der ergänzenden Abbildung S1 dargestellt. Für die Analyse werden C-Scan-Bilder bei und über Z = – 120 µm verwendet, siehe ergänzende Abbildung S1.

Abbildung 2A zeigt beispielhaft die Projektion der Ultraschalldaten auf die x-y-Ebene, um das sogenannte C-Scan-Bild eines Viertelwaferstücks zu erstellen. Der interessierende Bereich (ROI) des C-Scans enthält etwa 10.000 TSVs. Jedem TSV kann ein charakteristisches Muster zugeordnet werden, das durch Defokussierung der Linse erzeugt wird, wie in Abb. 1D und E dargestellt. Zur besseren Visualisierung der charakteristischen Muster wird die Region in einen C-Scan-Bildbereich unterteilt, der etwa 800 TSVs (ROI- 1), wie in Abb. 2B gezeigt. Es kann weiter in einen ROI (ROI-2) mit sechs TSVs unterteilt werden (Abb. 2C). In Abb. 2D stellen wir beispielhaft zwei Muster dar, die durch Defokussierung der akustischen Linse und Anregung von Rayleigh-Wellen erzeugt werden30. Die beiden Muster deuten auf ein TSV ohne und mit Inhomogenität hin, markiert mit einem grünen „Chartreuse“- bzw. einem roten Rechteck.

Rasterakustische Mikroskopie-C-Scan-Bilddaten, die für Tests auf Waferebene verwendet werden. (A) Gesamt-C-Scan-Bild eines Viertelwaferstücks durch Defokussierung der akustischen Linse mit einer Nennfrequenz von 100 MHz und einem Öffnungswinkel von 60° mit etwa 10.000 TSV. (B) ROI-1 enthält generierte Muster im C-Scan von etwa 800 TSVs durch Defokussierung der akustischen Linse. (C) Vergrößertes C-Scan-Bild von ROI-2 mit 6 TSVs. (D) Charakteristische C-Scan-Muster, die auf ein TSV mit ungestörten („chartreuse“, grünes Rechteck) und gestörten (rotes Rechteck) Rändern hinweisen, die mit einem guten TSV bzw. einem TSV verbunden sein können, das auf eine Inhomogenität hindeutet (roter gestrichelter Kreis). .

Abbildung 3 veranschaulicht den automatisierten TSV-Fehleranalyse-Workflow in Bezug auf Training und Tests, basierend auf den extrahierten C-Scan-SAM-Daten. Der Workflow besteht aus zwei sequentiell verknüpften CNN-Architekturen, die wir als End-to-End Convolutional Neural Network (E2E-CNN) bezeichnen. Das erste CNN (CNN1) dient der Lokalisierung der TSVs, während das zweite CNN (CNN2) in der Lage ist, Tausende von TSVs zu klassifizieren. Weitere Einzelheiten finden Sie im Abschnitt zur Methode.

Workflow der automatisierten TSV-Lokalisierung und -Klassifizierung mithilfe des End-to-End Convolutional Neural Network (E2E-CNN). Workflow für Training und Tests einschließlich der Architekturen von CNN1 und CNN2. SAM-C-Scan-Bilddaten werden als Eingabe in CNN1 für die TSV-Lokalisierung mithilfe eines Schiebefenster-TSV-Detektors verwendet. Für das Training werden zwei Sätze gekennzeichneter Daten verwendet, die durch „mit“ und „ohne“ TSVs (100 × 100 Pixel-Bilder) gekennzeichnet sind. CNN2 dient der Klassifizierung und verwendet die Ausgabe von CNN1 als Eingabe. CNN2 wird mit fünf Klassen trainiert, die anhand von fünf verschiedenen Mustern im C-Scan-Bild definiert sind. Die Klassen werden durch unterschiedliche Farben gekennzeichnet. Das abgebildete Testbild zur Qualitätsvorhersage zeigt beispielhaft 36 TSVs. Die Zwischen- und Endvorhersagen von E2E-CNN in einem ausgewählten rechteckigen Bereich werden als OUTPUT-CNN1 bzw. OUTPUT-CNN2 markiert. Lokalisierte TSVs in OUTPUT – CNN1 sind in der Farbe „Chartreuse“ markiert. Vorhergesagte Klassen von TSVs in OUTPUT – CNN2 werden durch die Farben angezeigt, die durch Grün (Klasse 1), Blau (Klasse 2) und Rot (Klasse 3) dargestellt werden.

Als Eingabe für CNN1 werden SAM-C-Scan-Bilddaten verwendet, die nicht durch die Bildgröße begrenzt sind. Die Ausgabe liefert Bildfelder mit charakteristischen TSV-Mustern. CNN2 klassifiziert die TSVs nach ihrer Qualität und nutzt die Ausgabe von CNN1 als Eingabe. Um CNN1 zu trainieren, verwenden wir zwei Sätze markierter Daten, die C-Scan-Bildfelder mit bzw. ohne TSVs enthalten. Die Ausgabe von CNN1 erkennt alle charakteristischen Muster, die für den beispielhaften ROI mit 36 ​​TSV in der Farbe „Chartreuse“ markiert sind. Während die Ausgabe von CNN2 basierend auf der Qualität der TSVs farbcodiert ist. Wir trainieren CNN2 mit fünf verschiedenen Klassen, die durch die Klassen 1 bis 5 gekennzeichnet sind. Die verschiedenen Klassen werden anhand der in den C-Scan-Daten gefundenen Muster zugewiesen. In der hier gezeigten beispielhaften Ausgabe von CNN2 sind 33 TSVs der Klasse 1, zwei der Klasse 2 und ein TSV der Klasse 3 zugeordnet. Die Klassen 4 und 5 sind im beispielhaften ROI nicht zu finden.

Im Bereich Computer Vision zur Objekterkennung gab es mehrere Fortschritte31. Viele Autoren schlugen Objektlokalisierungstechniken wie CNN-basierte Segmentierung, Sliding-Window-Ansatz usw. vor32,33,34. Abbildung 4A zeigt eine Darstellung der Schiebefenster-Detektorverarbeitung, die für die TSV-Lokalisierung verwendet wird. Ein Fenster mit einer Größe von 100 × 100 Pixeln wird ausgewählt, um mit den Schritten Sx und Sy in x- bzw. y-Richtung über das C-Scan-Bild zu gleiten. Diese spezielle Fenstergröße passt gut, um die charakteristischen Muster jedes TSV abzudecken. Für das Training von CNN1 wird jedes dieser Fenster einzeln gespeist, um die TSVs in den SAM-C-Scan-Bildern zu lokalisieren. Für die Testbilder werden zwei Sätze generiert. Der erste Satz enthält die C-Scan-Bilder von TSVs in der Mitte des Begrenzungsrahmens. Für den zweiten Satz werden das Bild mit Hintergrund und/oder ein beliebiges Bild mit nicht zentrierten TSVs (siehe ergänzende Abbildung S2) verwendet. Da der Datensatz für CNN1 nur zwei kategoriale Merkmale enthält, weisen wir beim Training mithilfe der Hot-Kodierung35,36 dem ersten Satz einen Binärcode „1“ und dem zweiten Satz einen Binärcode „0“ zu.

Nicht-sequentieller Schiebefensterdetektor für effiziente TSV-Lokalisierung. (A) Schematische Darstellung des Schiebefensterverfahrens in CNN1. Bildgröße von 100 × 100 Pixel in x- und y-Richtung mit Schritten Sx bzw. Sy. (B) Details zum Schiebefensterdetektor. Die Methode implementiert eine Faltungsschicht am Endknoten, die die Vorhersagen auf nicht-sequentielle Weise ermöglicht.

Wir führen einen nichtsequentiellen Schiebefensterdetektoransatz durch, wie in Abb. 4B dargestellt. Weitere Einzelheiten finden Sie im Abschnitt „Methode“. Ein wesentlicher Nachteil eines sequenziellen Ansatzes34, siehe auch Ergänzende Materialien, Abb. S5, ist der Rechenaufwand sowie der Zeitaufwand für das Trainings- und Testergebnis. Wir zeigen, dass durch die Verwendung einer Faltungsschicht am Endknoten34 die Trainingszeit von Stunden auf Minuten reduziert werden kann. Während der Testvorgang stattfindet, sagt das Modell mehrere Begrenzungsrahmen37 voraus, basierend darauf, ob die extrahierten Merkmale aus dem Fenster zum ersten Satz oder zum zweiten Satz gehören, also 1 bzw. 0. Die nicht maximale Unterdrückung (NMS) wird angewendet (siehe ergänzende Abbildung S3), um die Vorhersagen mit dem höchsten Konfidenzwert zu finden. Sie liefert den besten Begrenzungsrahmen mit einer Größe von 100 × 100 Pixeln und definiert den TSV als Objekt. Die Vorhersage von CNN1 in einem C-Scan-Bild beispielhaft mit drei TSVs ist in Abb. 4B dargestellt. Erkannte TSVs werden in „Chartreuse“-farbigen Begrenzungsrahmen dargestellt. Die Vorhersagen von CNN1 in einem größeren C-Scan-Bild mit 864 TSVs sind in Abb. S4 dargestellt.

Das zweite CNN (CNN2) klassifiziert die lokalisierten TSVs im SAM-C-Scan-Bild. Daher sind die Eingaben von CNN2 die Vorhersagen von CNN1. Basierend auf den aus der SAM-Charakterisierung erhaltenen C-Scan-Daten definieren wir fünf Klassen für die Trainingsdatensätze, siehe Abb. 5. Die erste TSV-Klasse weist konzentrische kreisförmige oder ungestörte Streifen an der TSV-Position im C-SAM-Bild auf , Abb. 5A. Die zweite TSV-Klasse weist auf eine einzelne Inhomogenität innerhalb der kreisförmigen Streifen an verschiedenen Positionen entlang des Umfangs der Streifen hin, Abb. 5B. Die dritte TSV-Klasse stellt Muster mit mehreren Inhomogenitäten entlang des Randumfangs dar, Abb. 5C. Klasse 4 und Klasse 5, dargestellt in Abb. 5D und E, stellen Muster dar, die von Wasserblasen und weiteren Scan-Artefakten herrühren, die beispielsweise von einem Gating-Fehler oder einer hohen Scan-Geschwindigkeit herrühren. Weitere Details zur Architektur des CNN2 und den entsprechenden Schichtparametern finden Sie im Zusatzmaterial Abb. S6 und im Abschnitt „Methode“.

Trainingsdatensatz zur TSV-Klassifizierung mit fünf verschiedenen Klassen. Wir definieren fünf Klassen entsprechend den C-Scan-Daten. (A) Klasse 1 zeigt einen kreisförmigen homogenen Streifen an der Position des TSV an. (B) Klasse 2 stellt einen TSV mit einer einzigen Inhomogenität innerhalb des kreisförmigen Randes dar. (C) Klasse 3 zeigt beispielhaft TSVs mit mehreren Inhomogenitäten innerhalb des kreisförmigen Randes. (D) Klasse 4 zeigt ein C-Scan-Bild mit einem Artefakt, das aus einer Wasserblase resultiert. (E) Klasse 5 veranschaulicht ein Scan-Artefakt.

Abbildung 6A und B veranschaulichen die Trainings- und Validierungsgenauigkeit für die beiden CNN-Modelle. Für die TSV-Lokalisierung (CNN1) erreichen wir eine Genauigkeit von 100 % für die Validierung und das Training, d. h. wir sind in der Lage, jedes TSV aus dem SAM-C-Scan-Bild zu erkennen, siehe Abb. 6A. Abbildung 6B zeigt eine Genauigkeit für CNN2 von mehr als 96 %, die allein für die TSV-Klassifizierung im Hinblick auf Training und Validierung bestimmt ist. Um die Leistung des E2E-CNN-Modells zu zeigen, zeichnen wir außerdem den Trainings- und Validierungsverlust als Funktion der Epochen für CNN1 und CNN2 in der ergänzenden Abbildung S7 auf.

Vergleich zwischen SAM C-Scan-Bild und SEM-Daten. (A) Genauigkeitsdiagramm für die TSV-Lokalisierung (CNN1) einschließlich Training (rot) und Validierung (blau). (B) Genauigkeitsdiagramm für die TSV-Klassifizierung (CNN2) einschließlich Training (rot) und Validierung (blau). (C) Lokalisierte und klassifizierte TSVs im SAM-C-Scan-Bild unter Verwendung der E2E-CNN-Vorhersage. Farbige Kästchen zeigen lokalisierte TSVs und entsprechende zugewiesene Klassen an. (D) Vergrößerte Bilder für TSVs, die die Klassen 1 (grün), 2 (blau) und 3 (rot) anzeigen. (E) Repräsentative korrelierte REM-Bilder mit unterschiedlichen Ansichten und Vergrößerungen, um einen umfassenden Blick von der Seitenwand des TSV sowie von unten für Klasse 1 (keine Inhomogenität), 2 (Inhomogenität an der Seitenwand und am Boden) und 3 (Inhomogenität) zu erhalten an der Seitenwand).

In Abb. 6C zeigt ein repräsentatives SAM-C-Scan-Bild die vollautomatische Lokalisierung und Klassifizierung von TSVs, beispielhaft für die Klassen 1, 2 und 3. Bilder für die Klassen 1–3 mit höherer Vergrößerung sind in Abb. 6D dargestellt und verdeutlichen die unterschiedlichen Muster auch in Abb. 5 dargestellt. Zur weiteren Validierung vergleichen wir die SAM-C-Scan-Bilder für die Klassen 1, 2 und 3 mit korrelierten SEM-Charakterisierungsergebnissen. Wie aus den REM-Daten der Klasse 1 in Abb. 6E hervorgeht, wurde weder an der Seitenwand des TSV noch am Boden eine Inhomogenität festgestellt. Dies stimmt mit der Beobachtung überein, die für das C-Scan-SAM-Bild gemacht wurde, wo keine Inhomogenität in den Rändern zu erkennen ist. Die REM-Daten für Klasse 2 zeigen eine große Ansammlung an der Unterseite des TSV sowie an der Seitenwand. Hier ist ein charakteristisches Muster im SAM-Bild zu sehen, das auf eine einzelne Inhomogenität innerhalb der Streifen hinweist, siehe Abb. 6D. Für Klasse 3 zeigen die REM-Daten eine Delaminierung innerhalb der Seitenwand, siehe Abb. 6E. Hier zeigt das C-Scan-SAM-Bild für Klasse 3 ein Muster mit mehreren Inhomogenitäten in den Rändern, siehe Abb. 6D. Anhand der korrelierten REM-Daten kann eine eindeutige Zuordnung der verschiedenen C-Scan-Muster vorgenommen werden.

Die Erkennung und Qualitätsvorhersage von 864 TSVs aus SAM-C-Scan-Bildern vom Wafer ist in der ergänzenden Abbildung S8 dargestellt.

Im Folgenden vergleichen wir das entwickelte E2E-CNN-Modell mit den halbautomatisierten ML-Modellen. Für die halbautomatischen Modelle verwenden wir MLP, Entscheidungsbaum und Random Forest, wie in Tabelle 1 gezeigt. Für die halbautomatische Analyse ist es zur Erkennung der TSVs erforderlich, einen geometriebasierten Mustererkennungsalgorithmus wie den kreisförmigen Hough anzuwenden transform38,39. Die für die Trainings- und Merkmalsextraktionsschritte verwendete Datenkennzeichnung ist für MLP, Entscheidungsbaum und Random Forest gleich. Für das Training des halbautomatisierten ML-Modells definieren wir zwei TSV-Konfigurationen. Die erste Konfiguration zeigt TSVs mit ungestörten Streifen und die zweite TSVs mit gestörten Streifen in den SAM-C-Scan-Bildern, siehe ergänzende Abbildung S9.

Abbildung 7A zeigt die TSV-Lokalisierung für die halbautomatische ML-Analyse. Es werden Patches mit einer Größe von 100 × 100 Pixeln verwendet, die die charakteristischen Muster zeigen, gefolgt von der Erkennung von TSVs mithilfe der Kreis-Hough-Transformation, siehe Abb. 7A. Für die Extraktion relevanter Merkmale vergleichen wir zwei Verfahren, nämlich die Canny Edge Detection (CED)40 und haben eine einzigartige Art der Segmentierung mithilfe der Fringe Segmentation Technique (FriST) weiterentwickelt, weitere Einzelheiten finden Sie in den ergänzenden Abbildungen. Abschnitt S10, S11 und „Methode“.

Workflow der halbautomatischen binären Klassifizierung von TSV mithilfe von ML-Modellen. (A) Erkennung von TSVs über Hough-Kreise in einem SAM-C-Scan-Bild. (B) Binäre Klassifizierung von TSVs unter Verwendung extrahierter Merkmale aus den Techniken CED (Ansatz 1) und FriST (Ansatz 2). Sowie die Testphase, die zur Klassifizierung von TSVs als fehlerfreie oder defekte TSVs führt.

Für die binäre Klassifizierung von TSVs folgt auf die Merkmalsextraktion mittels CED oder FriST die Dimensionsreduktion mittels Hauptkomponentenanalyse (PCA), siehe Abb. 7B. Durch die Anwendung von PCA wählen wir die wichtigsten Merkmale aus der Ausgabe von CED oder FriST als Eingabe zum Trainieren des Modells aus. Weitere Einzelheiten finden Sie unter Methoden. Die Modellleistung aller untersuchten Modelle ist in Tabelle 1 zusammengefasst. Beachten Sie, dass aufgrund der Einschränkung des halbautomatischen Ansatzes in Bezug auf die Extraktion entscheidender Merkmale eine Analyse von 10.000 TSVs enorm zeitaufwändig ist, siehe auch Tabelle 1. Daher Aufgrund der begrenzten Möglichkeiten der halbautomatischen Modelle haben wir die Anzahl der TSVs für den Vergleich auf 96 TSVs verkleinert. Darüber hinaus sind in der ergänzenden Abbildung S8 Ergebnisse für das E2E-CNN mit einem ROI von 864 TSVs dargestellt.

Die Verwendung der FriST-Technik zeigt für alle drei halbautomatischen Modelle eine Verbesserung der Genauigkeit gegenüber der CED-Technik (siehe ergänzende Abbildung S12) aufgrund der spezifischen Extraktion gewünschter Merkmale für das Training. Ein allgemeiner Nachteil des halbautomatisierten Modells besteht jedoch darin, dass zum Trainieren und Testen des Modells eine spezifische Merkmalsextraktion erforderlich ist. Hier ist die Qualität und Auflösung der SAM-C-Scan-Bilder entscheidend für die anschließende Kennzeichnung des mit dem TSV verbundenen Musters. Daher bieten die halbautomatischen Modelle keine optimale Lösung, wenn es um die Erkennung und Klassifizierung umfangreicher TSV-Statistiken geht, da durch die Erhöhung des ROI Auflösung und Kontrast abnehmen.

Bemerkenswert ist, dass der E2E-CNN-Workflow im Vergleich zu den halbautomatischen Modellen nicht auf manuelle Techniken zur Merkmalsextraktion angewiesen ist. Daher übertrifft der CNN-basierte Ansatz die Leistung des halbautomatisierten ML-basierten Vorhersagemodells in Bezug auf Testzeit und Genauigkeit, wie in Tabelle 1 gezeigt. Tatsächlich erreicht keines der halbautomatisierten Modelle eine Genauigkeit von mehr als 90 % und Prüfzeiten unter 10 Min. Der Hauptgrund für die hohe Effizienz des E2E-CNN liegt in seiner Fähigkeit, mithilfe einer Reihe von Faltungsoperationen automatisch mehrere Schichten räumlicher Merkmale aus dem Eingabebild zu erkennen.

Vergleich zwischen den halbautomatischen ML-Modellen (MLP, DT & RF) und dem entwickelten vollautomatischen E2E-CNN-Modell zur TSV-Klassifizierung aus SAM-C-Scan-Bilddaten mit 96 TSVs zum Testen. Für die notwendige Merkmalsextraktion des halbautomatisierten Modells verwenden wir die CED- und die FriST-Techniken.

Im Folgenden nutzen wir das entwickelte E2E-CNN-Modell, um die statistischen Möglichkeiten für die Fehleranalyse aufzuzeigen. Die automatische optische Mikroskopie (AOM) ist eine herkömmliche, kosteneffiziente Methode zur Waferinspektion. Es hilft, Defekte innerhalb des TSV-Arrays zu lokalisieren, indem es zweidimensionale Defektkarten basierend auf Lichtmikroskopie bereitstellt, wie in Abb. 8A dargestellt. Zum Vergleich mit den SAM-Messungen und dem integrierten E2E-CNN-Modell wählen wir vier ROIs aus, die an verschiedenen Waferpositionen mit A, B, C und D gekennzeichnet sind. Wir werten die Statistiken hinsichtlich des Auftretens von TSVs mit und ohne Inhomogenitäten aus. Jeder einzelne für die zugrunde liegende Analyse ausgewählte ROI besteht aus 576 TSVs, weitere Informationen finden Sie im Abschnitt „Methode“. Abbildung 8B und C veranschaulichen beispielhaft die aus den SAM-Bilddaten gewonnene Defektkarte sowie die anschließende E2E-CNN-Analyse für ROI D bzw. eine weitere Vergrößerung für ROI D-1. Letzteres gibt den TSV-Standort sowie die TSV-Einstufung nach Klasse 1–5 an. In diesem ROI werden 568 von 576 TSVs korrekt klassifiziert, was einer Genauigkeit von mehr als 96 % entspricht. Weitere C-Scans mit Vorhersageergebnissen basierend auf dem E2E-CNN-Modell für ROI A, ROI B und ROI C sind im Zusatzmaterial Abb. S13 dargestellt.

Statistische Analyse aus der vollautomatischen E2E CNN-basierten Fehleranalyse und der optischen Fehleranalyse. (A) Defektkarte der automatischen optischen Mikroskopie (AOM) des Siliziumwafers mit TSVs. Für den weiteren Vergleich mit dem E2E-CNN-Modell werden vier ROIs (ROI A bis ROI D) ausgewählt. Diese ausgewählten ROIs für die Fehleranalyse werden in roten rechteckigen Kästchen markiert. Mängel werden als schwarze Punkte dargestellt. (B) Fehleranalyse, durchgeführt am SAM-C-Scan-Bild von ROI D unter Verwendung des vollautomatischen E2E-CNN. Alle vom E2E-CNN-Modell erkannten inhomogenen TSVs werden in gelb gefüllten rechteckigen Kästchen markiert. Der Teilbereich ROI D-1 wird als gestrichelte rechteckige Kästchen hervorgehoben. (C) Vergrößertes Bild von ROI D-1. Lokalisierte und klassifizierte TSVs, die von E2E-CNN angezeigt werden, sind grün (Klasse 1), blau (Klasse 2) und rot (Klasse 3) markiert. (D) Fehleranalyse mit den aus den SAM- und AOM-Daten extrahierten Ergebnissen für die ausgewählten ROIs. Die ausgewerteten Statistiken für TSVs mit und ohne Inhomogenitäten im Diagramm sind in roter bzw. grüner Farbe markiert. (E) Extrahierte Statistiken in Bezug auf die verschiedenen Fehlerklassen 1 bis 5 für ROI A bis D, erhalten vom E2E-CNN basierend auf den SAM-Ergebnissen.

Bemerkenswert ist, dass die extrahierten Statistiken gemäß Abb. 8D einen ähnlichen Trend für die AOM- und die SAM-basierte Methode veranschaulichen. ROI C zeigt für beide Ansätze den höchsten Wert mit inhomogenen TSVs und ROI D den niedrigsten Wert. Die dargestellten Ergebnisse sind in Tabelle 2 zusammengefasst. Allerdings zeigt die SAM-basierte Inspektion unter Verwendung des E2E-CNN-Modells eine höhere Anzahl von TSVs mit Inhomogenitäten als die optische Inspektion.

Darüber hinaus stellen wir in Abb. 8E statistische Informationen in Bezug auf verschiedene Klassen bereit, die vom E2E-CNN-Modell für verschiedene mit A bis D gekennzeichnete ROIs vorhergesagt werden. Klasse 2, wie in Abb. 6 angegeben, zeigt eine Mischung aus Seitenwand- und Bodendefekten und zeigt die an Klasse mit der höchsten Fehleranzahl. Normalerweise eignet sich AOM zur Erkennung von Bodendefekten und ist fehleranfällig für Seitenwanddefekte20,22. Der Unterschied zwischen den AOM- und SAM-E2E-CNN-Daten, wie in Abb. 8D dargestellt, kann jedoch nicht vollständig durch eine ungenaue Seitenwanderkennung erklärt werden, da Klasse 3, die hauptsächlich Defekte in der Seitenwand widerspiegelt, nur etwa 10–20 % davon enthält vom E2E-CNN-Modell vorhergesagte Gesamtdefekte.

Wir argumentieren, dass die höhere Fehleranzahl beim akustischen Ansatz hauptsächlich auf die erhöhte Erkennungsempfindlichkeit zurückzuführen ist. Das heißt, den Erkenntnissen zufolge führen die erzeugten akustischen Wellen innerhalb des TSV zu einer starken Wechselwirkung mit den am Boden und an den Seitenwänden vorhandenen Inhomogenitäten.

Zusammenfassend haben wir einen auf Faltungs-Neuronalen Netzwerken basierenden Workflow entwickelt, der (1) die Charakterisierung Tausender TSVs auf Waferebene, (2) die Lokalisierung defekter TSVs und (3) die Klassifizierung der einzelnen TSVs nach ihrem Defektgrad ermöglicht und Generierung statistischer Informationen über die klassifizierten TSVs. Wir verwenden einen einzigartigen SAM-Ansatz, um die Bilddaten der industrierelevanten TSV-Arrays, die aus bis zu Tausenden von TSVs bestehen, kosten- und zeiteffizient zu generieren. Der SAM-Ansatz ist in der Lage, Informationen von der Unterseite und auch von der Seitenwand des TSV mit höherer Erkennungsempfindlichkeit abzurufen, wie für AOM gezeigt. Der vollautomatische E2E-CNN-Workflow bietet eine Genauigkeit für die Lokalisierung und Klassifizierung von 100 % bzw. über 96 %. Darüber hinaus untersuchen wir die Möglichkeiten der TSV-Erkennung mithilfe weiterer maschineller Lernansätze wie MLP, Decision Tree und Random Forest-Modellen im Vergleich zum E2E-CNN. Tatsächlich zeigt die Analyse, dass diese ML-Ansätze hinsichtlich Zeit, Kosten und Genauigkeit nicht mit dem entwickelten E2E-CNN-Modell konkurrieren können. Die Trainings- und Testzeit für die halbautomatischen Modelle ist zeitaufwändig, da spezifische Verfahren zur Merkmalsextraktion sowohl für Trainings- als auch für Testbilder unerlässlich sind. Ein großer Nachteil besteht darin, dass notwendige Mustererkennungsalgorithmen im Allgemeinen stark von der Qualität der Bilddaten abhängen. Daher ist eine ausreichende Bildauflösung und ein ausreichender Kontrast zur Erkennung des TSV zwingend erforderlich. Die Vorverarbeitung des gewonnenen SAM-C-Scan-Bildes mithilfe von Pixelhelligkeitstransformationen wie Histogrammausgleich41 oder durch Anwendung verschiedener Schwellenwerttechniken wie adaptiver Schwellenwert42 und binärer Schwellenwert43 kann dazu beitragen, die Bildqualität für die weitere Verarbeitung zu verbessern. Unser hochpräzises Modell macht jedoch die zeitaufwändige manuelle Inspektion oder Vorverarbeitung der C-Scan-Bilder überflüssig. Dadurch eignet sich das E2E-CNN-Modell hervorragend für die Analyse größerer C-Scan-Bilder mit charakteristischen Mustern von Tausenden von TSVs. Darüber hinaus ist der vorgestellte E2E-CNN-Workflow zur automatisierten Fehlerinspektion nicht auf die Analyse von SAM-Bilddaten beschränkt, sondern kann auch auf andere Bildgebungsverfahren angewendet werden.

Through Silicon Vias (TSV) sind Schlüsselkomponenten für die 3D-Integrationstechnologie, die eine wichtige Rolle bei der Miniaturisierung und Verbesserung der Funktionalität mikroelektronischer Geräte spielt12,44. TSVs ermöglichen eine elektrische Verbindung durch verschiedene Schichten der 3D-Stacks. Diese metallisierten Vias werden durch das Ätzen von Löchern in das Silizium und das anschließende Füllen oder Beschichten mit einem leitfähigen Material – geschlossene bzw. offene TSVs – erhalten. Obwohl die geschlossene TSV-Konstruktion einen sehr geringen Kontaktwiderstand aufweist, leiden sie aufgrund der Nichtübereinstimmung des Wärmeausdehnungskoeffizienten zwischen Silizium und dem Füllmaterial unter einem hohen Grad an mechanischer Belastung45. Daher ersetzt die mit Wolfram ausgekleidete offene TSV-Technologie die geschlossene TSV-Technologie, wenn die Wärmeausdehnung von besonderer Bedeutung ist46. In dieser Arbeit verwenden wir eine offene TSV-Technologie mit einem Durchmesser von 100 µm und einer Tiefe von 250 µm. Ein potenzielles Problem im Zusammenhang mit einem offenen Design ist die hohe Eigenspannung des Wolframs nach dem Abscheidungsprozess, die je nach Qualität der darunter liegenden Schichten zu Rissen, Delaminationen oder Ansammlungen entweder an der Seitenwand oder am TSV-Boden45 führen kann. Für diese Forschung hat die ams-OSRAM AG, Premstätten, Österreich, Wafer mit künstlich erzeugten Defekten in TSVs durch Änderungen im normalen Herstellungsprozess versehen. Diese TSVs mit unbekannten Defekten an unbekannten Orten werden mithilfe von SAM zerstörungsfrei erkannt.

Das für diese Studie verwendete SAM ist ein modifiziertes Setup der PVA TePla Analytical Systems GmbH, Deutschland, mit einer ADC-Karte mit 8-Bit-Auflösung und einer Abtastrate von 5 Giga-Samples/s sowie einer Tone-Burst-Konfiguration mit einer Burst-Länge von 10 ns. Um mit unserem Ansatz das charakteristische Muster zu erhalten, verwenden wir einen Wandler mit einer Zentralfrequenz von 100 MHz und einer Linse mit einem Öffnungswinkel von 60°, der Rayleigh-Wellen anregen kann30. Die Reflexionen der Probe werden mit der Software „WinSAM 8.0.2293.0“ der Firma PVA TePla analysiert. Die Scanrate von SAM mit unserem Ansatz beträgt etwa 1000 TSVs pro 45 Minuten bei einer Auflösung von 2 µm/Pixel.

Wir klassifizieren die charakteristischen C-Scan-SAM-Muster mithilfe halb- und vollautomatischer ML-Modelle. Für das vollautomatische Modell ist ein End-to-End Convolutional Neural Network (E2E-CNN) mit zwei CNN-Architekturen, angegeben durch CNN1 und CNN2, für die Lokalisierung bzw. Klassifizierung der TSVs vorgesehen.

CNN1 – Die Architektur des CNN1 umfasst drei Faltungsschichten mit 32, 32, 64 Filtern und zwei Max-Pooling-Schichten, die in einer gestapelten Reihenfolge angeordnet sind, siehe auch ergänzende Abbildung S7 bezüglich des Architekturauswahlprozesses. Wir haben einen 2D-Kernel verwendet, um Merkmale aus dem Bild auf jeder Ebene des CNN zu extrahieren. Diese Kernel führen eine Merkmalsextraktion durch, indem sie ein Skalarprodukt zwischen Teilregionen im Bild mitnehmen. Die erste Schicht des CNN1 besteht aus einer Faltungsschicht mit einer Kernelgröße von 3 × 3, wodurch die Dimension der Eingabe auf 98 × 98 × 32 reduziert wird. Die zweite Schicht ist eine Max-Pooling-Schicht mit einer Kernelgröße von 2 × 2 und Schritt 2. Die dritte Schicht ist eine Faltungsschicht mit einem weiteren 3 × 3-Kernel. Diese Schicht reduziert die Dimension der Features auf 47 × 47 × 32. Die Ausgabe der dritten Schicht wird an die vierte Schicht weitergeleitet, bei der es sich um eine Max-Pooling-Schicht handelt. Diese Schicht hat die gleiche Kernelgröße wie die erste Pooling-Schicht. Die fünfte Schicht ist wiederum eine weitere Faltungsschicht mit einer Kerngröße von 3 × 3 und reduziert die Dimension der Merkmale weiter auf 21 × 21 × 64. Die Ausgabeschicht von CNN1 stellt eine Faltungsschicht mit einer Sigmoid-Aktivierungsfunktion47 dar, die Vorhersagen im Bereich von Null macht auf eins, abhängig davon, ob der TSV erkannt wird oder nicht. Die Ausgabefaltungsschicht besteht aus einem Filter mit einer Kernelgröße von 21 × 21. Um CNN1 zu trainieren, verwenden wir einen Datensatz mit insgesamt 20.000 Bildern. Wir teilen die gesamten Bilddaten von CNN1 in 70 % für das Training und 30 % für die Validierung auf, um die Modellleistung zu bewerten. Das heißt, der Trainingsstapel und der Validierungsstapel bestehen aus 14.000 bzw. 6.000 Bildern.

CNN2 – Es besteht aus sechs Faltungsschichten mit 32, 32, 64, 64, 64, 128 Filtern und drei Max-Pooling-Schichten, siehe auch ergänzende Abbildung S7 bezüglich des Architekturauswahlprozesses. Die Ausgabeschicht von CNN2 ist eine vollständig verbundene Schicht mit einer Softmax-Aktivierungsfunktion47, die jeder Klasse Dezimalwahrscheinlichkeiten zuweist. Der gesamte Datensatz von CNN2 besteht aus 6865 Bildern mit 100 × 100 Pixeln. Es zeigt fünf Ausgabeklassenbezeichnungen, die die verschiedenen charakteristischen Muster darstellen, die im C-Scan-Bild dargestellt sind, Abb. 5. Aus einem Datensatz von 6865 Bildern werden 5151 Bilder zum Training des Modells und 1.714 Bilder zur Validierung des Modells verwendet. Wie oben beschrieben ist die Eingabe in CNN2 ein C-Scan-Bildfeld mit 10.000 Pixelwerten, also Bildfelder mit dem charakteristischen Muster jedes einzelnen TSVs. Die Eingabe wird mit zwei 32 3 × 3-Filtern gefaltet. Dadurch wird die Eingabedimension auf 96 × 96 × 32 reduziert. Die dritte Schicht ist eine Max-Pooling-Schicht mit Schritt 2. Die folgenden drei Schichten sind Faltungsschichten, die übereinander gestapelt sind und 64 Merkmale durch einen 3 × 3-Filter lernen. Die Ausgabe dieser Schichten hat eine Größe von 42 × 42 × 64 und wird an die nächste maximale Pooling-Schicht weitergeleitet. Die achte Schicht von CNN2 ist eine weitere Faltungsschicht, die 128 Merkmale durch einen 3 × 3-Filter lernt. Die Ausgabe der folgenden Max-Pooling-Schicht wird abgeflacht und dient als Eingabe für die dichte Schicht mit fünf Ausgabeknoten. Alle Faltungsschichten von CNN2 gehen mit einem Schritt = 1 und einer Aktivierung einer gleichgerichteten linearen Einheit (ReLu) vor.

Die Eingabe für die Merkmalsextraktoren sind 3044 SAM-C-Scan-Bilder von TSVs mit 10.000 Pixeln, also ein Begrenzungsrahmen mit charakteristischem Muster von TSVs. Dieser Begrenzungsrahmen wird aus der Mitte der mithilfe von Hough-Kreisen ermittelten TSVs ermittelt. Aus diesen Bildfeldern werden mithilfe von Ansatz 1 (CED) und Ansatz 2 (FriST) zwei Sätze von Merkmalen extrahiert. Für das Training der MLP-, DT- und RF-Modelle, wie in Tabelle 1 gezeigt, verwenden wir 70 % des gesamten Datensatzes für das Training des Modells und 30 % des gesamten Datensatzes für die Validierung des Modells. Für das Training und die Validierung des Entscheidungsbaums und des Random Forest haben wir mithilfe von CED- und FriST-Techniken dieselben Funktionen wie für das MLP extrahiert. Das modellierte MLP besteht aus einer Eingabeschicht mit 1000 Knoten, verborgenen Schichten mit 250, 125, 50 Knoten und einem Ausgabeknoten. Der zur Gewichtsoptimierung verwendete Löser ist Limited Memory Broyden Fletcher Goldfarb Shanno (LBFGS) und Kreuzentropie zur Messung der mit den Vorhersagen verbundenen Strafe (Verlustfunktion).

Canny Edge Detection (CED): Bevor wir Kanteninformationen aus TSV-Streifen extrahieren, haben wir den Gaußschen Filter angewendet, um alle im Bild vorhandenen Scanartefakte oder Rauschen zu entfernen. Dann haben wir mithilfe eines CED-Algorithmus Randkanten daraus erkannt. Die so erhaltenen Kantenmerkmale werden durch Anwendung von PCA auf diese Daten weiter eingegrenzt.

Fringe Segmentation Technique (FriST): Hier enthält die Bounding Box die vorverarbeiteten charakteristischen Muster mittels adaptiver Schwellenwertbildung. Dann wird ein Kreis mit Einheitsradius in der Mitte des vorverarbeiteten Bildes betrachtet. Der Radius dieses Kreises wird iterativ vergrößert, bis er das Ende des Begrenzungsrahmens erreicht (siehe ergänzende Abbildung S10). Auf den C-Scan-Bildern liegen die Informationen zu den TSVs hauptsächlich in den beiden inneren Rändern. Bei jedem Schritt wird die Gesamtzahl der schwarzen Pixel aufgetragen, die am Umfang dieses Kreises liegen. Der erste und der zweite Peak im Diagramm entsprechen den interessierenden Rändern und behalten daher diese Bereiche von Bildsegmenten bei, indem alle Pixel, die hinter diesen beiden Peaks liegen, auf 255 gesetzt werden (siehe ergänzende Abbildungen S10 und S11). Diese Schritte werden nacheinander für jedes TSV wiederholt, um die relevanten Merkmale aus den Rändern zu extrahieren. Die relevanten, mithilfe der FriST-Technik segmentierten ROIs werden ebenfalls in PCA eingespeist.

Für das E2E-CNN-Modell ist keine Vor- oder Nachbearbeitung von SAM-C-Scan-Bildern erforderlich, wohingegen wir bei der halbautomatischen TSV-Lokalisierung und -Klassifizierung abhängig von der Qualität des SAM-C-Scan-Bildes das Bild mit verschiedenen Bildverarbeitungstechniken vorbereiten müssen wie Kontrastverstärkung, Filterung, Schwellenwertbildung und so weiter. Typischerweise können 10.000 TSVs analysiert werden. Eine Bilddatei mit 2 μm/Pixel weist eine Dateigröße von 600 MB auf. Daher wählen wir für die weitere Analyse ROIs mit etwa 576 TSVs aus, wobei wir die begrenzte Rechenleistung berücksichtigen. Für CNN 2 haben wir TSVs mit charakteristischen Mustern der Klassen 4 und 5 ergänzt. Solche C-Scan-Bilder weisen auf Wasserblasen und Scan-Artefakte hin und sind eher selten. Die Größe des erweiterten Datensatzes zusammen für Klasse 4 und Klasse 5 beträgt 537. Für die Erweiterung haben wir hauptsächlich Spiegeln, Drehen, Vergrößern und Verkleinern verwendet.

Alle Daten, die die Ergebnisse dieser Studie stützen, sind auf begründete Anfrage beim entsprechenden Autor erhältlich.

Der gesamte Code, der die Ergebnisse dieser Studie unterstützt, ist auf begründete Anfrage beim entsprechenden Autor erhältlich.

Raj, B., Jayakumar, T. & Thavasimuthu, M. Praktische zerstörungsfreie Prüfung. (Woodhead Publishing, 2002).

Kumar, S. & Mahto, DG Aktuelle Trends bei industriellen und anderen technischen Anwendungen der zerstörungsfreien Prüfung: ein Überblick. Int. J. Sci. Ing. Res. 4, (2013).

Virkkunen, I., Koskinen, T., Jessen-Juhler, O. & Rinta-Aho, J. Erweiterte Ultraschalldaten für maschinelles Lernen. J. Nondestruct. Auswertung 40, 1–11 (2021).

Artikel Google Scholar

Huang, Y.-J., Pan, C.-L., Lin, S.-C. & Guo, M.-H. Maschineller Lernansatz zur Erkennung und Klassifizierung von Fehlern in TSV-basierten 3D-ICs. IEEE Trans. Compon. Paket. Hersteller Technol. 8, 699–706 (2018).

Artikel CAS Google Scholar

Hsu, P.-N. et al. Künstliche Intelligenz (Deep Learning) für die 3D-IC-Zuverlässigkeitsvorhersage. Wissenschaft. Rep. 12, 1–7 (2022).

Artikel ADS Google Scholar

Liu, H., Fang, R., Miao, M., Yang, Y. & Jin, Y. Fehlererkennung für den TSV-Übertragungskanal mithilfe des maschinellen Lernansatzes, 2019 IEEE 69. Electronic Components and Technology Conference (ECTC) 2168– 2172 (2019).

Wang, Z., Liu, X., He, Z., Su, L. & Lu, X. Intelligente Erkennung von Flip-Chips mit der akustischen Rastermikroskopie und dem allgemeinen neuronalen Regressionsnetzwerk. Mikroelektron. Ing. 217, 111127 (2019).

Artikel CAS Google Scholar

Albawi, S., Mohammed, TA & Al-Zawi, S. Verständnis eines Faltungs-Neuronalen Netzwerks, 2017 International Conference on Engineering and Technology (ICET) 1–6 (2017).

Aloysius, N. & Geetha, M. Ein Überblick über tiefe Faltungs-Neuronale Netze. 2017 Internationale Konferenz über Kommunikation und Signalverarbeitung (ICCSP) 588–592 (2017).

Gu, J. et al. Jüngste Fortschritte bei Faltungs-Neuronalen Netzen. Mustererkennung. 77, 354–377 (2018).

Artikel ADS Google Scholar

Koester, SJ et al. 3D-Integrationstechnologie auf Waferebene. IBM J. Res. Entwickler 52, 583–597 (2008).

Artikel CAS Google Scholar

Motoyoshi, M. Through-Silicon Via (TSV). Proz. IEEE 97, 43–48 (2009).

Artikel CAS Google Scholar

Shen, W.-W. & Chen, K.-N. Schlüsseltechnologie für dreidimensionale integrierte Schaltkreise (3D IC): Through-Silicon Via (TSV). Nanoskalige Res. Lette. 12, 1–9 (2017).

Artikel ADS Google Scholar

Lu, KH et al. Durch thermische Belastung verursachte Delamination von durchgehenden Silizium-Durchkontaktierungen in 3D-Verbindungen, in 2010 Proceedings 60th Electronic Components and Technology Conference (ECTC) 40–45 (2010).

Ranganathan, N., Prasad, K., Balasubramanian, N. & Pey, KL Eine Studie über thermomechanische Spannung und ihre Auswirkungen auf Durchkontaktierungen durch Silizium. J. Mikromech. Mikroeng. 18, 75018 (2008).

Artikel Google Scholar

Tsai, M., Klooz, A., Leonard, A., Appel, J. & Franzon, P. Through Silicon Via (TSV) Defekt-/Pinhole-Selbsttestschaltung für 3D-IC, auf der IEEE International Conference on 3D System Integration 2009 1–8 (2009).

Chakrabarty, K., Deutsch, S., Thapliyal, H. & Ye, F. TSV-Defekte und TSV-induzierte Schaltungsausfälle: Die dritte Dimension in Test und Design-for-Test, im IEEE International Reliability Physics Symposium (IRPS) 2012 5F–1 (2012).

Dom, BE & Brecher, V. Jüngste Fortschritte bei der automatischen Prüfung integrierter Schaltkreise auf Musterfehler. Mach. Vis. Appl. 8, 5–19 (1995).

Artikel Google Scholar

Bazu, M. & Bajenescu, T. Fehleranalyse: Ein praktischer Leitfaden für Hersteller elektronischer Komponenten und Systeme. Bd. 4 (John Wiley & Sons, 2011).

Kozic, E. et al. Erkennung von Metallisierungsfehlern in 3D-integrierten Bauteilen mithilfe akustischer Rastermikroskopie und akustischer Simulationen. Mikroelektron. Zuverlässig. 88, 262–266 (2018).

Artikel Google Scholar

Chen, Q., Huang, C., Wu, D., Tan, Z. & Wang, Z. Durchkontaktierungen aus Silizium mit extrem geringer Kapazität und ringförmigen Luftspalt-Isolierschichten. IEEE Trans. Electron Devices 60, 1421–1426 (2013).

Artikel ADS CAS Google Scholar

Abd Al Rahman, M. & Mousavi, A. Eine Überprüfung und Analyse automatischer optischer Inspektions- und Qualitätsüberwachungsmethoden in der Elektronikindustrie. IEEE Access 8, 183192–183271 (2020).

Artikel Google Scholar

Reimer, L. Rasterelektronenmikroskopie: Physik der Bildentstehung und Mikroanalyse. Mess. Wissenschaft. Technol. 11(12), 1826–1826 (2000).

Artikel ADS Google Scholar

Zhou, W., Apkarian, R., Wang, ZL & Joy, D. Grundlagen der Rasterelektronenmikroskopie (SEM), in Scanning Microscopy for Nanotechnology 1–40 (Springer, 2006).

Pacheco, M. & Goyal, D. Röntgen-Computertomographie zur zerstörungsfreien Fehleranalyse in der Mikroelektronik, 2010 IEEE International Reliability Physics Symposium 252–258 (2010).

Zschech, E. et al. Labor-Computerröntgentomographie – eine zerstörungsfreie Technik zur 3D-Mikrostrukturanalyse von Materialien. Üben. Metallogr. 55, 539–555 (2018).

Artikel ADS Google Scholar

Cassidy, C., Teva, J., Kraft, J. & Schrank, F. Through Silicon Via (TSV)-Defektuntersuchungen mittels lateraler Emissionsmikroskopie. Mikroelektron. Zuverlässig. 50, 1413–1416 (2010).

Artikel CAS Google Scholar

da Fonseca, RJM et al. Rasterakustische Mikroskopie – aktuelle Anwendungen in der Materialwissenschaft. Adv. Mater. 5, 508–519 (1993).

Artikel Google Scholar

Zhang, G.-M., Harvey, DM & Braden, DR Mikroelektronische Paketcharakterisierung mittels akustischer Rastermikroskopie. NDT E Int. 40, 609–617 (2007).

Artikel CAS Google Scholar

Briggs, A., Briggs, GAD & Kolosov, O. Akustische Mikroskopie. Bd. 67 (Oxford University Press, 2010).

Zou, Z., Shi, Z., Guo, Y. & Ye, J. Objekterkennung in 20 Jahren: Eine Umfrage. arXiv Prepr. arXiv:1905.05055 (2019).

LeCun, Y., Huang, FJ & Bottou, L. Lernmethoden für generische Objekterkennung mit Invarianz gegenüber Pose und Beleuchtung, in Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004. CVPR 2004. vol. 2 II--104 (2004).

Delakis, M. & Garcia, C. Texterkennung mit Faltungs-Neuronalen Netzen. VISAPP 2, 290–294 (2008).

Google Scholar

Sermanet, P. et al. Overfeat: Integrierte Erkennung, Lokalisierung und Erkennung mithilfe von Faltungsnetzwerken. arXiv Prepr. arXiv1312.6229 (2013).

Lu, H. Quasi-orthonormale Kodierung für Anwendungen des maschinellen Lernens. arXiv Prepr. arXiv2006.00038 (2020).

Chen, T., Min, MR & Sun, Y. Lernen k-way d-dimensionaler diskreter Codes für kompakte Einbettungsdarstellungen, in International Conference on Machine Learning 854–863 (2018).

Redmon, J., Divvala, S., Girshick, R. & Farhadi, A. Sie schauen nur einmal hin: Einheitliche Objekterkennung in Echtzeit, in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 779–788 (2016) .

Shih, FY Bildverarbeitung und Mustererkennung: Grundlagen und Techniken. (John Wiley & Sons, 2010).

Grünwald, E. et al. Automatisierte Fehleranalyse von wolframbeschichteten TSVs mittels akustischer Rastermikroskopie. Mikroelektron. Zuverlässig. 64, 370–374 (2016).

Artikel Google Scholar

Rong, W., Li, Z., Zhang, W. & Sun, L. Ein verbesserter CANNY-Kantenerkennungsalgorithmus, in 2014 IEEE International Conference on Mechatronics and Automation 577–582 (2014).

Petrou, MMP & Petrou, C. Bildverarbeitung: Die Grundlagen. (John Wiley & Sons, 2010).

Bradley, D. & Roth, G. Adaptives Schwellenwertverfahren unter Verwendung des Integralbildes. J. Graph. Werkzeuge 12, 13–21 (2007).

Artikel Google Scholar

Kohler, R. Ein Segmentierungssystem basierend auf Schwellenwerten. Berechnen. Graph. Bildprozess. 15, 319–338 (1981).

Artikel Google Scholar

Puech, M. et al. Herstellung von 3D-Verpackungs-TSV mit DRIE, 2008 Symposium on Design, Test, Integration and Packaging of MEMS/MOEMS 109–114 (2008).

Singulani, AP, Ceric, H. & Langer, E. Spannungsentwicklung auf einem Wolfram-Dünnfilm einer Open-Through-Silicium-Via-Technologie, in Proceedings of the 20th IEEE International Symposium on the Physical and Failure Analysis of Integrated Circuits (IPFA) 212– 216 (2013).

Filipovic, L., Singulani, A., Roger, F., Carniello, S. & Selberherr, S. Eigenspannungsanalyse von mit Wolfram ausgekleideten offenen TSVs. Mikroelektron. Zuverlässig. 55, 1843–1848 (2015).

Artikel CAS Google Scholar

Sharma, S., Sharma, S. & Athaiya, A. Aktivierungsfunktionen in neuronalen Netzen. Towar. Datenwissenschaft. 6, 310–316 (2017).

Google Scholar

Referenzen herunterladen

Wir danken der Österreichischen Forschungsförderungsgesellschaft (FFG) im Rahmen von Bridge Young Scientist, Proj. für die finanzielle Unterstützung. Nr. 872629, „REFORM“ und teilweise im Rahmen des COMET-Programms innerhalb des K2-Zentrums „Integrated Computational Material, Process and Product Engineering (IC-MPPE) (Proj.-Nr. 886385, P2.22). Dieses Programm wird unterstützt von die österreichischen Bundesministerien für Klimaschutz, Umwelt, Energie, Mobilität, Innovation und Technologie (BMK) und für Arbeit und Wirtschaft (BMAW), vertreten durch die Österreichische Forschungsförderungsgesellschaft (FFG), und die Bundesländer Steiermark, Oberösterreich und Tirol. Wir danken M. Gritzner, ams-OSRAM AG für die Unterstützung bei REM-Messungen.

Materials Center Leoben Forschung GmbH, Leoben, Austria

Priya Paulachan & Roland Brunner

ams-OSRAM AG, Premstätten, Österreich

Jörg Siegert

PVA TePla Analytical Systems GmbH, Westhausen, Deutschland

Ingo Wiesler

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

Sie können diesen Autor auch in PubMed Google Scholar suchen

RB, PP planten und führten den ML-Workflow durch. PP entwickelte die CNN-Architektur unter der Aufsicht von RB; JS stellte die Proben zur Verfügung. RB plante die SAM-Messungen. PP führte die SAM-Messungen durch. IW unterstützte die Modifikation des SAM. PP führte die Analyse unter Aufsicht von RB durch. RB und PP haben das Papier geschrieben. Alle Autoren diskutierten die Ergebnisse und kommentierten das Papier.

Korrespondenz mit Roland Brunner.

Die Autoren geben an, dass keine Interessenkonflikte bestehen.

Springer Nature bleibt neutral hinsichtlich der Zuständigkeitsansprüche in veröffentlichten Karten und institutionellen Zugehörigkeiten.

Open Access Dieser Artikel ist unter einer Creative Commons Attribution 4.0 International License lizenziert, die die Nutzung, Weitergabe, Anpassung, Verbreitung und Reproduktion in jedem Medium oder Format erlaubt, sofern Sie den/die Originalautor(en) und die Quelle angemessen angeben. Geben Sie einen Link zur Creative Commons-Lizenz an und geben Sie an, ob Änderungen vorgenommen wurden. Die Bilder oder anderes Material Dritter in diesem Artikel sind in der Creative Commons-Lizenz des Artikels enthalten, sofern in der Quellenangabe für das Material nichts anderes angegeben ist. Wenn Material nicht in der Creative-Commons-Lizenz des Artikels enthalten ist und Ihre beabsichtigte Nutzung nicht gesetzlich zulässig ist oder über die zulässige Nutzung hinausgeht, müssen Sie die Genehmigung direkt vom Urheberrechtsinhaber einholen. Um eine Kopie dieser Lizenz anzuzeigen, besuchen Sie http://creativecommons.org/licenses/by/4.0/.

Nachdrucke und Genehmigungen

Paulachan, P., Siegert, J., Wiesler, I. et al. Ein durchgängiges Faltungs-Neuronales Netzwerk zur automatisierten Fehlerlokalisierung und Charakterisierung von 3D-Verbindungen. Sci Rep 13, 9376 (2023). https://doi.org/10.1038/s41598-023-35048-0

Zitat herunterladen

Eingegangen: 19. Januar 2023

Angenommen: 11. Mai 2023

Veröffentlicht: 09. Juni 2023

DOI: https://doi.org/10.1038/s41598-023-35048-0

Jeder, mit dem Sie den folgenden Link teilen, kann diesen Inhalt lesen:

Leider ist für diesen Artikel derzeit kein Link zum Teilen verfügbar.

Bereitgestellt von der Content-Sharing-Initiative Springer Nature SharedIt

Durch das Absenden eines Kommentars erklären Sie sich damit einverstanden, unsere Nutzungsbedingungen und Community-Richtlinien einzuhalten. Wenn Sie etwas als missbräuchlich empfinden oder etwas nicht unseren Bedingungen oder Richtlinien entspricht, kennzeichnen Sie es bitte als unangemessen.