Wie bringt man eine Maschine dazu, wie ein Mensch zu klingen? Teil 2
Neuronale Netze (NNs) sind sehr gut darin, abstrakte Darstellungen von Daten zu extrahieren und sind daher ideal, um kognitive Eigenschaften in Geräuschen zu erkennen. Um ein System für diesen Zweck zu bauen, wollen wir zunächst untersuchen, wie Schall im menschlichen Hörorgan repräsentiert wird, was wir verwenden können, um neuronale Netze zu motivieren, Repräsentationen von Klangbedeutungen zu verarbeiten.
cochleäre Darstellung
Das menschliche Hören beginnt mit dem äußeren Ohr, das zunächst aus dem Vorhof besteht. Der Ohrhörer fungiert als eine Form der spektralen Vorverarbeitung des Klangs, bei der der Eingangsschall basierend auf seiner Ausrichtung relativ zum Zuhörer modifiziert wird. Der Schall tritt dann durch eine Öffnung im Atrium in den Gehörgang ein und modifiziert anschließend die spektralen Eigenschaften des eingehenden Schalls, indem er diese verstärkte Frequenz (im Bereich von ~ 1-6 kHz) in Resonanz bringt [1].
Wie man eine Maschine dazu bringt, wie ein Mensch zuzuhören
Darstellung des menschlichen Gehörs
Wenn die Schallwellen das Ende des Gehörgangs erreichen, erregen sie das Trommelfell, an dem die Gehörknöchelchen (die kleinsten Knochen im menschlichen Körper) befestigt sind. Diese Knochen übertragen den Druck vom Gehörgang auf die mit Flüssigkeit gefüllte Cochlea des Innenohrs [1]. Die Cochlea spielt eine wichtige Rolle bei der Lenkung der Darstellung von Klangbedeutungen für neuronale Netze (NN), da dies das Organ ist, das für die Übersetzung akustischer Schwingungen in menschliche neuronale Aktivität verantwortlich ist.
Es ist ein gewickelter Schlauch, der entlang seiner Länge durch zwei Membranen getrennt ist, die Reisner-Membran und die Basalmembran. In der gesamten Cochlea gibt es eine Reihe von etwa 3.500 inneren Haarzellen [1]. Wenn Druck in die Cochlea eindringt, drücken sich ihre beiden Membranen zusammen. Die Basalmembran ist an der Basis schmaler und steifer, an ihrer Spitze jedoch breiter und lockerer, wodurch die Reaktion bei einer bestimmten Frequenz an jeder Stelle entlang ihrer Länge stärker wird.
Einfach ausgedrückt kann man sich die Basilarmembran als einen Satz kontinuierlicher Bandpassfilter in Membranlänge vorstellen, die Töne in ihre Spektralkomponenten zerlegen.
Wie man eine Maschine dazu bringt, wie ein Mensch zuzuhören
Abbildung der menschlichen Cochlea
Dies ist der grundlegendste Mechanismus, durch den Menschen Schalldruck in neuronale Aktivität umwandeln. Daher ist davon auszugehen, dass die spektrale Darstellung von Schall vorteilhaft ist, wenn Modelle der Schallwahrnehmung mit künstlicher Intelligenz erstellt werden. Da der Frequenzgang in der Basilarmembran exponentiell variiert, ist eine logarithmische Darstellung der Frequenz wahrscheinlich am effizientesten. Eine solche Frequenzdarstellung kann unter Verwendung einer Filterbank von Gammatönen erzeugt werden. Diese Filter werden üblicherweise bei der Spektralfiltermodellierung des Hörsystems verwendet, da sie die Impulsantwort menschlicher Hörfilter abschätzen können, die von Hörnervenfasern als Reaktion auf eine Art von weißem Rauschen entstehen, das als “Revcor” -Funktion bezeichnet wird.
Wie man eine Maschine dazu bringt, wie ein Mensch zuzuhören
Vergleich der vereinfachten menschlichen Profiltransduktion und der digitalisierten Profiltransduktion
Die Cochlea hat etwa 3.500 innere Haarzellen, und Menschen können Lücken in Geräuschen von 2 bis 5 ms Länge erkennen, so dass die spektrale Zerlegung mit 3.500 Gammatonfiltern, die in 2-ms-Fenster unterteilt sind, wie eine Maschine erscheint, um ein dem Menschen ähnliches Spektrum zu erreichen bester darzustellender Parameter. In realen Szenarien glaube ich jedoch, dass eine geringere Spektralzerlegung bei den meisten Analyse- und Verarbeitungsaufgaben auch wünschenswerte Ergebnisse erzielt, während sie rechnerisch besser machbar ist.
Verschiedene Softwarebibliotheken für die Höranalyse sind online verfügbar. Ein wichtiges Beispiel ist das Gammatone Filterbank Toolkit von Jason Heeris, das nicht nur abstimmbare Filter bereitstellt, sondern auch Werkzeuge für die Spektralanalyse von Tonsignalen unter Verwendung von Gammatone-Filtern bereitstellt.
neuronale Kodierung
Wenn sich die neurale Aktivität von der Cochlea zum Hörnerv und den aufsteigenden Hörbahnen bewegt, finden mehrere Prozesse in den Kernen des Hirnstamms statt, bevor sie den Hörkortex erreichen.
Diese Verfahren bilden einen neuronalen Code, der die Interaktion zwischen dem Reiz und der Wahrnehmung darstellt. Viel mehr über die spezifischen Jobs innerhalb dieser Kernel sind noch Vermutungen oder unbekannt, also werde ich behandeln, wie sie auf hohem Niveau funktionieren.
