Month: June 2022

Musikähnlichkeitsmessung mit verlustbehafteter Komprimierung

Informationsverarbeitungsalgorithmus

Es gibt zwei Soundclips.

Es ist sehr ähnlich. Ich möchte messen, wie ähnlich sie wahrnehmungsmäßig sind, das heißt, wie ähnlich Menschen sie wahrnehmen. Gibt es eine Möglichkeit, zwei Clips mit einem verlustbehafteten Komprimierungsalgorithmus wie MP3, AAC oder dem Ogg Vorbis-Encoder zu vergleichen?

Mir ist aufgefallen, dass in Audiokompressoren bereits sehr viel Wissen über Psychoakustik und menschliche Klangwahrnehmung eingebaut ist. Gibt es eine gute Möglichkeit, sie zu verwenden, um zu messen, wie ähnlich zwei Clips sind?

vielleicht etwas wie L(C1||C2)/(L(C1)+L(C2))L(C1||C2)/(L(C1)+L(C2)), wobei L(X)L(X ) ist die komprimierte Dauer des Soundclips XX, und C1||C2C1||C2Ist das Ergebnis der Verkettung der beiden Clips? Oder finden Sie vielleicht die höchste Bitrate, wie diese F(C1)F(C1)nearF(C2))F(C2))Durch eine einfache Metrik (z. B. die auf das FFT-Spektrum angewendete L2-Norm), wobei F( C)F (C) ist das Ergebnis der Komprimierung von CCat diese Bitrate und die anschließende Dekomprimierung? Oder sowas ähnliches? Hat das jemand untersucht?

Wenn es darauf ankommt, die beiden Clips sind sich sehr ähnlich: Einer wird durch Transformation des anderen erhalten. Sie sind zeitlich ausgerichtet und haben die gleiche Länge. Jeder ist relativ kurz (höchstens einige Sekunden). Ich habe ein bisschen herumgesucht, aber keine Referenzen oder Forschungsarbeiten gefunden, die diesen Ansatz diskutiert haben, obwohl ich es vielleicht nicht getan habe.

Gibt es eine gute Möglichkeit, sie zu verwenden, um zu messen, wie ähnlich zwei Clips sind?

Es ist eine ziemlich vernünftige Intuition, aber eine, die ich selten in der Literatur sehe, abgesehen von der peripheren Idee der Feature-Extraktion aus einem komprimierten Stream (die Motivation hier ist einfach, die Rechenlast zu reduzieren).

Ich denke, der Hauptgrund ist, dass Audio-Codecs keine Wahrnehmungsdarstellungen von Audiodaten speichern. Stattdessen speichern sie eine sehr codezentrische Darstellung des Audiomaterials (Entropiecodierung, Quantisierung, Transformationskoeffizienten), die so gewählt ist, dass die Verzerrung zwischen dem ursprünglichen und dem codierten Signal unter einer wahrnehmbaren Schwelle liegt. In gewisser Weise sagt Ihnen das Betrachten eines komprimierten Audiostreams nicht, wie ein Mensch ein Audiosignal wahrnehmen würde. Es sagt Ihnen einfach, dass etwas unterhalb der Wahrnehmungsschwelle genommen wurde. Der Codec “formt” ein sinnvolles Audiosignal, berührt es aber nie.

wobei L(x) die komprimierte Dauer des Soundclips x ist und C1||C2 das Ergebnis der Verkettung der beiden Clips ist.

Das macht bei Saiten Sinn, ich denke, die Idee findet sich in einigen Cilibrasi- oder Vitanyi-Artikeln, aber so funktionieren Audio-Codecs nicht. Die von Ihnen erwähnten Audio-Codecs sind so konzipiert, dass sie Streaming-Audio mit geringer Latenz verarbeiten, sodass sie jeweils nur ein kurzes Fenster des Signals “sehen” und nicht versuchen, Redundanzen langfristig zu beseitigen. Als JPEG eines Bildes. Das Kopieren von 10 Instanzen derselben Notiz nacheinander führt zu einer 10-mal größeren Datei. Audio-Codecs haben entweder eine feste Bitrate oder eine adaptive Bitrate, die sich basierend darauf anpasst, was der Codec in einem schmalen Signalfenster sieht.

Die Redundanz, die Audio-Codecs eliminieren, ist sehr kurzfristig.

Ihre Idee erfordert einen komplexeren “objektorientierten” Codec, der versucht, Audio in eine Hierarchie von Objekten wie Musiknoten zu zerlegen. Die Idee steckt in der akademischen Welt noch in den Kinderschuhen.

Eine andere Betrachtungsweise besteht darin, zu prüfen, ob der Decodierungsprozess dem generativen Modell des Signals ähnlich ist. Dies ist bei einigen String-Komprimierungsalgorithmen der Fall, bei denen der Komprimierungsprozess eine stringartige generative Grammatik wiederherstellt (Sequitur, Faktororakel …). Dies ist bei LPC-basierten Sprachcodecs der Fall, bei denen die LP-Koeffizienten das Wissen über die Aussprache und das verbleibende Wissen über Prosodie und Vokalisierung/Fehlen von Sprache enthalten: Der komprimierte Strom kann als Daten für einen Sprachsynthesizer betrachtet werden. Dies ist jedoch bei den von Ihnen erwähnten generischen Audio-Codecs nicht der Fall: Codecs ähneln nicht dem Musikproduktionsprozess.

Wahrnehmungsqualität von audiovisuellen Inhalten mit Common Video and Audio Degradation Applied Sciences.

Audiovisuelle Qualitätsbewertung bleibt ein komplexes Forschungsgebiet.

Es werden Anstrengungen unternommen, um zu verstehen, wie Menschen die visuellen und auditiven Domänen integrieren und verarbeiten. In dieser Arbeit analysieren und vergleichen wir die Ergebnisse von drei psychologischen Experimenten, die Qualitäts- und Inhaltsbewertungen einer Gruppe von Probanden sammeln. Die Experimente umfassen audiovisuelles Material aus einer Vielzahl von Inhalten wie Sport, Fernsehwerbung, Talkshows, Musik, Dokumentationen und Zeichentrickfilme, die einer Vielzahl von visuellen Effekten (Bitratenkomprimierung, Paketverlust und Frame-Freezing) unterliegen. ) und auditiv (Hintergrundgeräusche). , Echos, Clips, Schnitte) Verzerrung. Jedes Experiment untersucht einen bestimmten Bereich. In Experiment 1 wurde die Videokomponente aufgrund visueller Artefakte verschlechtert, während die Audiokomponente überhaupt nicht verschlechtert wurde. In Experiment 2 wird die Audiokomponente verschlechtert, während die Videokomponente unverändert bleibt. Schließlich werden in Experiment 3 sowohl die Audio- als auch die Videokomponenten verschlechtert. Wie erwartet bestätigten die Ergebnisse die Dominanz der visuellen Komponente in der audiovisuellen Gesamtqualität. Eine detaillierte Analyse zeigt jedoch, dass bei einigen Arten von Audioverzerrungen die Audiokomponenten eine wichtigere Rolle beim Aufbau der gesamten Wahrnehmungsqualität spielen.