Month: April 2022

Einführung in die MP4-Box

Eine Box besteht aus zwei Teilen: dem Boxkopf und dem Boxkörper.

Box-Header: die Box-Metadaten, wie z. B. Typ und Größe der Box.
Rahmenkörper: Der Datenteil des Rahmens, der tatsächlich gespeicherte Inhalt bezieht sich auf den Rahmentyp, wie z. B. die im Körperteil von mdat gespeicherten Mediendaten.
Im Feldkopf sind nur Typ und Größe Pflichtfelder. Bei size==0 gibt es ein großes Feld. In manchen Boxen gibt es auch Versionsfelder und Flags, diese Boxen werden Full Boxes genannt. Wenn andere Boxen in den Körper der Box verschachtelt sind, wird die Box als Umfassungsbox bezeichnet.

Box-Kopfzeile
Die Felder sind wie folgt definiert:

Typ: Rahmentyp, einschließlich “Standardtyp” und “benutzerdefinierter Erweiterungstyp”, der 4 Bytes belegt;
Vordefinierte Typen: wie ftyp, moov, mdat und andere vordefinierte Typen;
Benutzerdefinierter Erweiterungstyp: Wenn type==uuid, bedeutet dies, dass es sich um einen benutzerdefinierten Erweiterungstyp handelt. size (oder large size) gefolgt von 16 Bytes, dem Wert des benutzerdefinierten Typs (extended_type)
size – Die Größe des gesamten Frames, einschließlich des Frame-Headers, in Byte. Wenn die Größe 0 oder 1 ist, ist eine besondere Handhabung erforderlich:
Größe gleich 0: Die Größe des Frames wird durch die nachfolgende Größe L bestimmt (im Allgemeinen verwendet nur der mdat-Frame, der Mediendaten lädt, die Größe L);
Größe gleich 1: der aktuelle Frame ist der letzte Frame in der Datei, der normalerweise im mdat-Frame enthalten ist;
largesize: die Größe der Box, belegt 8 Bytes;
extended_type: Typ der benutzerdefinierten Erweiterung, die 16 Bytes belegt;
Der Box-Pseudocode lautet wie folgt:

aligned(8) class Box (unsigned int(32) boxtype, optional unsigned int(8)[16] extended_type) {
unsigned int (32) Größe;
unsigned int(32) type = boxtype;
wenn (Größe==1) {
unsigned int(64) largesize;
} Sonst wenn (Größe==0) {
// Box reicht bis zum Ende der Datei
}
if (boxtype==’uuid’) {
unsigned int(8)[16] Benutzertyp = erweiterter_Typ;
}
}
Kastenaufbau
Der Datenkörper der Tabelle, verschiedene Tabellen enthalten unterschiedliche Inhalte, Sie müssen sich auf die Definition der jeweiligen Tabelle beziehen. Einige Kofferaufbauten sind sehr einfach, wie ftyp. Einige Boxen sind komplexer und können andere verschachtelte Boxen haben, wie z. B. moov.

Box gegen volle Box
Basierend auf Box wird der Typ FullBox erweitert. Im Vergleich zu Box hat FullBox mehr Versionsfelder und Flags.

Version: Die Version der aktuellen, erweiterbaren Box belegt 1 Byte;
Flags: Flag-Bits, die 24 Bits belegen, die Bedeutung wird durch die spezifische Box selbst definiert;

Erste Schritte mit dem MP4-Dateiformat

Der Hauptinhalt dieses Artikels umfasst, was MP4 ist, die Grundstruktur von MP4-Dateien, die Grundstruktur von Box, die Einführung von gängigen und wichtigen Boxen, der Unterschied zwischen gewöhnlichem MP4 und fMP4 und wie man MP4-Dateien durch Code parst.

Schreibhintergrund: In letzter Zeit beantworte ich häufig Fragen zu Livestreams und kurzen Videos von Teamkollegen, wie z. B. “flv.js-Implementierungsprinzip”, “Warum die vom Designpartner bereitgestellte mp4-Datei nicht im Browser abgespielt werden kann, aber normal abgespielt werden kann lokal”, “MP4-Kompatibilität ist sehr gut, kann für Live-Streaming verwendet werden” usw.

Im Antwortprozess zeigt sich, dass es häufig um die Einführung des MP4-Protokolls geht. Ich habe diesen Artikel vorher kurz verstanden und mir Notizen dazu gemacht. Ich werde es hier ein wenig aufräumen und es wird übrigens als Referenzdokument für das Team verwendet. Wenn es Fehler oder Auslassungen gibt, weisen Sie bitte darauf hin.

Was ist MP4?
Zunächst wird das Paketformat vorgestellt. Das Multimedia-Kapselungsformat (auch Containerformat genannt) bezieht sich auf das Platzieren von Videodaten, Audiodaten usw. in einer Datei nach bestimmten Regeln. Die in diesem Artikel vorgestellten gängigen MKV-, AVI- und MP4-Formate sind alle Paketformate.

MP4 ist eines der gebräuchlichsten Paketformate und wird aufgrund seiner plattformübergreifenden Natur häufig verwendet. Die Endung für MP4-Dateien ist .mp4 und im Grunde unterstützen alle gängigen Player und Browser das MP4-Format.

Das MP4-Dateiformat wird hauptsächlich durch MPEG-4 Part 12 und MPEG-4 Part 14 definiert. Unter ihnen definiert MPEG-4 Part 12 das grundlegende ISO-Mediendateiformat zum Speichern von zeitbasierten Medieninhalten. MPEG-4 Part 14 definiert eigentlich das MP4-Dateiformat und erweitert es auf Basis von MPEG-4 Part 12.

Für Studenten, die an Arbeiten im Zusammenhang mit Live-Übertragungen, Audio und Video beteiligt sind, ist ein Verständnis des MP4-Formats erforderlich. Nachfolgend finden Sie eine kurze Einführung.

Übersicht über das MP4-Dateiformat
MP4-Dateien bestehen aus mehreren Frames, jeder Frame speichert unterschiedliche Informationen und es gibt eine Baumstruktur zwischen den Frames, wie in der Abbildung unten gezeigt.

Es gibt viele Arten von Boxen, die folgenden sind die 3 wichtigsten Top-Level-Boxen:

ftyp: Dateitypfeld, das die MP4-Spezifikation und die Version beschreibt, mit der die Datei übereinstimmt;
moov: Movie Box, die Media-Metadaten-Informationen gibt es nur bei einer.
mdat: Mediendatenbox, die die eigentlichen Mediendaten speichert, meist sind es mehrere;

Obwohl es viele Arten von Boxen gibt, ist der grundlegende Aufbau gleich. Im nächsten Abschnitt wird zunächst die Boxstruktur vorgestellt und dann gängige Boxen näher erläutert.