Videocodering, hoe het werkt (deel 2)

Tot nu toe hebben we het alleen gehad over beeldcompressie. Maar bij een volledige video hoort ook een audiocomponent. Aangenomen wordt dat geluid van cd-kwaliteit moet worden gedigitaliseerd met 44,1 kHz bij 16 bits per kanaal, wat overeenkomt met 706 Kbps per kanaal (1,4 Mbps voor stereo). De kwaliteit van het DAT-signaal bepaalt de bemonsteringsfrequentie van 48 KHz (frequentieband 4-24000 Hz) en verhoogt de stream tot 768 Kbps per kanaal.

De benadering van informatiecompressie is hetzelfde: het deel weggooien dat niet erg belangrijk is voor het menselijk oor om waar te nemen. De MPEG-standaard maakt 3 audiocompressielagen mogelijk. Laag 1 gebruikt het eenvoudigste algoritme met minimale compressie, uitgaande van 192 Kbps per kanaal. Het Layer 2-algoritme is complexer, maar de compressiesnelheid is hoger, slechts 128 Kbps per kanaal. Een krachtig algoritme voor digitale audiocompressie van cd-kwaliteit (11 keer zonder verlies te onderscheiden door het menselijk oor) Layer 3 biedt de hoogst mogelijke geluidskwaliteit met strenge transmissiebeperkingen – niet meer dan 64 Kbps per kanaal. Het is voornamelijk bedoeld voor internet. Het belang ervan is zo groot dat het een speciale afkorting MP3 heeft gekregen, wat staat voor MPEG Layer 3. Er zijn veel internetsites die honderdduizenden MP3-bestanden met populaire muziek bevatten. Met behulp van speciale afspeelprogramma’s (Real Audio) kan MP3-muziek in realtime via internet worden beluisterd, voor onbepaalde tijd worden gekopieerd (merk op dat een typisch nummer 2-8 MB is) en illegaal worden verspreid. Er zijn al draagbare mp3-spelers die ongeveer $ 200 kosten (zoals de Diamond Rio). De muziekindustrie begon, met tastbare verliezen, een actieve strijd tegen mp3-sites (de Recording Industry Association of America heeft de meeste ervan gevonden en gesloten). Maar de gin is uit, je kunt niet iedereen sluiten. Adaptec voorspelt dat de komende jaren miljarden nummers van internet zullen worden gedownload en kondigt mp3-ondersteuning aan in de volgende versie van EasyCD Creator. Bij digitale bewerkingstaken wordt audiosignaalcompressie echter niet gebruikt, daarom is het bij toegestane stroomberekeningen nodig om maximaal 1,5 Mbps aan de audiocomponent toe te wijzen.

MPEG2 voor niet-lineaire bewerkingstaken

De term niet-lineaire bewerking komt niet overeen met de essentie van het proces, maar weerspiegelt slechts één van de kenmerken ervan. In feite hebben we het over videobewerking, gedaan in digitaal formaat op computers. In dit geval worden de originele videofragmenten verplicht gedigitaliseerd en opgenomen op de harde schijf in de vorm van geschikte bestanden. In tegenstelling tot tapedrives hoeft u voor het openen van een van deze gefragmenteerde bestanden niet lang terug te spoelen (en dit proces is lineair), wat betekent dat alle videoframes in willekeurige volgorde beschikbaar zijn. Deze belangrijke eigenschap heeft geleid tot de naam van digitale bewerking als niet-lineair, hoewel de mogelijkheden van digitale verwerking uiteraard veel breder en rijker zijn.

Onthoud dat volgens de ITU-R BT.601-aanbeveling een televisieframe een 720×576-matrix is. Rekening houdend met de televisieframesnelheid van 25 Hz, concluderen we dat voor een seconde digitale video in 4: 2: 2-weergave 25x2x720x576 = 20.736.000 bytes nodig zijn, dat wil zeggen dat de datastroom 21 MBps is. Het opnemen van deze streams is technisch haalbaar, maar moeilijk, duur en inefficiënt in termen van nabewerking. De reële mogelijkheden van de praktijk vereisen een aanzienlijke vermindering van de stromen. Van veel algoritmen is bekend dat ze compressie zonder verlies uitvoeren, maar zelfs de meest effectieve algoritmen bieden niet meer dan 2x compressie op typische afbeeldingen.

Tot voor kort heerste M-JPEG oppermachtig in de wereld van niet-lineaire videobewerkingssystemen. De verschillende oplossingen verschilden in de mate van compressie, die overeenkwam met verschillende kwaliteitsniveaus van de resulterende video. Vrij voorwaardelijk kunnen hier 4 niveaus worden onderscheiden: standaardvideo (VHS, C-VHS, Video8), supervideo (SVHS, C-SVHS, Hi8), digitale video (Betacam SP, DV / DVCAM / DVCPRO, mini -DV, Digital8) en studiovideo (Digital-S, DVCPRO50). Eenvoudigheidshalve zullen we ze in wat volgt verwijzen naar Video, S-Video, DV en Studio-TV. Kwantitatief worden ze over het algemeen gekenmerkt door horizontale resolutie (het aantal te onderscheiden elementen in een lijn: televisielijnen). Video wordt geacht een resolutie te bieden van maximaal 280 lijnen en komt overeen met een MJPEG-stream van ongeveer 2 MBps.

Videocodering, hoe het werkt (deel 1)

De effectieve compressie van video-informatie is gebaseerd op twee hoofdideeën: de onderdrukking van kleine details van de ruimtelijke verdeling van individuele frames die onbeduidend zijn voor de visuele perceptie, en de eliminatie van tijdelijke redundantie in de volgorde van deze frames. Daarom spreken we van ruimtelijke en temporele compressie.

De eerste maakt gebruik van de experimenteel vastgestelde lage gevoeligheid van de menselijke waarneming voor vervormingen van kleine beelddetails. Het oog merkt een niet-uniforme achtergrond sneller op dan de kromming van een dunne rand of een verandering in helderheid en kleur van een klein gebied. Twee equivalente representaties van het beeld zijn bekend uit de wiskunde: de bekende ruimtelijke verdeling van helderheid en kleur en de zogenaamde frequentieverdeling behorende bij de ruimtelijke Discrete Cosine Transform (DCT). In theorie zijn ze equivalent en omkeerbaar, maar ze slaan informatie over de beeldstructuur op totaal verschillende manieren op: de overdracht van vloeiende achtergrondveranderingen wordt verzorgd door laagfrequente (midden) waarden van de frequentieverdeling en de hoogfrequente coëfficiënten. Ze zijn vaak verantwoordelijk voor de fijne details van de ruimtelijke verdeling. Hierdoor kan het volgende compressie-algoritme worden gebruikt. Het frame is verdeeld in 16×16 blokken (720×576 komt overeen met 45×36 blokken), die elk worden omgezet naar DCT in het frequentiedomein. Vervolgens worden de bijbehorende frequentiecoëfficiënten gekwantiseerd (afronding van waarden met een bepaald interval). Als de DCT zelf niet tot gegevensverlies leidt, veroorzaakt de kwantisering van de coëfficiënten uiteraard een verdikking van het beeld. De kwantisering wordt uitgevoerd met een variabel interval: laagfrequente informatie wordt nauwkeuriger verzonden, terwijl veel hoogfrequente coëfficiënten nulwaarden aannemen. Dit zorgt voor een aanzienlijke compressie van de datastroom, maar leidt tot een afname van de effectieve resolutie en de mogelijke verschijning van kleine onechte details (vooral bij blokgrenzen). Klaarblijkelijk

Voor oplettende lezers herhalen we dat dit algoritme afkomstig was van digitale fotografie, waar het onder de naam JPEG werd ontwikkeld om individuele frames efficiënt te comprimeren (JPEG is een afkorting van de naam van de Joint Photographic Experts Group, die het heeft goedgekeurd). Het werd vervolgens met succes toegepast om videosequenties te framen (elk volledig onafhankelijk verwerkt) en omgedoopt tot MJPEG (Motion-JPEG). Er moet ook worden opgemerkt dat de DV-codering van de digitale DV / DVCAM / DVCPRO-standaarden in wezen gebaseerd is op hetzelfde algoritme, maar een flexibeler schema gebruikt met adaptieve selectie van kwantisatietabellen. De compressieverhouding voor verschillende blokken, in tegenstelling tot MJPEG, varieert met de afbeelding: voor niet-informatieve blokken (bijvoorbeeld aan de randen van de afbeelding) neemt deze toe, en voor blokken met een groot aantal kleine details neemt deze af ten opzichte van het middelste niveau van de afbeelding. Als resultaat wordt bij dezelfde kwaliteit het datavolume met ongeveer 15% verminderd (of vice versa, bij dezelfde stroom is de kwaliteit van het uitgangssignaal hoger).

Tijdelijke MPEG-compressie gebruikt een hoge redundantie van informatie in afbeeldingen die door kleine intervallen worden gescheiden. In feite verandert tussen aangrenzende afbeeldingen meestal slechts een klein deel van de scène; er is bijvoorbeeld een vloeiende beweging van een klein object op de achtergrond van een vaste achtergrond. In dit geval moet de volledige informatie over de scène alleen selectief worden opgeslagen, voor referentiebeelden. Voor de rest is het voldoende om alleen verschilinformatie te verzenden: over de positie van het object, de richting en grootte van de verplaatsing, over nieuwe achtergrondelementen (die zich openen achter het object terwijl het beweegt). Bovendien kunnen deze verschillen niet alleen ontstaan ​​in vergelijking met de vorige afbeeldingen, maar ook met de latere (aangezien het erin staat, terwijl het object beweegt, wordt het deel van de achtergrond onthuld dat voorheen achter het object verborgen was). Merk op dat het wiskundig moeilijkste element het zoeken naar verplaatste blokken is, maar weinig structuurverandering (16×16) en het bepalen van de overeenkomstige vectoren van hun verplaatsing. Dit element is echter het meest essentiële omdat het de hoeveelheid vereiste informatie aanzienlijk kan verminderen. Het is de efficiëntie van de realtime uitvoering van dit “slimme” element dat verschillende MPEG-encoders onderscheidt.