Die Schaffung neuartiger Erlebnisräume erfordert Technologien und Systeme, welche weit über die aktuellen Standards des digitalen Kinos hinausgehen. Dabei geht es nicht nur darum, einzelne Komponenten auszutauschen, sondern eine Kette von der Produktion bis zur Präsentation von Videomaterial aufzubauen und diese in einem Netzwerk von Content-Anbietern, Produzenten und Konsumenten für die jeweiligen Anwendungsszenarien zu integrieren.
Der am Fraunhofer HHI beheimatete Showroom, das TiME Lab, stellt Techniken und Systeme für die immersive Videoprojektion bereit. Außerdem werden hier Technologien vorgestellt, die räumliche Audiowiedergabe sowie eine funktionierende Zuschauerinteraktion gewährleisten. Dazu verfügt der Showroom über eine um 180° gekrümmte zylindrische Bildwand und eine 3D-Multiprojektion, die mit 14 HD-Projektoren realisiert wird. Für eine möglichst realitätsgetreue Akustik ist zusätzlich ein sogenanntes IOSONO-Wellenfeldsynthesesystem integriert. Dafür ist der Raum mit einem geschlossenen Band von 120 Lautsprechern auf Ohrenebene, sowie 15 Deckenlautsprechern und 4 Subwoofern, ausgestattet. Ein spezielles, akustisch transparentes und gewebtes Material erlaubt die Installation der Lautsprecher auch hinter der Leinwand im TiME Lab und sorgt zudem für eine ideale Raumakustik bei gleichzeitig besten optischen Eigenschaften für die Multiprojektion.
Auf der Produktionsseite sind Aufnahmesysteme für ultrahochaufgelöste 2D und 3D-Videopanoramen notwendig, die von der am Fraunhofer HHI entwickelten OmniCam geleistet werden können. Das spiegelbasierte Mehrkamerasystem befindet sich in der vierten Generation seiner Entwicklung und erweitert die Grenzen, die in der Produktion von Panoramavideos bisher gegeben waren. Mit der OmniCam-360 können aufregende Filmprojekte realisiert und auch die Nachfrage eines ständig wachsenden Marktes im Bereich Virtuelle Realität (VR) bedient werden.
Das TiME Lab Projekt vereint alle Möglichkeiten, neuartige Erlebnisräume zu schaffen - von der Panoramaproduktion, über die Projektion von Panoramaaufnahmen bis hin zur objektbasierten Audiowiedergabe.
Die am Fraunhofer HHI entwickelte OmniCam stellt ein skalierbares, spiegelbasiertes Mehrkamerasystem dar, welches die Aufnahme von Videomaterial in einem 360°-Panoramaformat ermöglicht. Der Aufbau der aktuellsten OmniCam-Version, der OmniCam-360, besteht aus zehn 36°-Spiegelsegmenten, die jeweils mit einer HD-Kamera ausgestattet sind. Die Kameras der OmniCam-360 sind vertikal und kreisförmig angeordnet und ergänzen sich somit mit den zylindrisch angeordneten Spiegelsegmenten. Die Anordnung der Kameras um ein virtuelles Zentrum ermöglicht ein parallaxenfreies Stitching, das für Szenen im Bereich zwischen ein Meter und Unendlich angewandt werden kann. Außerdem wird ein Field of View (FOV) von ca. 60° abgedeckt.
Das am Fraunhofer HHI beheimatete 180°-Kino, das TiME Lab, verfügt über ein Multiprojektionssystem, welches aus 14 HD-Projektoren besteht, welche die gekrümmte zylindrische Bildwand bespielen. Das Herzstück des Projektionssystems ist die CineBox, die gleichzeitig alle 14 HD-Projektoren des Showrooms bespielt. Außerdem werden alle notwendigen Korrekturen wie etwa die geometrische Bildkorrektur (Warping), Edge-Blending und auch die individuelle Korrektur jedes einzelnen Pixels für beliebige Blendingregionen in Echtzeit vorgenommen.
Das TiME-Lab verfügt über ein 140-kanaliges planares Wellenfeldsynthesesystem (WFS), mit welchem sich eine sehr hohe Authentizität bei der Reproduktion akustischer Szenen erreichen lässt. Das WFS ist ein objektbasiertes Mehrkanal-Audiowiedergabeverfahren. Klänge lassen sich lokalisationsstabil abbilden, mit Einschränkungen sogar innerhalb des Wiedergaberaumes, also zwischen den Lautsprechern und den Zuhörern. Auch die klanglichen Eigenschaften von Räumen, wie beispielsweise einer Kirche oder eines Konzerthauses, lassen sich mittels der Wellenfeldsynthese realitätsnah reproduzieren. Anders als diskrete Wiedergabeformate (Stereo, 5.1, 7.1 etc.) ist die Hörfläche fast genauso groß wie die von den Lautsprechern umschlossene Fläche - es gibt keinen 'Sweetspot'. WFS ist abwärtskompatibel zu allen bestehenden Formaten.
Für die Echtzeitverarbeitung der UHD-Panorama-Videoaufnahmen hat das OmniCam-Team eine softwarebasierte Lösung in Form der Real Time Stitching Engine (RTSE) entwickelt. Diese Software unterstützt alle notwendigen Prozesse für die Produktion von UHD-Panoramen aus einer ausgewählten Anzahl von omnidirektionalen Kamerabildern, darunter Farbabgleich, Warping, Stitching und Blending.
Hinter dem Begriff TiME Lab (Tomorrow‘s immersive Media Experience Lab) verbirgt sich eine ganze Kette von Systemen und Anwendungsfeldern, die im Rahmen des Projektes erforscht und erschlossen werden.
