Jaunt One Virtual Reality System – 360 Kamera Vorstellung & Software

Lesen Sie in dem Experteninterview mit Jeff Olm von Jaunt VR wie mit dem Jaunt One Virtual Reality System 360-Grad-Videos erstellt werden können und wie das Cloud-Rendering über die Jaunt Software funktioniert. Dieses Interview wurde aufgezeichnet am 18. Oktober 2016 in Paris, auf dem Screen4All Virtual-Reality Forum.

Frage: Wer sind Sie und was machen Sie?

Antwort: Mein Name ist Jeff Olm, ich arbeite für Jaunt VR in Santa Monica.Wir haben derzeit fünf Büros: Santa Monica, Palo Alto, Shanghai, Amsterdam und London.

Vorstellung Jaunt VR One Virtual Reality System – 360-Grad-Kamera

Hier habe ich ein Jaunt ONE Virtual Reality System. Es hat 24 Kameras, das Aufnahmemedium sind SSD Karten. Wenn ich hier eine Karte entnehme, wird man sehen, dass die Kamera blinkt. Die Kamera ist mit einer intelligenten Logik ausgestattet, und merkt, wenn eine Karte fehlt.

Der Workflow ist folgendermaßen: Wir nehmen auf die SSD Karten auf, entnehmen diese am Ende des Drehtages und laden sie in unsere Jaunt Media-Manager-Software.

Nach der Erstellung der Aufnahmen verbinden wir alles mit USB-Karten, wir ziehen sie auf eine Festplatte und laden sie mithilfe des Import-Tools in die Cloud hoch. Wir unterstützen ebenfalls die Nokia OZO Kamera.

Cloud Rendering via Jaunt Media Manager

Wenn wir alles in die Cloud importiert haben, wird ein virtueller Stitch durchgeführt.

Also der Stitchingprozess geschieht im Prinzip dort, in der Cloud.

Hier sieht man unsere Camera-Controll-Software, ich werde noch einmal einige Schritte zurück gehen. Man kann sogar von hier aus “Record” drücken und alles geht in den “Record Mode”. Es gibt ebenfalls ein “One Button Start-Stop-System” an der Kamera selbst, so dass wir alle Kameras remote und synchron aktivieren können.

Die Kameras haben alle eine globale Verschlusszeit (global shutter) und haben alle auf den Frame genaue Start-Stops.

Kamerakontrolle via Jaunt Camera Controll

Also eine Sache mit unserem Camera-Control System ist die: Wir können ein Capture-Preview (Bildvorschau) machen. Also wir gehen hinein und uns wird das 24-Kamera Setup gezeigt. Wir legen los und es wird ein einzelner Frame aufgenommen, welcher direkt hier auf dem Computer gestitcht wird um eine Vorschau zu erhalten, von dem was zu erwarten ist

Alle 24 Kameras wurden gerade angezeigt und man kann sehen, wir sind genau hier und jetzt beginnt die Software mit Ihrer Arbeit und erstellt einen kleinen Stitch. Also was du hier siehst ist, dass wir etwas zu nahe zum Aufnahmepunkt standen, genauso wie dieses Schild dort (das Aspekteins Rollup, Anmerkung des Verfassers). Normalerweise versuche ich Sachen einen bis ein-eineinhalb Meter von den Kameras zu entfernen um Fehler beim Stitchen in der Software aufgrund von Parallaxenverschiebung zu vermeiden.

Dieser Vorschau-Stitch ist emuliert mit der Footage welche in der Cloud hochgeladen ist.

Also wenn man einmal fertig ist mit dem Preview-Stitch, kann man diesen herunterladen und in Final-Cut oder in anderer Software bearbeiten. Man kann Final Cut, Premiere, oder auch After Effects benutzen um beispielsweise Titel hinzuzufügen.

Download der Cloud-Renderings als ProRes

Der nächste Arbeitsschritt ist das herunterladen. Wenn man eine EDL oder XML Datei hat importiert man diese in die Software und dann ist sie in der Lage das High-Res Material zu stitchen. Dann nimmt man das gestitchte High-Res-Material, lädt es herunter und verlinkt die Medien mit den Low-Res temporären Stitches.

An diesem Punkt sind im Prinzip die Stitches neu angeordnet, dann fügt man beispielsweise Titel hinzu, oder fügt ein Boden-Logo hinzu, welches das Stativ und das Unterteil der Kamera bedeckt. Dann kann man dazu übergehen zu “Jaunt Cloud Media Services”. Mit “Jaunt Cloud Media Services” ist man in der Lage Dateien zu produzieren die auf Playstation 2, HTC Vive, Oculus Store, auf Facebook 360 oder Youtube 360 hochgeladen werden können.

Komplettlösung für professionellen Workflow

Jaunt VR One ist ein komplettes System: Man hat das Jaunt 360 Camera System, die Kamera-Karten, die Batterie, das Medien-System hier, ein Cloud basiertes Stitching System und die Jaunt Media Services um alle Resultate zu veröffentlichen.

Die Jaunt VR One hat im Prinzip alles was man für eine komplette 360° Stereo Produktion benötigt.

Frage:
Stichwort Dateigröße: Wie groß sind die Dateien, die generiert werden? Und die Auflösung des Renderings?

Antwort:
Also zu den Dateigrößen der Kameras: Die Kameras nehmen alle in 1920×1200 auf.

Die Stitches können 4K oder 8K sein. Also würde es 36 auf 40 oder 1920 sein, wenn du Mono machst wird es 38 auf 40 auf 1920 sein und wenn du stereo machst wird es 3840×3840. Das kann ebenfalls verdoppelt werden um 8K zu erreichen, wenn man dies möchte.

Für die Kamera sind beide Dateigrößen (4K oder 8K) möglich, es kommt nur darauf an, wie man es stitcht. Nun zu den Dateien, die als Ergebnisse des Stitching geliefert werden: Diese sind ProRes Dateien.

Das war es im Grunde genommen. Bring die ProRes Datei in dein Bearbeitungssystem füg deine Grafiken hinzu, usw.

Frage:
Wie wird der Sound aufgenommen und was ist das Output-Format des Sounds?

Antwort:
Der Sound wird auf eine seperate SD-Karte auf einen Tascam-Recorder aufgenommen und es ist Ambisonic Sound, also 4-Kanal Ambisonic. Normalerweise würde man auch einen Tonmeister den Ton aufnehmen lassen. Was auch über die Karte aufgezeichnet wird. Diese Karte wird ebenfalls in die Cloud geladen, also können alle Daten in die Cloud geladen werden. Und dann synchronisiert man es ganz wie gehabt.

Jede Kamera hat auch ihre eigene Audio-Datei, jedoch benutzt man normalerweise die Ambisonic-Audio-Datei als Audiospur im finalen Video.

Hier das Interview im englischen Original: 

Question: Who are you and what are you doing?

Answer: My Name is Jeff Olm, i work with Jaunt VR, i’m based at Santa Monica.

We have 5 offices Santa Monica, Palo Alto, Shanghai, Amsterdam and London.

What I have here is a Jaunt One virtual reality system, it has 24 cameras, the recording media are SSD Cards. You’ll see, i’m gonna pull one out here, and then you’ll notice, that the camera flashes. So the camera is very intelligent and knows that it’s missing the card.

Workflow Jaunt VR One System

So basically the workflow is:

We record on the SSD Cards, we pull the SSD Cards out at the end of the day, and then we’ll take them and put them into our Jaunt Media-Manager-Software.

So in here we hook everything up with USB-Cards, we would store them on a drive and then we’d upload them to the cloud using the import tools.

We also support the Nokia OZO Camera.

Once we have everything imported up into the Cloud, it’s gonna do a virtual stitch.

Jaunt Camera Controll Software

So the stitching process basically happens up there. This is our Camera-Controll-Software, so i’ll go back a little bit. We can actually hit record from here. So everything goes into record mode. There’s also a “One Button Start-Stop System”. The cameras all have global shutters and all have frame accurate stop-starts.

So one of the things with our camera-control system is: we go and we can do a capture preview. So we go in and that shows the 24-camera setup. So we gonna go and this is going to capture a single Frame and then it’ll actually stitch it right here on the computer to give you a preview of what’s happening.

So all 24 cameras just showed up there and you can see, you know we’re right here and now it’s actually gonna go through and do a little bit of a stitch. So in the field, what you basically see is that we got really close to the image, you can see that our sign here was also a little close. Normally i try to keep things about one to one and a half meters away for the software, to minimize the parallax distances.

Jaunt Cloud Rendering Services

So this preview-stitch is emulated up on the cloud, with the footage that’s uploaded up there.

So once your done with the preview-stitch, then you go and you’re able to download that and edit in Final-Cut or your whatever software you’re using. Final Cut, Premiere, you can use After Effects for titles and things like that.

Output Formats Jaunt VR Ones System

And then, what you do is download, once you have an EDL or XML you import that into the software and then it’s able to go and stitch the high-res material. Then you take the stitched high-res material, download that and relink the media to the low-res temporary stitches.

Then at that point the images are basically reconformed, then you add your titles, maybe you put a floor logo over the camera bottom, add beginning- and end-titles, and then you’re able to take it into “Jaunt Cloud Media Services“. With “Jaunt Cloud Media Services” you’re actually able to make Playstation 2, HTC Vive, put it into the Oculus Store, put it to Facebook 360 or YouTube 360. So it’s actually a complete System, you have the Jaunt Camera System, the camera cards, … battery, the media system here, a cloud based stitching system and the Jaunt Media Services to deliver all your deliverables. So it basically has everything that you need for a complete 360 Stereo Production. Thank you for your time.

Question:
In terms of file size: How big are the files that are being generated? And the rendering files?

Answer:
So the file size for the cameras: The cameras are each individual 1920×1200. The stitches can be 4K or 8K. So it’d be 36 by 40 or 1920 by, if you’re doing mono it’ll be 38 by 40 by 1920, if you’re doing stereo it’ll be 3840 by 3840. You can also double that and go to 8K if you so desire.

The camera is capable of both those file sizes, it’s just a matter of how you stitch it. And then the file outputs, that come out of it, once you stitch, is a ProRes file. So that’s basically it; bring the ProRes into your edit system and add your graphics and go from there.

Question:
Talking about the sound: How is the sound captured and what is the output format for the sound?

Answer:
The sound is recorded on a seperate SD Card on a Tascam-recorder and it’s ambisonic sound, so it’s 4-channel ambisonic. You also would normally use a sound person recording the atmosphere, which would also go to the card, the card goes up to the cloud also, so all your data can be on the cloud. And then you’d normally sync it. These cameras will have, each will have their individual audio file, but you will normally use the ambisonic file which you will sync in your final package.

Zur Kontaktaufnahme für Ihr 360-Grad-Video / VR-Projekt bitte hier klicken

Bildrechte: ©Aspekteins GmbH 2016