Sonstiges

Kinnlade runter… Video Trace

14. Jan 2008

wow.. das ist mal ziemlich genial… Video Trace ist eine Software vom Australian Centre for Visual Technologies, die auf Basis eines Videos (!) die Erstellung von 3D-Modellen ermöglicht bzw. die Nachbearbeitung von Videos vereinfacht. Aber lassen wir die Macher zu Wort kommen:

VideoTrace is a system for interactively generating realistic 3D models of objects from video—models that might be inserted into a video game, a simulation environment, or another video sequence. The user interacts with VideoTrace by tracing the shape of the object to be modelled over one or more frames of the video. By interpreting the sketch drawn by the user in light of 3D information obtained from computer vision techniques, a small number of simple 2D interactions can be used to generate a realistic 3D model. Each of the sketching operations in VideoTrace provides an intuitive and powerful means of modelling shape from video, and executes quickly enough to be used interactively. Immediate feedback allows the user to model rapidly those parts of the scene which are of interest and to the level of detail required. The combination of automated and manual reconstruction allows VideoTrace to model parts of the scene not visible, and to succeed in cases where purely automated approaches would fail.

Way cool… Video anschauen und staunen:

Sollte das so jemals als Consumerproduct rauskommen (VideoTrace is currently at the prototype stage. We’re looking for commercial partners that can develop it to the point whereby we might release it. The first beta test in progress, and we expect to run another in the near future.) und der normale Rechner die Aufgaben in einer recht überschaubaren Zeitspanne schaffen, dann wird es ein Knaller. Zudem könnte es für virtuelle Welten einen weiteren Push bedeuten, insofern man Schnittstellen schafft, rein und raus!! Weitere Infos auf der Webseite von ACVT.

Werd mal versuchen, mehr rauszubekommen. Mal schauen, ob die Mails beantworten.

via Mr Topf (passt zwar jetzt nicht dazu, aber schaut Euch auch seinen Artikel über WordPress DiSo an, was für Distributed Social Networking Applications steht)

Unsere Empfehlungen für dich

Über den Autor

Robert Basic

Robert Basic ist Namensgeber und Gründer von BASIC thinking und hat die Seite 2009 abgegeben. Von 2004 bis 2009 hat er über 12.000 Artikel hier veröffentlicht.

Zu allen Artikeln

23 Kommentare

  • Also ich glaube bis zum Einsatz in virtuellen Welten ist es wohl noch ein ganzes Stück. Wie man ja ansatzweise sieht, ist es ja doch noch ein bisschen Handarbeit (es sei denn, da ist noch ein Schritt der aus den paar Punkten, die er zunächst definiert dann ganz viele macht und den im Video sichtbaren Kanten folgt).

    Aber klar, wenn man Objekte dann so erzeugen kann, ist das schon cool. Die Frage ist nur, ob die dann auch so direkt in eine eher comichaftere virtuelle Welt passen wird (denn so ganz fotorealististisch sieht ja keine aus und wird wohl auch in naher Zukunft nicht, schon aufgrund des Uncanny Valley-Effekts).

    Aber wenn ich nem Freund demnächst mal zeigen kann, wie son Riesenball auf sein Auto fällt, wäre schon cool 🙂

  • das hängt mit Sicherheit von den Schnittstellen ab, aber auch von den Animationsfähigkeiten der SW. Sollte man dazu dann tatsächlich auch noch simulieren/skripten können, wie sich Objekte zB in SL verhalten, wirds richtig genial (quasi kompilieren out of SL, dann Import nach SL). Nur weiß ich nicht, was der SL-Client alles an Schnittstellen hergibt. Stell Dir mal vor, ein Video wird in SL gezeigt und das Auto fährt dann aus dem Videoscreen heraus in die Pampa, goil oder? Doofe Frage: gibt es denn schon was wie virtual movement object programming und VMO-XML?

  • frage mich gerade wer es wirklich braucht? profis legen selbst ein noch perfekteres modell für die filme an und außerdem braucht man noch ein gutes video.

    für den hobbyfilmer wäre es dagegen interessant, da man endlich auch einfache 3d effekte in seine arbeiten einbauen könnte.

    dennoch! es ist ein knaller! nutzt uri geller das auch schon? 😀

  • die Virtualisierung von Videoobjekten erleichtert ungemein das Modelling gegenüber einem Ansatz, der bis dato immer bei 0 beginnt. Das dürfte demnach nicht nur für Hobbyfilmer spannend sein. Doch, es ist auch eine Frage, inwiefern das Objekt Animationsbefehle mit auf den Weg bekommt, so dann man bewegliche Objekte zB gar auf Webseiten embedden könnte. Adobe und Microsoft könnten hierbei mithelfen.

  • Ich find das Hammmer!!!!
    Wenn man sich nur mal überlegt, was dies ermöglicht.

    Heut zu tage benötigt man einen Profi oder unendlich viel Zeit und Geduld um wirklich gute 3D Modelle erstellen zu können – zu welchen Zwecken auch immer.

    Aber mit dieser Software könnte das fast jeder!

    Wenn ich da nur allein an den eCommerce Bereich denke!

    Ich stell mir die Shops meiner Auftraggeber vor, die ihre Produkte mit fotorealistischen 3D Objekten darstellen können! Ohne Megateure Software oder Profis…
    …und weitere Ideen fallen mir da en mass ein

  • Never believe what you are seeing!…

    This is a software developed by Australian Centre of Visual Technologies.
    So… Never believe what you are seeing!
    via: Basic Thinking
    ……

  • Autos scripten kann man in SL ja, auch wenn der Fahrspass je nach Gegebenheiten leider nicht immer so gegeben ist. Allerdings benutzt SL ja ein Prim-Format in welches man das erstmal konvertieren muss (das besteht aus Bausteinen wie Quader, Kugel usw, die man noch in gewissen Grenzen verändern kann). Mit Sculpties könnte es allerdings gehen (so man nicht die Prim-Obergrenze für bewegte Objekte sprengt).

    Sicherlich wird das auf jeden Fall Sinn machen, um schnell ein Auto oder ähnliches zu modellieren, allerdings muss man wahrscheinlich an die Texturen doch noch Hand anlegen. Wie man ja auch im Video sieht, wandert z.B. die Sonnenreflexion auf der Windschutzscheibe des 2. Wagens nicht mit.

    Bzgl. Bewegung gibt es auf jeden Fall zumindest einen Standard, der z.B. genutzt wird, wenn manim Studio 3D-Bewegungen aufzeichnen will (z.B. einer Kamera, damit man das nachher im 3D-Editor nachstellen kann). Da hab ich auch vor vielen Jahren mal ein Python-Script für geschrieben, das irgendwas in dem Format gewandelt hat, nur leider kann ich mich weder an den Namen noch sonst irgendwas erinnern 😉

  • Also Software, um 2D oder 3D Punkte in einem Video zu tracen, um daraus dann 3D-Objekte zu extrahieren oder eigene Objekte ins Video zu stellen, gibts ja schon verschiedene.

    Was mich aber beeindruckt, dass es hier (laut Video) einfache 2D Objekte sind, die man mit der Software ins Video einfügt, und aus der die Software „selber“ 3D Objekte erkennt. Das könnte den Vorgang für viele stark vereinfachen.

  • Ich hab einem der beteiligten Professoren ein Mail geschickt, um ihn zu fragen, ob man deren Anwendung nicht auch gut einsetzen könnte, um Staus und generell den Verkehr an und für sich zu analysieren. Soweit ich weiß, wird Verkehrsanalyse heutzutage anhand von Simulationen gemacht. Mit dieser Software und entsprechenden Erweiterungen wäre man durchaus in der Lage, reale Bedingungen zu analysieren.

  • Für mich als Hobby Game Developer äußerst interessant, da eigene Modelle erstellen lange dauert und nicht einfach ist. Das Problem sehe ich hier aber beim Texturieren. Das Programm nimmt wohl einfach die Textur aus den Bildern des Videos, also muss das Video eine hammermäßige Qualität haben. Und was ist mit den ungefilmten Stellen? Zum Beispiel die Hinterseite des Autos? Die müsste man dann nachtexturieren. Außerdem kommen ja noch Lichtbrechungen/Schatten dazu…
    Also wenn das Model einigermaßen gut ist, wäre die Software für mich interessant. Texturieren entfällt dadurch aber trotzdem nicht. Ich hoffe mal, dass es bald eine Demo bzw. Trial Version geben wird und dass die Vollversion auch für Indi Developer erschwinglich sein wird.