AI-HOI und happy Weekend, liebe AInauten!

Vielleicht hast du letzte Woche nicht alle News, Tools & Hacks rund um das Thema AI mitgekriegt, oder bist erst seit Kurzem dabei. Deshalb hier unser Recap mit allen Headlines aus unserem Newsletter – auf einen Klick!

→ Auswahl der Top-Beiträge der letzten Woche ←

Dass du aus einem simplen Textprompt ein kurzes Video generieren kannst, ist hinlänglich bekannt. Und auch die damit verbundenen Einschränkungen: nur kurze Sequenzen, beschränkte Kontrollmöglichkeiten, nicht immer realistisch, etc.

Doch das gehört dank OpenAIs Sora bald der Vergangenheit an!

Bevor wir hinter die Kulissen schauen, haben wir dir ein Video mit all den OpenAI Demos zusammen gestellt - einfach mal durchskippen. Holy moly! … und das ist nur die Spitze des Eisbergs, die OpenAI mit der Öffentlichkeit teilt.

Folgende 10 Themen erwarten dich in diesem Deep-Dive:

Sora tritt damit in eine Arena ein, in der bereits andere Player wie Google mit seinem Lumiere-Modell und Startups wie Runway und Pika mitwirken, und hebt den Wettbewerb auf ein neues Level. Die Übersicht der Mitbewerber findest du am Ende des Beitrags.

Und es ist nicht einfach ein weiteres Tool; es ist eine echte Meisterleistung der AI-Technologie. Stell dir vor: Videos, die direkt aus Text entstehen, mit einer Länge von bis zu einer Minute, detaillierten Szenen, komplexen Kamerabewegungen und Charakteren, die vor Emotionen nur so sprühen!

Und wie wäre es, die Videos auch direkt mit einer Soundkulisse zu untermalen? Unser liebster AI-Voice Generator ElevenLabs zeigt, wie das aussieht (und nutzt dabei den Sora-Hype geschickt, um das neue Feature “AI Sound Effects“ anzuteasern).

Aktuell ist Sora erstmal nur einer ausgewählten Gruppe von kreativen Profis und Testern zugänglich, um Feedback zu sammeln und das Modell weiter zu verfeinern. Und das aus gutem Grund (dazu später mehr)!

Ein Quantensprung: gestern war das höchste der Gefühle ein 3-4 Sekunden Clip, heute kannst du ganze 60 Sekunden Meisterwerke in einem Rutsch generieren, oder die Szene anpassen lassen (wie der untestehende Tweet anschaulich zeigt). Und das alles basierend auf einer einzigen Texteingabe!

Damit eröffnen sich neue Möglichkeiten in der Videoproduktion, im Storytelling, in der visuellen Kunst, … Das wird einige kreative Berufsgruppen und Geschäftsmodelle (Stockvideos, anyone?) dazu zwingen, sich weiter zu entwickeln.

Aufnahmen, die heute teuer und zeitaufwendig produziert werden, sind bald preiswert und praktisch sofort verfügbar (Lizenzierung vorausgesetzt).

Filmemacher, Werbetreibende, Unternehmen und Co. können ihre Ideen mit synthetischem Video storyboarden oder sogar – wenn es die Gewerkschaften zulassen – komplette Programme damit produzieren.

Ungewohnte kreative und heute schwer vorstellbare Auswüchse werden entstehen – zur Unterhaltung, Bildung und Ablenkung. Es werden Welten generiert, die wir uns noch gar nicht ausmalen können.

Klar, die aktuellen Videos haben kleine Mängel und sind noch nicht perfekt. Sora kann Schwierigkeiten haben, die Physik komplexer Szenen zu simulieren oder bestimmte Ursache-Wirkungs-Zusammenhänge zu verstehen.

Zum Beispiel könnte ein Charakter in einen Keks beißen, aber danach fehlt möglicherweise die Bissmarke​. Oder Tiere und Menschen replizieren sich spontan, wie in diesem Rudel Wolfswelpen …

Sam Altman hat die Community dazu eingeladen, Prompt-Vorschläge zu machen, um die Fähigkeiten von Sora zu demonstrieren. Zum Beispiel:

Schauen wir uns das Affen-Video etwas genauer an. Es strahlt eine Autorität und Realität aus, obwohl diese Szene nie stattgefunden hat.

Der Knackpunkt ist hier nicht der Affe, sondern das Schachspiel selbst: dort stehen drei Könige auf/neben einem 7x7 Brett, anstelle des universellen 8x8 Musters.

Bestimmt hat aber keiner der Trainingsdatensätze jemals ein solches Brett oder eine solche Position enthalten!

Was offenbart uns dieser Fehler? An unzureichender Rechenleistung und einem Mangel an Daten kann es nicht liegen. Stattdessen versucht das System, die Welt anzunähern - aber versteht sie noch nicht perfekt.

Aber im direkten Vergleich zu den anderen Text-zu-Video-Anbietern gibt es keine Zweifel, dass OpenAI trotz dieser Imperfektionen hier etwas ganz Großes gelungen ist!

Das sind die wichtigsten Mitbewerber in der Text-zu-Video-Arena:

Interessant ist auch, dass die Sora-Prompts bei Midjourney ähnliche Resultate bringen. Wir sind ja gespannt, was aus dieser Küche kommen wird, die Messlatte ist nun definitiv hoch angesetzt!

Ok, es gibt einen wichtigen Punkt bei Sora, der uns aufhorchen lässt und die Synapsen zum Feuern gebracht hat: OpenAI sagt nämlich, dass das Modell die 3D-Welt simulieren kann!

Unter der Haube wird eine Transformer-Architektur genutzt, wie sie auch bei den GPT-Sprachmodellen zum Einsatz kommt, und mit den Möglichkeiten der Bildgeneratoren kombiniert.

Sprich: Sora manipuliert nicht nur Pixel (wie das die Diffusion-Modelle tun, um Bilder zu generieren), sondern entwickelt eine Konzeptualisierung von dreidimensionalen Szenen, die sich über die Zeit entfalten!

Unser Gehirn macht wahrscheinlich etwas Ähnliches; wenn wir uns Szenen und Orte ausmalen, stellen wir uns nicht nur vor, wie sie aussehen, sondern was sie sind.

Und das bedeutet wiederum, dass Sora nicht nur ein System zur Erzeugung von Videos ist.

Es ist ein Schritt hin zur Entwicklung von universellen Simulatoren der physischen Welt. Diese bieten eine realistische Darstellung dessen, wie Objekte in der realen Welt interagieren, und was für Emotionen die Charaktere zeigen​​ könnten.

Lass uns nicht um den heißen Brei herum reden: Sora ist auf dem besten Weg, den Menschen in Sachen Weltverständnis alt aussehen zu lassen.

Und was passiert, wenn diese Superintelligenz auf Beine (oder Räder) trifft? Genau, Sora-Androiden werden nicht lange auf sich warten lassen und unsere Welt erkunden und uns zur Hand gehen, als wären sie schon immer Teil davon gewesen.

Im Krankenhaus, in der Fabrik, zu Hause, bei Rettungseinsätzen oder im Klassenzimmer - halt überall da, wo’s brenzlig wird oder Unterstützung gebraucht wird.

Letztendlich wird die Kombination von AI und Robotik zu massiven Innovationen führen, die unser Leben auf unvorstellbare Weise bereichern.

OpenAI sieht Sora auch als ein Basismodell auf dem Weg zu AGI, der allgemeinen künstlichen Intelligenz, die uns praktisch in allen Belangen überlegen sein wird …

Ok, die Sora-Robo-Kombo ist definitiv ein freaky Trip in Richtung Zukunft, der uns alle ein bisschen mehr Sci-Fi im Hier und Jetzt erahnen lässt.

Es ist eine aufregende, aber auch herausfordernde Zukunft, die eine enge Zusammenarbeit zwischen Technologen, Ethikern, Politikern und der breiten Öffentlichkeit erfordert, um sicherzustellen, dass die Technologie der Menschheit dient und nicht schadet.

Fragen über Fragen … auf die wir auch keine Antwort haben.

OpenAI ist sich bewusst, dass mit großer Macht auch große Verantwortung kommt, insbesondere im Hinblick auf Risiken wie die Verbreitung von Fehlinformationen und Erstellung von Deepfakes.

Der WEF Global Risks Report 2024 listet die größten Risiken, unter anderem:

Und das sind alles Risiken, die mithilfe der OpenAI Modelle eine ganz neue Dimension annehmen …

Der technologische Fortschritt erhöht das Missbrauchspotenzial akut. Die Fortschritte bei Videogeneratoren werden solche Videoinhalte glaubwürdiger machen und auch deren Erkennung erschweren.

Die Sorge von OpenAI ist berechtigt, und wird praktisch von jedem Unternehmen in diesem Bereich geteilt.

Deshalb wurden für das Testing von Sora auch sogenannte “Red Teamer” engagiert - Experten in Bereichen wie Desinformation, hasserfüllte Inhalte und Bias, die potenzielle Risiken und Schwachstellen im Modell identifizieren sollen​​.

Das ist aber nur eines der Problemfelder, mit denen sich OpenAI befassen muss.

Auch rechtlich könnte es herausfordernd werden, denn worauf das Modell trainiert wurde, geht aus dem technischen Paper nicht hervor …

NVIDIA’s Jim Fan vermutet, dass das Model (unter anderem) mit hochwertigen synthetischen Trainingsdaten gefüttert wurde, wie man sie von Game Engines her kennt.

Aber so genau weiß es noch keiner … Diese fehlende Transparenz spiegelt einen wachsenden Trend in der AI-Branche wider. Verständlich, vor dem Hintergrund zahlreicher Klagen gegen AI-Unternehmen - aber nicht hilfreich für die Sache.

Die Debatte über die Grenzen des fairen Gebrauchs und Urheberrechte in der AI-Ära wird uns weiter beschäftigen. Besonders betroffen davon sind visuelle Künstler und Schauspieler.

Letztere haben aus Angst vor Ersetzbarkeit durch AI bereits gestreikt, und auch OpenAI selbst ist in einige Streitigkeiten verwickelt, zum Beispiel mit der New York Times.

OpenAI hat seine Richtlinien bereits geändert und betont, die Rechte von Inhaltschaffenden zu respektieren. Man will sogar mit ihnen zusammenarbeiten, damit sie von den neuen Möglichkeiten profitieren können.

Doch trotz dieser Bemühungen bleibt die Spannung zwischen dem Bedarf an umfangreichen Trainingsdaten für die Entwicklung leistungsfähiger AI-Modelle und dem Schutz geistigen Eigentums bestehen.

In der Vergangenheit wurden Meta, Twitter/X, YouTube & Co. beschuldigt, nicht genug zu tun, um die riesigen Mengen an Falschinfos und Hassreden auf ihren Plattformen zu bekämpfen.

Nun kollidiert der technologische Fortschrit mit einem ohnehin herausfordernden Wahljahr, in dem die Hälfte der Weltbevölkerung wählt … (Social) Media Unternehmen stehen mehr denn je unter Druck, Falschinfos zu unterbinden.

An der Münchner Sicherheitskonferenz haben deshalb am letzten Freitag 20 wichtige Unternehmen eine Erklärung unterzeichnet, worin sie sich verpflichten, die Risiken im Zusammenhang mit künstlicher Intelligenz und Wahlintegrität zu verringern.

Die Unterzeichner sind: OpenAI, Microsoft, Meta, Google, Adobe, Amazon, Anthropic, Arm, ElevenLabs, IBM, Inflection AI, LinkedIn, McAfee, Nota, Snap, Stability AI, TikTok, TrendMicro, Truepic und X.

Du siehst, diese Entwicklungen zeigen deutlich, wie dynamisch und vielschichtig die Welt der künstlichen Intelligenz ist - und wie sie immer weiter in verschiedenste Bereiche unseres Lebens vordringen wird.

OpenAI spielt zweifellos eine Schlüsselrolle in diesem epischen Abenteuer und treibt Innovationen voran, die nicht nur die technologische Landschaft verändern, sondern auch tiefgreifende Auswirkungen auf unsere Gesellschaft und Zukunft haben werden.

Wohin die Reise führt, wissen auch wir nicht. Deshalb, im übertragenen Sinne: immer schönen einen Fuss vor den anderen setzen, und dabei den Blick auf die Landkarte und das Wetter am Horizont nicht aus den Augen verlieren. Auf geht’s!

Hast du genug von endlosen Meetings, die sich anfühlen wie ein Marathon ohne Ziel? Wir kennen das (aus der Vergangenheit, glücklicherweise). Aber wir haben ein Tool für alle, die eben smarter, nicht härter arbeiten wollen.

Die Rede ist von tl;dv.

Diese Lösung ist nicht einfach nur ein Meeting-Recorder. Es ist dein persönlicher Meeting-Assistent, der alles automatisch aufnimmt und transkribiert – und das in über 30 Sprachen. Von Zoom über Google Meet bis hin zu Microsoft Teams funktioniert alles kompromisslos gut!

Und das funktioniert so gut, dass wir uns eine Pro-Subscription gekauft haben (du kannst es aber auch kostenlos nutzen und ausgiebig testen).

Die wichtigsten Features:

Unsere Empfehlung: Ausprobieren und produktiver werden!

Chatbots sind ein sehr, sehr beliebtes Thema in der Community und auch bei uns.

Wir haben ja auch schon viel geschrieben über einfache Tools, wie z. B. Chatbase bis hin zum absoluten Profi-Tool wie FlowiseAI.

Eine Frage, die wir häufig bekommen: Gibt es eine einfache Möglichkeit, meine Chatbots oder meine kleine AI-App als Abo zu verkaufen? Ohne viel technisches Know-how?

Heute die Antwort: JA! Mit dem Tool MindStudio.

MindStudio ist ein Chatbot bzw. AI-App-Builder, der extrem mächtig ist. Du kannst damit sehr komplexe und coole Workflows erstellen, die direkt gehostet werden. Also keine technische Friemelei, sondern Fokus auf den Benutzer.

Das sind die wichtigsten Features von MindStudio:

Das Bauen deines Bots ist extrem einfach. Es gibt viele Templates und du kannst dir einfache Flows in wenigen Minuten zusammenklicken.

Und natürlich kannst du auch Daten und Wissen zu deinem Bot hochladen und das Tool erstellt daraus automatisch eine Vektordatenbank.

Du kannst damit wirklich eine Vielzahl von Bots und Apps erstellen, zum Beispiel AI-Persona Bots mit Erinnerungsfunktion, Blog-Generatoren, Logo Creators und vieles mehr. Es gibt auch jede Menge vorgefertigter Templates:

Auch das Veröffentlichen deines Bots könnte nicht einfacher sein, über einen simplen Landing-Page-Designer. Keine Bange, es ist null Server Setup notwendig!

Wir haben dazu wie immer im AI-Vault ein Video gemacht und einen AInauten Bot erstellt.

Mehr Details findest du hier, viel Spaß beim Chatbot bauen!

Bis am Montag, mit einer frischen Runde News, Hacks und Insights für dich!

Deine AInauten