🤖 Diese AI kann mehr als nur sprechen, hören und sehen

AI-HOI und guten Morgen, AInauten!

Diese Woche ist es etwas ruhiger in Sachen Breaking News. Daher ein paar andere Themen.

Das haben wir heute für dich im Gepäck:

• 🤖 Diese AI kann mehr als nur sprechen, hören und sehen

• 🤓 Warum jeder mit AI APIs arbeiten sollte

• 🎧 Neue Lieblings (AI) App

• 📰 AI-News-Quickie: Die HAI-lights

Los geht’s!

🤖 Diese AI kann mehr als nur sprechen, hören und sehen

Die großen Sprachmodelle (LLMs) haben im Prinzip das ganze Internet gelesen. Millionen Bücher verschlungen.

Aber fragst du sie mal nach Details zu aktuellen Ereignissen in der echten Welt, sind sie noch nicht extrem nützlich.

Das Start-up Archetyp will das nun ändern.

Sie wollen AI nicht nur für die digitale Welt nützlich machen, sondern auch für die physische.

Gerade haben sie „Newton“ vorgestellt – es sei „das erste Grundlagenmodell, das die physische Welt versteht“.

Warum ist es nützlich?

Stell dir eine Fabrik mit 100 Sensoren vor. Bisher musste man die alle einzeln auswerten, um zu checken, ob alles rund läuft. Newton kann nun alle gleichzeitig in Echtzeit verstehen, auswerten und in Kontext setzen.

Das Coole daran ist: man kann mit dem Model dank der LLMs in ganz einfacher Sprache interagieren! Was dazu führen könnte, weniger Experten in Fabriken zu benötigen.

Newton kann dafür Daten von Radar, Bewegungsmeldern, Chemie- & Umweltsensoren aufnehmen und verbindet diesen Input mit einem Sprachmodell. Es kombiniert dabei alle Daten der verschiedenen Sensoren in ein Model der physischen Welt.

Archetyp hat bereits einige praktische Anwendungen geschaffen und zählt scheinbar bereits Volkswagen und Infineon zu seinen Kunden.

Kombiniert man das ganze jetzt noch mit humanoiden Robotern, ist AI wirklich in der physischen Welt angekommen!

Dieses Video beschreibt das Ganze noch einmal anschaulich.

🤓 Warum jeder mit AI APIs arbeiten sollte

Wenn du uns schon länger liest, dann weißt du, dass wir große Fans von Automatisierungen sind.

Gerade AI macht hier unglaublich viel möglich.

Es gibt praktisch für jeden Anwendungsfall ein spezialisiertes Tool - aber irgendwann hat man so viele Tool-Abos, dass das alles ein Vermögen kostet.

Hier kommen jetzt APIs ins Spiel. So gut wie alle großen AI Anbieter haben APIs im Angebot. Und nur keine Angst, diese drei Buchstaben sind halb so technisch, wie du vielleicht auf den ersten Blick denkst.

APIs sind eine Art Code Schnittstelle, mit der man direkt auf die jeweiligen Modelle wie GPT-4, oder Claude Opus etc. zugreifen kann.

Anbieter wie z. B. Replicate machen dann noch viele weitere Modelle bequem per API verfügbar.

Der große Vorteil von APIs in der Regel ist es, dass man hier nutzungsbasiert bezahlt und nicht in einem monatlichen Abo gefangen ist.

Gleichzeitig sind sie in der Regel sehr günstig.

Zudem kann man sich mit ein paar APIs viele Funktionen von Tools kurz selbst zusammen bauen. Sprich, man braucht diese Tools nicht mehr.

Der große Nachteil: Man musste bisher immer technisches Verständnis haben, um mit APIs zu arbeiten.

Und hier kommen jetzt No-Code Apps ins Spiel, die jeder bedienen kann. Ohne großes technisches Verständnis.

Wir sind große Fans von Zapier und Make.

Mit diesen Apps kannst du Automatisierungen und Workflows bauen - und damit verschiedene AI-Modelle, Tools etc. durch APIs miteinander verbinden.

Und das ganz ohne zu programmieren, versprochen.

Hier ein aktuelles Beispiel

Wir kommen gerade wieder auf das Thema, weil ein (schon etwas älterer) Freund von uns leider kein Englisch spricht.

Er wollte aber unbedingt einige Vorträge übersetzt haben und sich diese auch anhören, und nicht nur lesen.

Der einfachste und beste Weg ist hier: ElevenLabs

Audiodatei hochladen, Sprache auswählen und los gehts.

Der Nachteil: Man braucht ein Abo bei ElevenLabs, und da die Vorträge teilweise recht sehr lange sind, kann das auch schnell etwas mehr kosten.

Wir haben unserem Freund deshalb mit Zapier und OpenAI in ungelogen 5 Minuten einen ganz einfachen Workaround gebaut. So sieht der Workflow aus:

1. Wann immer er jetzt einen neuen Vortrag hat, lädt er die Datei einfach in einen definierten Google Drive Ordner.

2. Dann erstellen wir mit OpenAI Whisper ein Transkript der Audiodatei.

3. ChatGPT übersetzt dieses Transkript auf Deutsch.

4. In Schritt 4 erstellt Whisper aus dem Transkript eine Audiodatei mit dem Vortragstext auf Deutsch.

5. Diese MP3-Datei wird dann wieder ins Google Drive geladen und unser Freund kann sie anhören.

Alles, was wir für diesen Workflow brauchen, ist ein Zapier Account und ein OpenAI API-Key.

Preislich macht das dann schon einen Unterschied. Bei ElevenLabs hätten wir für unseren Test knapp 5 Euro bezahlt.

So viel war es bei OpenAI:

Ein weiterer Vorteil ist, dass wir dank der APIs z. B. auch Claude Opus (das beste Anthropic Modell) einfach ausprobieren und testen können, ohne ein monatliches Abo zu haben.

Das war jetzt nur ein ganz kleiner schneller Test, aber die Kombination aus No-Code Tools mit APIs ist unglaublich mächtig.

Du kannst damit ganze Unternehmen automatisieren.

Wir haben ja zu APIs und auch Zapier schon einige Videos im Vault gemacht.

Wenn dich solcher Content interessiert, antworte uns bitte auf diese E-Mail. Damit wir hier einmal ein Gefühl bekommen, ob das für dich relevant ist.

P.S. Klar, Zapier kostet auch etwas. Es gibt aber auch günstigere Alternativen oder Open-Source-Tools. Unser Ansatz ist hier, dass wir lieber für ein Tool bezahlen, mit dem man beliebige Use Cases abbilden kann, statt 50 Abos für spezifische Einzelfälle.

🎧 Neue Lieblings (AI) App

Hier haben wir länger überlegt, ob diese App “Newsletter-würdig” ist.

Allerdings sind wir absolute Fans, nutzen sie täglich und ihre AI Features sind wirklich genial.

Daher ist das vielleicht auch für dich interessant. Wir sprechen von Snipd.

Snipd ist ein Podcast Player, der es dir extrem einfach macht, aus Podcasts zu lernen.

Im Zentrum steht ein Nicht-AI-Feature, mit dem du kurze Podcast Highlights, die du dir merken willst, abspeichern kannst.

Sprich: wenn du gerade etwas Spannendes hörst, drücke einfach den Snip Button oder aktiviere das über dein Headset.

Dann kommt auch schon die AI ins Spiel. Snipd erstellt dann automatisch ein Transkript der Stelle, eine Zusammenfassung und gibt dem ganzen einen Titel.

Weitere coole Features runden das Tool ab:

• Lesbare und hörbare Zusammenfassungen von ganzen Podcasts

• Kapiteleinteilungen auch bei Podcasts, die das noch nicht machen

• Einfache Exportmöglichkeit deiner Highlights in deine Lieblings Notetaking-App.

Hier gehts noch einmal zur App. (Auch die kostenlose Version ist schon ganz gut brauchbar, und für Android und iPhone zu haben.)

Wir lieben die App und sie ist ein super Beispiel dafür, wie AI das tägliche Leben ein Stück besser macht. Zumindest für Nerds wie uns.

Ein kleiner Wermutstropfen ist, dass die AI-Features noch nicht auf Deutsch verfügbar sind - aber snip-en funktioniert auf jeden Fall!

📰 AI-News-Quickie: Die HAI-lights

Zum Abschluss hier noch ein paar leicht verdauliche News-Häppchen!

• Oh, krea.ai hat ein cooles Update herausgebracht, bei dem du bis zu drei Bilder kombinieren und in Echtzeit gewichten kannst.

• Wie gut ist Sora wirklich? Hier ein Interview mit den Machern des "Air Head" Clips.

• ‘Reggaeton Be Gone’! Ein findiger Programmierer hat aus der Not heraus eine AI-Maschine gebaut, die automatisch die Musik seines Nachbarn stummschaltet 😁 …

• Cooles OpenAI Sora Video - mit Musik! Diese stammt aber nicht von AI, sondern von der Musikerin August Kamp.

• Video: Was Google so alles im Bereich Gesundheit macht – klar, (auch) mit AI. Trotzdem hat Big G so einiges an Boden im AI-Feld verloren, wenn man sich die Analyse der Financial Times anschaut.

• Apple Vision Pro Personas können mit VisionOS 1.1 neu frei in anderen Apps herumschwirren. Diese „Spatial Personas“ vermitteln das Gefühl, gemeinsam mit anderen Nutzern im selben Raum zu sein.

• Und dann war da noch Higgsfield … eine neue Video AI App, die wir auf dem Radar behalten werden (iOS App hier).

• Das NBA-Basketballteam der Indiana Pacers hat Snapchat-AI-Filter genutzt, um es so aussehen zu lassen, als ob Fans der Los Angeles Lakers während des Spiels weinen würden 😂.

• Ghost Autonomy, ein von OpenAI unterstütztes Start-up für autonome Fahrsoftware, hat das Handtuch geschmissen - es scheiterte an technischen und finanziellen Hürden.

• Waymo dagegen kommt mit selbstfahrenden Autos voran. Nachdem das Angebot in Kalifornien vor Kurzem von San Francisco auch auf LA ausgeweitet wurde, kooperiert man jetzt in Phoenix, Arizona, mit Uber Eats als autonomer Lieferservice.

🤭 AI-Fun

YAI! … ein bisschen Spaß muss sein.

Geschafft! Aber kein Grund zum traurig sein. Die AInauten sind schon bald wieder zurück, mit neuem Futter für dich.

Bis bald, deine AInauten

Folge uns auf Twitter & LinkedIn!

Du willst mehr? So können wir dir helfen:

1. Das AI-Bootcamp: Der wohl schnellste & einfachste Einstieg in die Welt der AI. Im Bootcamp lernst du in über 50+ Videos, wie du AI für dich wirklich anwenden kannst. In weniger als 2 Wochen wirst du so zum AI-Experten. Von Prompts, zu Bildern und Videos, bis zu AI im Office ist alles mit dabei.

2. Der AI-Vault: Jede Woche neue AI Praxis-Videos, Tutorials, Tool-Tests, Promptvorlagen, Experimente uvm. Für alle AI-Enthusiasten, die die Basics bereits drauf haben und noch tiefer in die Praxis einsteigen wollen. Oder einfach gemeinsam entdecken wollen.

Dein Feedback ist für uns essenziell. Wir lesen JEDEN Kommentar und Hinweis. Sag uns, was (nicht) gut war, und was für DICH interessant ist.