🤩 Mega Upgrade für alle OpenAI Produkte

Guten Morgen AInauten!

Alles, was wir diese Woche vorhatten, wurde komplett über den Haufen geworfen, und zwar von einem der spannendsten AI-Events des Jahres.

Daher widmen wir uns in dieser Ausgabe dem OpenAI DevDay:

• 🤯 OpenAI bring Innovationen en masse - ein Überblick

• 🧑‍💻 So kannst du neue API Assistenten erstellen - jetzt ausprobieren!

• ⛓️ Workaround: GPT Funktionen direkt in Zapier ausprobieren

• 🦾 Next Level Automatisierungen mit AI Actions

Einsteigen, Geek-Brille aufsetzen, anschnallen und los geht’s!

🤯 OpenAIs DevDay bringt Innovationen en masse - ein erster Überblick

Am Montag lud OpenAI zur ersten Entwicklerkonferenz in San Francisco ein – ein Ereignis, das schon im Vorfeld den Puls der AI-Community höher schlagen ließ.

Und das zu Recht, denn die vorgestellten Neuerungen läuten die nächste Ära ein – nicht nur für Entwickler, sondern auch für uns reguläre ChatGPT-Nutzer. Und davon gibt es nicht wenige: 100 Millionen Menschen chatten wöchentlich, 2 Millionen Entwickler greifen auf die API zu und 92% der Fortune 500 Firmen nutzen es.

Hier in 3 Sekunden, falls du nur mitreden magst:

• GPT-4-Turbo ist da - mit max. 128.000 Token, was in etwa 96.000 Wörtern oder 300 Buch-Seiten entspricht - und hat damit gegenüber Anthropics Claude die Nase vorne!

• GPT-4-Turbo kennt das Weltgeschehen neu bis April 2023 (und hat via ChatGPT natürlich auch Zugang zum Web via Bing Suche)

• Jeder kann eigene Agenten bauen mit den sog. GPTs - das sind Bots, die du mit eigenen Daten und eigenen Instruktionen füttern kannst, so einfach wie noch nie.

• GPTs können einfach per Textanweisungen selbst gebaut und über den kommenden Marketplace sogar verkauft werden.

Und hier noch einmal alles im Detail:

• All-in-one-ChatGPT Plus: Du brauchst nun nicht mehr das gewünschte Modell auszuwählen – ChatGPT übernimmt die Entscheidung, basierend auf deiner Anfrage. Plugins stehen nach wie vor als separate Auswahlmöglichkeit zur Verfügung, die Benutzeroberfläche ist generell anwenderfreundlicher geworden.

• Aktuellerer ChatGPT mit Turbo: ChatGPT Plus ist neu mit dem schnellen GPT-4-Turbo Modell unterwegs und der Wissensstand geht jetzt bis April 2023.

• GPT-Agenten: Du kannst bald auf deine spezifischen Bedürfnisse ausgerichtete Agenten in ChatGPT erstellen – oder dir aus dem neuen Marktplatz beliebige Helferlein ins Boot holen.

• Erste Beispiel-GPTs stehen ab sofort für ChatGPT Plus- und Enterprise-Benutzer zum Ausprobieren zur Verfügung, einschließlich Canva- und Zapier.

Und das sind die wichtigsten Neuerungen für Entwickler (nicht ChatGPT):

• GPT-4-Turbo API: Dieses Modell wird neu als Standard genutzt und ist schneller und intelligenter als je zuvor​​​​. Und es erweitert das Kontextfenster wie gesagt auf 128.000 Tokens (ca. 300 Buch-Seiten) und behält auch besser die relevante Aspekte im Hinterkopf.

• Zudem ist es im Vergleich zu GPT-4 rund 2-3x preiswerter in der Nutzung und kann über die API unter dem Namen gpt-4-1106-preview angesteuert werden.

• Es gibt neue multimodale API-Funktionen, einschließlich Vision, Bilderstellung (DALL-E 3) und Text-to-Speech (TTS).

• GPT-4-Turbo kann damit Bilder über die API akzeptieren und diese automatisch beschreiben. Damit wird die detaillierte Analyse und das Lesen von Dokumenten mit Zahlen möglich.

• Unternehmen wie Snap, Coca-Cola und Shutterstock haben DALL·E 3 verwendet, um Bilder und Designs für ihre Kunden und Kampagnen programmgesteuert zu generieren.

• Das neue Sprachmodell ist für Echtzeit-Anwendungsfälle geeignet (=Output generieren) und auf Qualität optimiert – und hört sich gut an!

• Und auch für die OpenSource Lösung Whisper zur automatischen Spracherkennung (=Input transkribieren) gab es ein solides Update.

• Bestehende Funktionsaufrufe wurden verbessert, und du kannst wie angesprochen neu spezialisierte GPT-Agenten erstellen und diese künftig auch auf einem Marktplatz anbieten – und wirst sogar dafür bezahlt, wenn andere sie nutzen​​. Hier eine Anleitung, wie du sie erstellen kannst.

• OpenAI startet auch Copyright Shield, und übernimmt allfällige Kosten von Urheberrechtsklagen – aber nur für ChatGPT Enterprise Kunden und Entwickler.

• Für alle mit ausreichenden Mitteln bietet OpenAI nun an, unter Anleitung ihr eigenes Modell zu trainieren – ein kostspieliges Unterfangen …

Wo steht OpenAI im Vergleich mit den Mitbewerbern?

• Text: Mit dem neuen Turbo-Mode, dem großen Kontextfenster und dem generellen Level an Intelligenz hat GPT definitiv wieder die Nase weit vorne im Vergleich mit OpenSource Modellen und auch gegenüber Anthropics Claude, der bisher mit einem allgemein zugänglichen 100k Kontextfenster das Feld angeführt hat. (NB: Aus der EU muss man ein VPN nutzen, um Zugriff auf Claude zu haben).

• Bild: DALL-E 3 kommt in vielen Bereichen an Midjourney heran – und hat zudem zwei entscheidende Vorteile: 1. das Verständnis für ein Prompt und die Genauigkeit der Umsetzung, und 2. eine API-Schnittstelle für die programmatische Erstellung von Bildern.

• Video: Im Bereich Video gibt es nicht viel zu sagen, das gehört definitiv (noch) nicht zu den Stärken von OpenAI. Da bist du mit RunwayML, PikaLabs und Konsorten besser bedient.

• Audio: Die vor Kurzem eingeführten Audio-Möglichkeiten für ChatGPT sind richtig cool, und OpenAI setzt hier nochmals eins obendrauf mit dem Text-to-Speech-API. Wermutstropfen: erstmal alles nur in Englisch. Elevenlabs, play.ht und Murf sind hier weiter, aber wie lange noch?

Hier ein paar Beispiele, die wir auf X entdeckt haben - du siehst, die Vision API krempelt ganz schön einiges um …

• Ein Fußball Video wird zerschnipselt in einzelne Bilder, dann wird jedes 10. Bild an ChatGPT Vision geschickt, und das Spiel darüber kommentiert!

• Automatisch Captions für Social Media Post erstellen? Done!

• Aus einem Bild einfach eine Playlist erstellen? Jupp …

• Gib eine URL ein, lasse davon einen Screenshot erstellen, schicke das Bild durch GPT-4-Vision und gib dann eine Reihe von Verbesserungsvorschlägen aus.

Fazit: “Let the games begin!”

OpenAI hat bei seinem ersten Dev-Live-Event vor allem viele praktische Produkt-Updates präsentiert, die eine logische Fortsetzung der bisherigen Roadmap darstellen.

Und das sind halt so richtig coole Sachen mit dabei, die wir ehrlich gesagt nicht schon jetzt für die Allgemeinheit erwartet haben.

Diese Neuerungen setzen vor allem kleinere Start-ups mächtig unter Druck und heizen den Wettbewerb mit den großen Mitbewerbern wie Anthropic und Meta an. Auch viele Nischen-Player im Markt werden damit obsolet.

Massive Preissenkungen und der Schutz der Kunden vor Urheberrechtsansprüchen sind ebenfalls klare Ansagen an die Konkurrenz.

Aiaiaiai, die Karten wurden neu gemischt, es bleibt spannend. Für alle Details und konkrete Use Cases schaue dir die ganze Keynote an!

P.S.: Und zur Erinnerung, diese relativ neuen Features stehen dir auch bereits in der Mobile App zur Verfügung – nutze sie!

🧑‍💻 So kannst du neue API Assistenten im Playground erstellen - jetzt ausprobieren!

Eigentlich wollten wir diese Woche ein großes AI-Vault Video bringen, wie man das kleine Kontextfenster von GPT mit Zapier umgehen kann. Das können wir uns komplett sparen, da dieses Problem jetzt der Vergangenheit angehört.

Aber umso besser, denn das macht Automatisierungen mit Zapier und Co. noch einfacher - trage dich hier ein, wenn dich das Thema interessiert (more to come soon!).

Du musst kein Entwickler sein, um mit der API zu spielen. Ehrlich, just try!

Der DevDay war ja eigentlich ein Event für Entwickler, aber viele der gezeigten Funktionen bekommen wir alle wohl noch diese Woche in ChatGPT Plus gepusht.

So richtig Spaß haben kann man auch mit der API. Und über den OpenAI Playground hast du sofort Zugang zu dem wohl spannendsten Feature: der Assistants API!

So erstellst du dir deinen eigenen Bot - in wenigen Minuten

Im Playground kannst du dir deinen ganz eigenen Chatbot mit wenigen Klicks bauen und ausführen. Und das bereits mit dem neuen GPT4-Turbo Modell und dem Mega-Kontexfenster!

1. Melde dich im Playground an und wähle im Menu Playground Assistants aus. (Wir haben kürzlich darüber geschrieben, wie einfach du Zugang bekommst).

2. Fülle einige Datenfelder aus und baue dir deine ganz eigenen Assistenten für alle Bedürfnisse.

3. Du kannst Custom Instructions geben, das neue Modell auswählen und auch Code Interpreter und/oder die Retrieval Funktion aktivieren und deine ganz eigenen Daten hochladen, die der Assistent dann nutzt.

Wir werden noch diese Woche einen AInauten Assistenten bauen und dazu ein Live-Video in unserem AI-Vault publizieren!

⛓️ Workaround: GPT Funktionen direkt in Zapier ausprobieren

Wahrscheinlich geht es dir wie uns und du hast noch keinen Zugang zu den neuen Assistenten, den Custom GPTs, in ChatGPT Plus. Buuuuuhhhh!

Jetzt kannst du entweder abwarten, oder einen Workaround nutzen, denn die Zapier ChatGPT App hat einige neue Funktionen der GPTs erhalten, die du bereits ausprobieren kannst. Die Assistant API wurde nämlich bereits auf Zapier.com in die ChatGPT App integriert, und wie du siehst gibt es dort jetzt viel mehr Actions zum auswählen:

Du kannst damit also schon einige der Funktionalitäten via Zapier selbst nachbauen, die auch die in ChatGPT integrierten GPTs künftig haben werden. Zum Beispiel: Dateien analysieren, Code generieren, Antworten basierend auf deinen Dokumenten bekommen usw.

Wir haben uns mal die nächsten Tage ein paar Terminblocker gesetzt, um selbst einmal verschiedenste Use Cases auszuprobieren und machen dazu auch entsprechende Videos. Bald, versprochen!

🦾 Next Level Automatisierungen mit Zapier AI Actions

Bleiben wir noch kurz beim Thema. Eines der spannendsten Themen war für uns definitiv die Integration von GPTs und Zapier. Damit kannst du deinen Assistenten noch deutlich mächtiger machen!

Jeder sollte No-Code nutzen!

In unseren Companies und bei unseren Kunden kommen überall Zapier Automatisierungen zum Zug. Wir AInauten lieben No-Code und sind definitiv keine Developer - was uns aber nicht daran hindert, crazy Prozesse und Systeme zu bauen!

Deshalb reiten wir seit Kurzen auch verstärkt auf dem Thema rum, denn das neue Dreamteam sind Automatisierungen gekoppelt mit AI. Wir sind absolut davon begeistert, dass OpenAI und Zapier weiterhin ganz eng zusammen arbeiten.

Was heißt das konkret?

Zapier hat AI Actions vorgestellt. Diese AI Actions erlauben es dir, deine persönliche GPT mit all deinen Zapier Apps zu verbinden und wirkliche Handlungen umsetzen zu lassen. Damit kannst du einfach per Texteingabe ganze Workflows ablaufen lassen!

Hier ein echtes Beispiel aus der Praxis

Du kannst in Zapier deinen Kalender, E-Mail Account etc. verbinden - und damit deinen Zapier GPT Assistenten ganz einfach fragen, was du morgen alles auf der Agenda hast.

Wie cool das Ganze in Action ist, siehst du auch hier im Video ab Minute 23:35 Minuten für ca. 3 Minuten.

Du bekommst dann alle Termine ausgespuckt, und kannst darauf hin z.B. einen Termin absagen und über GPT auch direkt eine E-Mail an alle Teilnehmer mit der Absage schicken lassen. Alles ganz bequem, so als ob du mit einem Assistenten sprechen würdest.

Klingt spannend? Du kannst es hier austesten!
(ChatGPT Plus und Zapier Account vorausgesetzt)

Warum ist es relevant?

Mit Zapier AI Actions und GPTs kannst du in Zukunft arbeiten, als hättest du einen menschlichen Assistenten.

Da Zapier eine Drehscheibe für nahezu alle Apps darstellt, um Daten zwischen verschiedenen System zu übermitteln und spezifische Aufgaben auszulösen, und GPT alle Spracheingaben gut versteht, kannst du enorm coole Dinge bauen!

Und das Ganze ganz einfach über die ChatGPT App per Spracheingabe …

Wir sind schon ganz hibbelig darauf, das im Detail auszuprobieren und werden Unmengen die besten Use Case-Beispiele für dich produzieren.

So, das wars mit dem großen OpenAI Update für heute. Wir machen uns jetzt ran, das allles so gut es geht auszuprobieren und echte, spannende Beispiele zu liefern.

Bis nächste Woche!

Deine AInauten

→ Facebook - Twitter - Instagram - YouTube - TikTok - LinkedIn ←

Dein Feedback ist für uns essenziell. Wir lesen JEDEN Kommentar und Hinweis. Sag uns, was (nicht) gut war, und was für DICH interessant ist.

❤️ Sharing is caring! Und erhalte exklusive Geschenke

Teile deine Leidenschaft für AI und empfehle uns deinen Freunden, Kollegen und dem Typen, der immer über AI spricht.

Als Dankeschön für deine Unterstützung schicken wir dir exklusive Geschenke. Und das Beste daran? Es ist so einfach wie das Teilen eines Links!

Teilen ist gut, Teilen mit Belohnungen ist besser. Tausend Dank!

Wann immer du bereit bist, so können wir dir helfen: