🙀 ChatGPT 4 Praxis-Test: So nutzt du Vision und DALL-E 3

AI-HOI und guten Montagmorgen, liebe AInauten!

Willkommen zum AI-Newsletter mit den neuesten News, Tools & Hacks!

Wir haben die Ärmel hochgekrempelt und getestet, was die neuen ChatGPT Bild-Funktionen wirklich drauf haben (inkl. neuer Prompts und Screenshots - deshalb ist die Mail auch etwas lang geworden).

Nach dem Praxis-Deep Dive zoomen wir in die Vogelperspektive, um den State of AI-Report auseinanderzunehmen und die wichtigsten News zu checken.

Ready?! Cool! Das haben wir für dich im Gepäck:

• 🙀 Der große ChatGPT 4 Praxis-Test: So nutzt du Vision und DALL-E 3

• 🖊️ Prompt-Praxis-Hack: So erstellst du ähnliche Bilder mit ChatGPT

• 🔮 Neuer Report: State of AI - Die Highlights und Überraschungen

• 📰 AI News – was du wirklich wissen musst solltest

Los geht’s!

🙀 Der große ChatGPT 4 Praxis-Test: So nutzt du Vision und DALL-E 3

ChatGPT Plus hat neue Features in Bezug auf Bilder, die wir endlich im Detail ausprobieren konnten:

1. Bilder hochladen und dazu chatten

2. Bilder mit DALL-E 3 erstellen

So sehen die neuen Optionen im Menü aus:

Hinweis: Diese neuen Features sind nur für ChatGPT Plus Nutzer verfügbar. Alternativ kannst du Bing Chat & Bing Create mit ähnlichen Features nutzen.

1. Bilder nach ChatGPT hochladen

Um das ChatGPT Modell zu nutzen, das Bilder „sehen“ und verstehen kann, musst du das Default-Modell auswählen.

Wir haben damit einen Test gemacht mit einem „Oldie, but Goldie”-Cartoon aus dem Jahre 1993 (Auflösung der Original Caption siehe unten).

Erste Aufgabe: für diesen Cartoon 10 passende Captions erstellen

Ganz ehrlich, da hat ChatGPT ein paar echt gute Varianten generiert.

Aber das sagen wir natürlich nicht, sondern fordern unseren Assistenten heraus, das noch besser zu machen!

Zweite Aufgabe: Das Ganze von vorne, diesmal mit mehr Fokus auf AI.

Und auch hier überzeugt ChatGPT – wir finden 8, 9 und 10 richtig gut!

Letzte Aufgabe: kennt ChatGPT den originalen Spruch zum Cartoon?

Ja, tut es! 👌 Wir sind beeindruckt.

Und falls du dich jetzt fragst, was man mit einem sehenden ChatGPT Assistenten sonst noch machen kann: eine ganze Menge (und die Prompt-Hacker sind auch bereits fleissig am Testen)!

Anwendungsfälle für ChatGPT mit Bilderkennung

• Sprachübersetzung auf Bildern: Übersetzung von Texten in Bildern, um die Kommunikation oder das Verständnis zu erleichtern.

• Grafikanalyse: Erläuterung komplexer Grafiken oder Diagramme, um Konzepte zu erklären (bspw. Zellstrukturen auf Niveau der 9. Klasse).

• Rezept-Erstellung: Generierung von Rezepten auf Basis von Bildern oder von Esswaren im Kühlschrank.

• UI-Code-Generierung: Generierung von Code für Webseiten oder Benutzeroberflächen, basierend auf Screenshots oder Zeichnungen, um die Entwicklungszeit von Design zu Prototyp zu verkürzen.

• Figma-Design in Code: Umwandlung von Figma-Designs in funktionierende React-Komponenten oder anderen Code.

• Produkt-Beschreibung: Detaillierte Beschreibungen und Analysen von Bildern, für die Listung auf eBay, Etsy oder anderen Stores.

• Erläuterung von Comics oder Memes: Interpretation von Bildern, die oft humorvoll oder satirisch sind und Kontext benötigen.

• Kreuzworträtsel: Unterstützung bei der Lösung durch Analyse der bereitgestellten Hinweise.

• Modekoordination: Bereitstellung von Modeberatung oder Outfit-Empfehlungen basierend auf Bildern der vorhandenen Garderobe.

• Listen erstellen: Erstellen von Listen, basierend auf der Analyse eines Bilds. 👇

Zum Thema Listen/Tabellen erstellen gleich nochmal ein Beispiel (leider sind die Chats mit Bildern noch nicht über das Link Sharing-Feature teilbar).

Wir haben ChatGPT beauftragt, eine Tabelle mit den Produkten eines Warenkorbs zu erstellen, und dabei den ungefähren Preis sowie die Kalorien aufzuführen.

Pretty impressive! Wir haben dafür bewusst ein Bild eines deutschen Warenkorbs gewählt, der Reflektionen auf Produktpackungen hat und auch von der Anordnung und den Produkten her ein bisschen herausfordernd ist.

Und ChatGPT hat das wieder sehr gut gemeistert! Oder hättest du den Hasen gesehen? Auf unsere Nachfrage hin gab es dann noch weitere Details.

Fazit: Wir haben erst an der Oberfläche gekratzt und sind mega gespannt, was uns noch für Ideen zum Einsatz der Bilderkennung kommen werden!

Machen wir weiter mit der zweiten Neuerung zum Thema Bilder in ChatGPT:

2. Bilder mit DALL-E 3 in ChatGPT erstellen

Bevor DALL-E 3 in ChatGPT verfügbar war, konnte man es bereits kostenlos bei Bing ausprobieren unter https://www.bing.com/create (wir haben getestet und berichtet).

Jetzt haben wir aber DALL-E 3 auch direkt in ChatGPT Plus verfügbar (ohne Zusatzkosten) und haben damit experimentiert.

Du kannst damit alles Mögliche erstellen (*nicht immer perfekt, aber gut!)

Bleiben wir bei obigem Cartoon und portieren diesen mit einem simplen Pompt in die Welt der AI - voilà!

Wow! Klar, der Text ist noch nicht ganz perfekt - aber da klicken wir einfach auf “Regenerate” oder drücken wir locker beide Augen zu und pinseln die richtigen Buchstaben mit Paint oder PowerPoint über die Sprechblase (ja, wir können auch kein Photoshop).

Ein paar Hinweise zum Einsatz von DALL-E 3:

• Kann Text in Bildern darstellen besser als Konkurrenz (Tool-Vergleich)

• Versteht Prompts/Kompositionen viel genauer

• Man kann mehrere DALL-E 3 Chats parallel starten (separate Fenster)

• Man kann die Bilderstellung mit dem klassichen Chatmodus kombinieren (siehe das “Abenteuerspiel”-Prompt im P.S.)

• Es gibt die Ausgabeformate 1792 x 1024 px (breit), 1024x1024 px (quadratisch) und 1024x1792 px (hoch).

• Man kann keine eigenen Bilder uploaden (nur in ChatGPT 4 Standard)

• Man kann generierte Bilder (noch) nicht verfeinern, es wird immer ein neues Bild auf Basis des Prompts generiert (es gibt keine „Seeds“)

• Das Prompt wird im Hintergrund immer auf Englisch übersetzt

Das unsere Eindrücke und Tipps - am besten machst du dir selbst ein Bild!

🖊️ Prompt-Praxis-Hack: So erstellst du ähnliche Bilder mit ChatGPT

Ok, wie wäre es, wenn du ein Bild in ChatGPT 4 (Standard) hochlädst, dir davon eine Beschreibung erstellen lässt, und dann ein ähnliches Bild über das ChatGPT DALL-E 3 Feature erstellen lässt?

Genau, das wäre ziemlich praktisch. Deshalb haben wir ein Prompt entwickelt, um genau das zu tun - und haben es an dem Cartoon-Beispiel von oben versucht. Here we go!

Du bist ein detailorientierter Fotograf mit 40 Jahren Erfahrung. Deine Spezialität ist die exakte Beschreibung komplexer Bilder. Take a deep breath, und beschreibe den Inhalt des Bildes genau - das ist wichtig!

Struktur:

1. Zerlege das Bild in seine einzelnen Ebenen. Beispiel: "Im Hintergrund ein blauer Himmel mit vereinzelten Wolken. Mittig ein großer Baum mit grünen Blättern. Im Vordergrund ein Picknicktisch mit darauf liegendem Buch und einer Tasse heißem Kaffee."
2. Liste jedes Element im Bild auf und gib eine ungefähre Position an.
3. Präsentiere die Beschreibung in zwei Formaten: als Liste und als präzisem Fließtext.
 
Du bist ein detailorientierter Fotograf mit 40 Jahren Erfahrung. Deine Spezialität ist die exakte Beschreibung komplexer Bilder. Atme tief durch und beschreibe das Bild in all seinen Facetten, damit es so genau wie möglich nachgestaltet werden kann. Stelle sicher, dass alle wichtigen Dinge beschrieben sind - hier ist eine mögliche Struktur:

Ebenen des Bildes: 
- Zerlege das Bild in seine einzelnen Ebenen. Zum Beispiel: "Im Hintergrund ein blauer Himmel mit vereinzelten Wolken. Mittig ein großer Baum mit grünen Blättern. Im Vordergrund ein Picknicktisch mit darauf liegendem Buch und einer Tasse heißem Kaffee."
- Beziehungen: Analysiere die Beziehungen der Elemente zueinander, und in welcher Position und Verhältnis sie zueinander stehen.
- Elemente: Liste jedes Element im Bild auf und gib eine ungefähre Position an. 
- WICHTIG: Nutze ein imaginäres Raster, und stelle sicher, dass du die Beziehungen zwischen den Elementen darüber beschreibst (bspw. "Hund in B2 schaut zu Herrchen in C5")

Künstlerische Beschreibung:
- Stil: Beschreibe den Stil, oder eine Kombination davon
- Optional: Benenne Künstler, die das Bild beeinflusst haben könnten, z.B. "im Stil von Maler Pablo Picasso" oder "Fotograf Helmut Newton"
- Medium: Zum Beispiel: Fotografie, Cartoon, Illustration, Ölgemälde, Wasserfarben, Zeichnung, Infografik, ...
- Vibe: Erkläre die Stimmungen oder Emotionen, die das Bild hervorruft, z.B. "futuristisch", "utopian" oder "dystopian".
Perspektive: Beschreibe den Blickwinkel, z.B. "wide angle", "fisheye lens" oder "portrait".

Präsentation: 
- Erstelle eine Beschreibung aller Elemente als Liste, finde passende Kriterien
- Erstelle eine Beschreibung der Beziehungen zwischen den Elementen
- Erstelle eine umfassende Beschreibung als Fliesstext

Take a deep breath, let's go!

Und so sieht das Resultat aus:

Je nach Input-Bild muss der Input aber gar nicht immer so komplex sein. Das folgende Mini-Prompt hat bei unserem Beispiel mindestens ebenbürtige Ergebnisse gebracht!

Beschreibe mir dieses Bild so detailliert wie möglich/nötig. Das Ziel ist, dass ich es nur basierend auf deiner Beschreibung möglichst exakt nachmachen kann.

Hope you liked it! Wir hatten auf jeden Fall unseren Spaß dabei.

P.S.: Du hast Lust auf mehr? Dann versuche es mal mit diesem interaktiven Prompt in DALL-E 3 und gehe auf deine ganz persönliche Abenteuerreise! 🧭

Nimm mich mit in ein "Entscheide-dein-eigenes-Abenteuer"-Spiel. 

Starte, indem du mich nach einem interessanten Thema fragst. Je nach meiner Antwort, kreiere ein themenbezogenes Bild und biete mir dazu drei passende Auswahlmöglichkeiten an. 

Bei jeder meiner Entscheidungen, generiere ein weiteres Bild, das auf meiner Wahl basiert, und präsentiere mir drei neue Optionen. Setze dieses Spiel fort, außer ich treffe eine Wahl, die ich bereue.

🔮 Neuer Report: State of AI - Das sind die Highlights und Überraschungen

Der State of AI - Report von Nathan Benaich und seinem Team ist bereits das sechste Jahr am Start, und gibt einen erstklassigen Überblick zu allen Bereichen der AI.

Von den neuesten AI-Technologien über Industrie-Trends bis hin zu politischen Entwicklungen und Sicherheitsbedenken, damit hast du alles im Blick!

Klingt spannend? Hier die wichtigsten Highlights, leicht verdaubar.

• 🤖 GPT-4 ist Klassenbester: Das Patchwork-Modell GPT-4 klatscht alle anderen Sprachmodelle weg, sowohl in klassischen Benchmarks als auch in Disziplinen, die eigentlich für Menschen gedacht sind.

  Es wird fieberhaft versucht, die Leistung von GPT-4 zu klonen oder zu übertreffen - durch kleinere Modelle, bessere Datensätze und längeren Kontext. LLaMa von Meta ist dabei der vielversprechendste Kandidat.

• 🧪 Wissenschaftliche Durchbrüche: Die neuen Sprach- und Transformer-Modelle sorgen für bahnbrechende Fortschritte im Bereich der Wissenschaft, besonders in den Life Sciences Disziplinen. 

  Dabei hat die Medizin den größten Zuwachs an Veröffentlichungen, was in absehbarer Zukunft bedeutende Forschungsdurchbrüche in der Molekularbiologie und Medikamentenforschung möglich macht.

• 🖥️ Rechenpower ist das neue Öl: NVIDIA baut Beziehungen zu AGI-orientierten Organisationen wie Cohere und Inflection AI auf und scheffelt gleichzeitig Rekordgewinne. Startups nutzen ihre GPUs als Wettbewerbsvorteil.

  Die großen Chiphersteller produzieren am Laufmeter und NVIDIA, Intel und AMD verkaufen ihre Chips im großen Stil, während die USA ihre Handelsbeschränkungen gegenüber China verschärfen.

• 💸 GenAI rettet Venture Capital: Trotz eines Abschwungs bei den Tech-Bewertungen und einem eisigen Investitionsklima haben AI-Startups, die sich auf generative AI-Anwendungen konzentrieren, über $18 Milliarden US-Dollar von VC- und Unternehmensinvestoren einsammeln können (knapp $4 Milliarden in 2022).

• 🌐 Die Sicherheitsdebatte explodiert: Die Diskussion um die Gefahren von AI ist in den Mainstream durchgebrochen und hat weltweit Regierungen und Regulierer zum debattieren und handeln veranlasst. Eine klare Richtung ist aber nicht erkennbar, und mangelt an konkreten Fortschritten in Richtung globaler Governance.

Das waren nur ein paar der Highlights. Der State of AI 2023 Report ist auch viel mehr als nur ein weiterer “AI-Bericht”. Es ist ein Fenster in die Zukunft. Nimm dir 20 Minuten und gehe auf eine spannende Entdeckungsreise!

Hier findest du den kompletten Report als Slide Deck!

P.S.: Ja, ist alles auf Englisch… Deshalb haben wir mit Google Translate das PDF der Slides auf Deutsch übersetzen lassen - klicke hier!

📰 AI News – was du wirklich wissen musst solltest

… und was tut sich sonst noch alles in den AI-Gefilden? Das erfährst du hier!

Tech-Unternehmen & Produktneuheiten

• Microsoft zahlt dir bis zu $15.000 US-Dollar, wenn du einen Bing Chat Bug findest.

• Character AI bringt mit "Character Group Chat" eine coole Funktion raus, mit denen man Menschen und AI-Charaktere in einem Raum vereinen kann – ideal für Mastermind Coachings, Buchclubs, Rollenspiele und mehr, exklusiv für c.ai+ Abonnenten ($9,99/Monat).

• Google erlaubt bald die Erstellung von Bildern, direkt über deine Suchanfragen - und verspricht Unterstützung im Falle von Rechtsstreitigkeiten.

• … übrigens, selbst Google Mitarbeiter sind von Bard nicht überzeugt.

AI-Innovationen

• Der Student Luke hat eine alte Schriftrolle mit AI entziffert - und damit einen Preis von $40.000 US-Dollar gewonnen!

• Beeindruckende Tech! Mit https://comma.ai kannst du 250+ Automodelle auf den "Selbstfahrmodus" umstellen!

• Dank AI werden auch die Batterien der Elektrofahrzeuge besser.

• So könnte das AI-Fitness Studio der Zukunft aussehen.

• Branchen-Übersicht: So nutzen Modemarken AI

• Disney Research hat auf der IROS 2023 einen neuen Roboter vorgestellt, der Emotionen durch Bewegungen ausdrückt und künftig in Disney-Themenparks und anderen Umgebungen zum Einsatz kommen kann - Video hier.

Startups & Wirtschaft

• OpenAIs Umsatz explodiert auf $1,3 Milliarden ARR, während das Entwicklertool Github Copilot auch bereits die $100 Millionen ARR Marke knackt.

• OpenAI erklärt seine Technologie (und bestätigt, dass ChatGPT kostenlos bleiben soll), toppt 50 Millionen App Downloads, prüft die Entwicklung von AI-Chips, Reduktion der Kosten, investiert in IDE - und hat auch noch seine Werte stärker auf AGI ausgerichtet.

• Sam Altman ist Investor bei Humane, einem AI-Pin (wir haben berichtet), und hat einen Anteil von fast 15%.

• Atlassian (Trello, Confluence, Jira, …) will nun Loom übernehmen - die vor kurzem mit einem starken AI-Feature aufgetrumpft haben.

• Laut Gartner werden bis 2026 mehr als 80 % der Unternehmen generative AI-APIs oder Anwendungen nutzen.

• Immer mehr Kinder und Jugendliche launchen AI-Startups, wie die Beispiele der 16-jährign Pranjali aus Indien oder dieses 3-jährigen Kiddos zeigen.

Tools, Ressourcen & Bildung

• Lust auf AI-generierte Videos? Vedeo bietet eine kuratierte Auswahl.

• Welches ChatGPT Plugin für welchen Use Case? whatplugin.ai weiß Rat.

• MagicSchool.ai unterstützt Schulen und Lehrer mit Unterrichtsmaterial.

• Adobe hat an der MAX Konferenz in LA eine regelrechte AI-Lawine released und angeteased. Wenn du Adobe Tools nutzt, unbedingt anschauen!

Sicherheit, Politik & Ethik

• Neuer GPT-4 Jailbreak Ansatz: nutze einfach seltene Sprachen!

• Die G7-Länder verpflichten sich zu einem AI-Verhaltenskodex, während Südostasien einen “Hands-off”-Approach verfolgt.

• Die USA und China blockieren sich gegenseitig, was sogar Henry Kissinger auf den Plan ruft (während die Lobbyisten weiterhin Washington im Visier haben).

• LoveGPT nutzt OpenAI's GPT, um überzeugende Fake-Dating-Profile und authentische Chats zu generieren. Betrüger können damit ihre Angriffe auf verschiedenen Dating-Plattformen einfacher skalieren…

• Knackiger Interview-Clip mit Geoffrey Hinton, dem “Godfather of AI”.

Geschafft! Aber kein Grund zum traurig sein. Die AInauten sind schon bald wieder zurück, mit neuem Futter für dich.

Bis bald!

Deine AInauten

→ Facebook - Twitter - Instagram - YouTube - TikTok - LinkedIn ←

Dein Feedback ist für uns essenziell. Wir lesen JEDEN Kommentar und Hinweis. Sag uns, was (nicht) gut war, und was für DICH interessant ist.

❤️ Sharing is caring! Und erhalte exklusive Geschenke

Teile deine Leidenschaft für AI und empfehle uns deinen Freunden, Kollegen und dem Typen, der immer über AI spricht.

Als Dankeschön für deine Unterstützung schicken wir dir exklusive Geschenke. Und das Beste daran? Es ist so einfach wie das Teilen eines Links!

Teilen ist gut, Teilen mit Belohnungen ist besser. Tausend Dank!

Wann immer du bereit bist, so können wir dir helfen: