• AInauten
  • Posts
  • 🙀 ChatGPT 4 Praxis-Test: So nutzt du Vision und DALL-E 3

🙀 ChatGPT 4 Praxis-Test: So nutzt du Vision und DALL-E 3

PLUS: Neue Prompts, State of AI Report & News

AI-HOI und guten Montagmorgen, liebe AInauten!

Willkommen zum AI-Newsletter mit den neuesten News, Tools & Hacks!

Wir haben die Ärmel hochgekrempelt und getestet, was die neuen ChatGPT Bild-Funktionen wirklich drauf haben (inkl. neuer Prompts und Screenshots - deshalb ist die Mail auch etwas lang geworden).

Nach dem Praxis-Deep Dive zoomen wir in die Vogelperspektive, um den State of AI-Report auseinanderzunehmen und die wichtigsten News zu checken.

Ready?! Cool! Das haben wir für dich im Gepäck:

  • 🙀 Der große ChatGPT 4 Praxis-Test: So nutzt du Vision und DALL-E 3

  • 🖊️ Prompt-Praxis-Hack: So erstellst du ähnliche Bilder mit ChatGPT

  • 🔮 Neuer Report: State of AI - Die Highlights und Überraschungen

  • 📰 AI News – was du wirklich wissen musst solltest

Los geht’s!

🙀 Der große ChatGPT 4 Praxis-Test: So nutzt du Vision und DALL-E 3

ChatGPT Plus hat neue Features in Bezug auf Bilder, die wir endlich im Detail ausprobieren konnten:

So sehen die neuen Optionen im Menü aus:

Hinweis: Diese neuen Features sind nur für ChatGPT Plus Nutzer verfügbar. Alternativ kannst du Bing Chat & Bing Create mit ähnlichen Features nutzen.

1. Bilder nach ChatGPT hochladen

Um das ChatGPT Modell zu nutzen, das Bilder „sehen“ und verstehen kann, musst du das Default-Modell auswählen.

Wir haben damit einen Test gemacht mit einem „Oldie, but Goldie”-Cartoon aus dem Jahre 1993 (Auflösung der Original Caption siehe unten).

Erste Aufgabe: für diesen Cartoon 10 passende Captions erstellen

Ganz ehrlich, da hat ChatGPT ein paar echt gute Varianten generiert.

Aber das sagen wir natürlich nicht, sondern fordern unseren Assistenten heraus, das noch besser zu machen!

Zweite Aufgabe: Das Ganze von vorne, diesmal mit mehr Fokus auf AI.

Und auch hier überzeugt ChatGPT – wir finden 8, 9 und 10 richtig gut!

Letzte Aufgabe: kennt ChatGPT den originalen Spruch zum Cartoon?

Ja, tut es! 👌 Wir sind beeindruckt.

Und falls du dich jetzt fragst, was man mit einem sehenden ChatGPT Assistenten sonst noch machen kann: eine ganze Menge (und die Prompt-Hacker sind auch bereits fleissig am Testen)!

Anwendungsfälle für ChatGPT mit Bilderkennung

  • Sprachübersetzung auf Bildern: Übersetzung von Texten in Bildern, um die Kommunikation oder das Verständnis zu erleichtern.

  • Grafikanalyse: Erläuterung komplexer Grafiken oder Diagramme, um Konzepte zu erklären (bspw. Zellstrukturen auf Niveau der 9. Klasse).

  • Rezept-Erstellung: Generierung von Rezepten auf Basis von Bildern oder von Esswaren im Kühlschrank.

  • UI-Code-Generierung: Generierung von Code für Webseiten oder Benutzeroberflächen, basierend auf Screenshots oder Zeichnungen, um die Entwicklungszeit von Design zu Prototyp zu verkürzen.

  • Figma-Design in Code: Umwandlung von Figma-Designs in funktionierende React-Komponenten oder anderen Code.

  • Produkt-Beschreibung: Detaillierte Beschreibungen und Analysen von Bildern, für die Listung auf eBay, Etsy oder anderen Stores.

  • Erläuterung von Comics oder Memes: Interpretation von Bildern, die oft humorvoll oder satirisch sind und Kontext benötigen.

  • Kreuzworträtsel: Unterstützung bei der Lösung durch Analyse der bereitgestellten Hinweise.

  • Modekoordination: Bereitstellung von Modeberatung oder Outfit-Empfehlungen basierend auf Bildern der vorhandenen Garderobe.

  • Listen erstellen: Erstellen von Listen, basierend auf der Analyse eines Bilds. 👇

Zum Thema Listen/Tabellen erstellen gleich nochmal ein Beispiel (leider sind die Chats mit Bildern noch nicht über das Link Sharing-Feature teilbar).

Wir haben ChatGPT beauftragt, eine Tabelle mit den Produkten eines Warenkorbs zu erstellen, und dabei den ungefähren Preis sowie die Kalorien aufzuführen.

Pretty impressive! Wir haben dafür bewusst ein Bild eines deutschen Warenkorbs gewählt, der Reflektionen auf Produktpackungen hat und auch von der Anordnung und den Produkten her ein bisschen herausfordernd ist.

Und ChatGPT hat das wieder sehr gut gemeistert! Oder hättest du den Hasen gesehen? Auf unsere Nachfrage hin gab es dann noch weitere Details.

Fazit: Wir haben erst an der Oberfläche gekratzt und sind mega gespannt, was uns noch für Ideen zum Einsatz der Bilderkennung kommen werden!

Machen wir weiter mit der zweiten Neuerung zum Thema Bilder in ChatGPT:

2. Bilder mit DALL-E 3 in ChatGPT erstellen

Bevor DALL-E 3 in ChatGPT verfügbar war, konnte man es bereits kostenlos bei Bing ausprobieren unter https://www.bing.com/create (wir haben getestet und berichtet).

Jetzt haben wir aber DALL-E 3 auch direkt in ChatGPT Plus verfügbar (ohne Zusatzkosten) und haben damit experimentiert.

Du kannst damit alles Mögliche erstellen (*nicht immer perfekt, aber gut!)

  1. Illustrationen

    • Handzeichnungen

    • Digitale Kunstwerke

  2. Fotografie

    • Realistische Bilder

    • Produktfotos

  3. Bilder mit Text

    • Memes

    • Infografiken

  4. Schriftbasierte Gestaltung

    • Logos, Banner

    • Etiketten, Anhänger

  5. Comic und Humor

    • Comic Strips

    • Karikaturen

  1. Web- und App-Design

    • Webseiten Grafiken

    • App Interfaces

  2. Produkte und Design

    • Mockups, 3D-Model

    • Konzept Designs

  3. Marketing und Werbung

    • Werbeplakate, Flyer

    • Buch-Cover

  4. Social Medien Inhalte

    • Social-Media Posts

    • Story-Vorlagen

  5. Icons und Buttons

    • App Icons

    • Web Buttons

Bleiben wir bei obigem Cartoon und portieren diesen mit einem simplen Pompt in die Welt der AI - voilà!

Wow! Klar, der Text ist noch nicht ganz perfekt - aber da klicken wir einfach auf “Regenerate” oder drücken wir locker beide Augen zu und pinseln die richtigen Buchstaben mit Paint oder PowerPoint über die Sprechblase (ja, wir können auch kein Photoshop).

Ein paar Hinweise zum Einsatz von DALL-E 3:

  • Kann Text in Bildern darstellen besser als Konkurrenz (Tool-Vergleich)

  • Versteht Prompts/Kompositionen viel genauer

  • Man kann mehrere DALL-E 3 Chats parallel starten (separate Fenster)

  • Man kann die Bilderstellung mit dem klassichen Chatmodus kombinieren (siehe das “Abenteuerspiel”-Prompt im P.S.)

  • Es gibt die Ausgabeformate 1792 x 1024 px (breit), 1024x1024 px (quadratisch) und 1024x1792 px (hoch).

  • Man kann keine eigenen Bilder uploaden (nur in ChatGPT 4 Standard)

  • Man kann generierte Bilder (noch) nicht verfeinern, es wird immer ein neues Bild auf Basis des Prompts generiert (es gibt keine „Seeds“)

  • Das Prompt wird im Hintergrund immer auf Englisch übersetzt

Das unsere Eindrücke und Tipps - am besten machst du dir selbst ein Bild!

🖊️ Prompt-Praxis-Hack: So erstellst du ähnliche Bilder mit ChatGPT

Ok, wie wäre es, wenn du ein Bild in ChatGPT 4 (Standard) hochlädst, dir davon eine Beschreibung erstellen lässt, und dann ein ähnliches Bild über das ChatGPT DALL-E 3 Feature erstellen lässt?

Genau, das wäre ziemlich praktisch. Deshalb haben wir ein Prompt entwickelt, um genau das zu tun - und haben es an dem Cartoon-Beispiel von oben versucht. Here we go!

Du bist ein detailorientierter Fotograf mit 40 Jahren Erfahrung. Deine Spezialität ist die exakte Beschreibung komplexer Bilder. Take a deep breath, und beschreibe den Inhalt des Bildes genau - das ist wichtig!

Struktur:

1. Zerlege das Bild in seine einzelnen Ebenen. Beispiel: "Im Hintergrund ein blauer Himmel mit vereinzelten Wolken. Mittig ein großer Baum mit grünen Blättern. Im Vordergrund ein Picknicktisch mit darauf liegendem Buch und einer Tasse heißem Kaffee."
2. Liste jedes Element im Bild auf und gib eine ungefähre Position an.
3. Präsentiere die Beschreibung in zwei Formaten: als Liste und als präzisem Fließtext.
 
Du bist ein detailorientierter Fotograf mit 40 Jahren Erfahrung. Deine Spezialität ist die exakte Beschreibung komplexer Bilder. Atme tief durch und beschreibe das Bild in all seinen Facetten, damit es so genau wie möglich nachgestaltet werden kann. Stelle sicher, dass alle wichtigen Dinge beschrieben sind - hier ist eine mögliche Struktur:

Ebenen des Bildes: 
- Zerlege das Bild in seine einzelnen Ebenen. Zum Beispiel: "Im Hintergrund ein blauer Himmel mit vereinzelten Wolken. Mittig ein großer Baum mit grünen Blättern. Im Vordergrund ein Picknicktisch mit darauf liegendem Buch und einer Tasse heißem Kaffee."
- Beziehungen: Analysiere die Beziehungen der Elemente zueinander, und in welcher Position und Verhältnis sie zueinander stehen.
- Elemente: Liste jedes Element im Bild auf und gib eine ungefähre Position an. 
- WICHTIG: Nutze ein imaginäres Raster, und stelle sicher, dass du die Beziehungen zwischen den Elementen darüber beschreibst (bspw. "Hund in B2 schaut zu Herrchen in C5")

Künstlerische Beschreibung:
- Stil: Beschreibe den Stil, oder eine Kombination davon
- Optional: Benenne Künstler, die das Bild beeinflusst haben könnten, z.B. "im Stil von Maler Pablo Picasso" oder "Fotograf Helmut Newton"
- Medium: Zum Beispiel: Fotografie, Cartoon, Illustration, Ölgemälde, Wasserfarben, Zeichnung, Infografik, ...
- Vibe: Erkläre die Stimmungen oder Emotionen, die das Bild hervorruft, z.B. "futuristisch", "utopian" oder "dystopian".
Perspektive: Beschreibe den Blickwinkel, z.B. "wide angle", "fisheye lens" oder "portrait".

Präsentation: 
- Erstelle eine Beschreibung aller Elemente als Liste, finde passende Kriterien
- Erstelle eine Beschreibung der Beziehungen zwischen den Elementen
- Erstelle eine umfassende Beschreibung als Fliesstext

Take a deep breath, let's go!

Und so sieht das Resultat aus:

Je nach Input-Bild muss der Input aber gar nicht immer so komplex sein. Das folgende Mini-Prompt hat bei unserem Beispiel mindestens ebenbürtige Ergebnisse gebracht!

Beschreibe mir dieses Bild so detailliert wie möglich/nötig. Das Ziel ist, dass ich es nur basierend auf deiner Beschreibung möglichst exakt nachmachen kann.

Hope you liked it! Wir hatten auf jeden Fall unseren Spaß dabei.

P.S.: Du hast Lust auf mehr? Dann versuche es mal mit diesem interaktiven Prompt in DALL-E 3 und gehe auf deine ganz persönliche Abenteuerreise! 🧭

Nimm mich mit in ein "Entscheide-dein-eigenes-Abenteuer"-Spiel. 

Starte, indem du mich nach einem interessanten Thema fragst. Je nach meiner Antwort, kreiere ein themenbezogenes Bild und biete mir dazu drei passende Auswahlmöglichkeiten an. 

Bei jeder meiner Entscheidungen, generiere ein weiteres Bild, das auf meiner Wahl basiert, und präsentiere mir drei neue Optionen. Setze dieses Spiel fort, außer ich treffe eine Wahl, die ich bereue.

🔮 Neuer Report: State of AI - Das sind die Highlights und Überraschungen

Der State of AI - Report von Nathan Benaich und seinem Team ist bereits das sechste Jahr am Start, und gibt einen erstklassigen Überblick zu allen Bereichen der AI.

Von den neuesten AI-Technologien über Industrie-Trends bis hin zu politischen Entwicklungen und Sicherheitsbedenken, damit hast du alles im Blick!

Klingt spannend? Hier die wichtigsten Highlights, leicht verdaubar.

  • 🤖 GPT-4 ist Klassenbester: Das Patchwork-Modell GPT-4 klatscht alle anderen Sprachmodelle weg, sowohl in klassischen Benchmarks als auch in Disziplinen, die eigentlich für Menschen gedacht sind.

    Es wird fieberhaft versucht, die Leistung von GPT-4 zu klonen oder zu übertreffen - durch kleinere Modelle, bessere Datensätze und längeren Kontext. LLaMa von Meta ist dabei der vielversprechendste Kandidat.

  • 🧪 Wissenschaftliche Durchbrüche: Die neuen Sprach- und Transformer-Modelle sorgen für bahnbrechende Fortschritte im Bereich der Wissenschaft, besonders in den Life Sciences Disziplinen. 

    Dabei hat die Medizin den größten Zuwachs an Veröffentlichungen, was in absehbarer Zukunft bedeutende Forschungsdurchbrüche in der Molekularbiologie und Medikamentenforschung möglich macht.

Anzahl Veröffentlichungen (Quelle: Zeta Alpha)

  • 🖥️ Rechenpower ist das neue Öl: NVIDIA baut Beziehungen zu AGI-orientierten Organisationen wie Cohere und Inflection AI auf und scheffelt gleichzeitig Rekordgewinne. Startups nutzen ihre GPUs als Wettbewerbsvorteil.

    Die großen Chiphersteller produzieren am Laufmeter und NVIDIA, Intel und AMD verkaufen ihre Chips im großen Stil, während die USA ihre Handelsbeschränkungen gegenüber China verschärfen.

  • 💸 GenAI rettet Venture Capital: Trotz eines Abschwungs bei den Tech-Bewertungen und einem eisigen Investitionsklima haben AI-Startups, die sich auf generative AI-Anwendungen konzentrieren, über $18 Milliarden US-Dollar von VC- und Unternehmensinvestoren einsammeln können (knapp $4 Milliarden in 2022).

  • 🌐 Die Sicherheitsdebatte explodiert: Die Diskussion um die Gefahren von AI ist in den Mainstream durchgebrochen und hat weltweit Regierungen und Regulierer zum debattieren und handeln veranlasst. Eine klare Richtung ist aber nicht erkennbar, und mangelt an konkreten Fortschritten in Richtung globaler Governance.

Das waren nur ein paar der Highlights. Der State of AI 2023 Report ist auch viel mehr als nur ein weiterer “AI-Bericht”. Es ist ein Fenster in die Zukunft. Nimm dir 20 Minuten und gehe auf eine spannende Entdeckungsreise!

P.S.: Ja, ist alles auf Englisch… Deshalb haben wir mit Google Translate das PDF der Slides auf Deutsch übersetzen lassen - klicke hier!

📰 AI News – was du wirklich wissen musst solltest

… und was tut sich sonst noch alles in den AI-Gefilden? Das erfährst du hier!

Tech-Unternehmen & Produktneuheiten

AI-Innovationen

Startups & Wirtschaft

Tools, Ressourcen & Bildung

  • Lust auf AI-generierte Videos? Vedeo bietet eine kuratierte Auswahl.

  • Welches ChatGPT Plugin für welchen Use Case? whatplugin.ai weiß Rat.

  • MagicSchool.ai unterstützt Schulen und Lehrer mit Unterrichtsmaterial.

  • Adobe hat an der MAX Konferenz in LA eine regelrechte AI-Lawine released und angeteased. Wenn du Adobe Tools nutzt, unbedingt anschauen!

Sicherheit, Politik & Ethik

Geschafft! Aber kein Grund zum traurig sein. Die AInauten sind schon bald wieder zurück, mit neuem Futter für dich.

Bis bald!

Deine AInauten

Dein Feedback ist für uns essenziell. Wir lesen JEDEN Kommentar und Hinweis. Sag uns, was (nicht) gut war, und was für DICH interessant ist.

⭐️ Wie hat dir diese Ausgabe gefallen?

Login oder Abonnieren um an umfragen teilzunehmen.

❤️ Sharing is caring! Und erhalte exklusive Geschenke

Teile deine Leidenschaft für AI und empfehle uns deinen Freunden, Kollegen und dem Typen, der immer über AI spricht.

Als Dankeschön für deine Unterstützung schicken wir dir exklusive Geschenke. Und das Beste daran? Es ist so einfach wie das Teilen eines Links!

Teilen ist gut, Teilen mit Belohnungen ist besser. Tausend Dank!

Wann immer du bereit bist, so können wir dir helfen:

→ Grundlagen-Praxis-Training: Über 50+ Videos machen dich vom Newbie zum AI-Profi. Du lernst, wie du AI in deinem Job nutzt, richtig Prompts erstellst, Bilder kreierst und erhältst zudem zahlreiche praktische Tipps zu ChatGPT, Midjourney, AI im Office, Tool Demos und vielem mehr, inkl. Boni. (Zukünftige Module und Updates zum Kurs sind inklusive!)

→ Intensiv-Training zu ChatGPT: Mit 21+ Video-Modulen inkl. der ASPEKT-Formel, Prompt-Hacks, Frameworks kannst du die besten Resultate erhalten, deinen AI-Assistenten trainieren und erhältst unsere exklusiven Prompts wie BuchGPT, Canva Automation, Meta-Prompt, Brainstorming, Storybrand, Newsletter, etc. (Inhalte werden laufend erweitert & aktualisiert!)

Du weißt, was zählt.
👕 Unsere neue Merch-Kollektion auch. 🧢

Reply

or to participate.