- AINAUTEN
- Posts
- 🤫 SPECIAL: Google Leak und dein Open Source AI Reiseführer
🤫 SPECIAL: Google Leak und dein Open Source AI Reiseführer
🎟️ + Tickets zu "Rise of AI" & AI-Werbung irl gesichtet
AI-HOI und guten Montag-Morgen AInauten!
Willkommen zum AI Newsletter mit den neusten News, Tools & Hacks rund um das Thema AI. Heute machen wir ein kleines Special zum Thema Open Source AI, aus gegebenem Anlass. Und wie immer verständlich auch für Menschen ohne Mathe-Studium, und in weniger als 3 Minuten.
Das haben wir heute für dich im Gepäck:
🕵️♂️ Geleakt! Google fürchtet sich vor Open Source
🌎 SPECIAL: Sind Open Source AI-Modelle die Zukunft?
📅 “Rise of AI”-Event in Berlin (Gratis Online Ticket sichern)
🖼️ AI-Rätselraten: Wo wird Plakatwerbung für AI gemacht?
Los geht’s!
🕵️♂️ Geleakt! Google glaubt, dass Open Source AI Google und OpenAI übertrumpfen wird
Du glaubst, die großen Tech-Giganten wie Google und OpenAI werden die AI-Welt mit ihren leistungsstarken Sprachmodellen dominieren, und alle anderen vom Platz fegen? Think again!

Ein geleaktes internes Dokument eines Google Mitarbeiters (Disclaimer: das möglicherweise gefälscht sein könnte Autor ist Senior Engineer Luke Sernau) behauptet, dass Google und Open AI im Wettlauf um die leistungsfähigsten Sprachmodelle das Nachsehen haben werden.
Er glaubt, dass man nicht mit Open Source konkurrieren könne, weile diese sehr schnell sehr große Fortschritte in den Bereichen Geschwindigkeit, Anpassungsfähigkeit, Datenschutz und Leistungsfähigkeit machen.
Die Open Source Community verwendet auch bereits Sprachmodelle auf Mobiltelefonen, feinjustiert persönliche AIs auf dem Laptop und erzielt bahnbrechende Ergebnisse zu einem Bruchteil der Kosten und in kürzester Zeit.

Der Knackpunkt ist: Google und OpenAI haben keinen “Moat”, sprich: es gibt nichts, das anderen Anbietern nicht auch den Weg in den Markt ermöglicht.
Das muss man sich mal vorstellen… die Gesamtleistung eines Technologiegiganten wird durch puren Ehrgeiz, Entschlossenheit und individuelles Genie auf das Wochenende einer einzelnen Person reduziert!
Google CEO Sundar Pichai gab sich kürzlich im Interview mit dem Wall Street Journal auch bedeckt, was die Strategie sein soll: “Wir müssen noch bewerten, was offen verfügbar sein wird.”
“Open Source spielt meiner Meinung nach eine wichtige Rolle“, sagte er und fügte hinzu, dass das zukünftige Ökosystem wahrscheinlich vielfältiger sein wird, als die Menschen denken.

Sundar Pichai via Midjourney
Der lachende Dritte im Bunde ist übrigens Meta, deren LlaMa Modell den Stein so richtig ins Rollen gebracht hat.
Wir denken uns, dass das eine gute Gelegenheit ist, das Thema Open Source(d) AI mal etwas genauer unter die Lupe zu nehmen!
P.S. Es macht auch gerade das Gerücht die Runde, dass das Google Dokument nicht geleaked worden ist. Sondern mit Absicht veröffentlicht wurde. Google könnte sich dadurch positiv darstellen wollen und die eigen AI Launches bei Regulierungen weniger gefährlich wirken lassen… Alles nur Theorien. Spielt auch keine Rolle. Open Source ist der Hit.
🌎 SPECIAL: Sind Open Source AI-Modelle die Zukunft?
Noch gehören Google und OpenAI zu den größten Akteuren im Rennen um den Aufbau der leistungsfähigsten Sprachmodelle (LLMs), doch mittelfristig könnten ihre Bemühungen von Fortschritten in der Open-Source-Gemeinschaft übertroffen werden.
Denn obwohl die AI-Modelle von Google und OpenAI derzeit noch einen (kleinen) Vorsprung haben, schließt sich die Kluft zwischen ihnen und Open-Source-Modellen rapide.
Dieses Diagramm zeigt auf, wie schnell sich das Feld weiterentwickelt und wie nah die Platzhirsche bereits an Google und OpenAI kommen.

Was aktuell mit offenen AI-Modellen bereits möglich ist
Umfangreiche Listen an finegetunten Open Source Models findest du hier und hier - die folgende Darstellung gibt auch einen guten Überblick.
Es gibt einige bemerkenswerte Beispiele, die den Zugang zu diesen Modellen demokratisieren wollen.
Vor Kurzem hat Databricks beispielsweise Dolly vorgestellt, ein ChatGPT-ähnliches Modell, das mit geringen Datenmengen und in kurzer Zeit für menschenähnliche Interaktivität trainiert werden kann - der Aufwand betrage lediglich 30 Dollar, ein Server und drei Stunden!
Es wurde von Alpaca inspiriert, welches wiederum die Gewichtung des LLaMA-Modells von Meta nutzt, das Ende Februar veröffentlicht und dann geleakt wurde.
LLaMA wurde sofort für seine überragende Leistung im Vergleich zu Modellen wie GPT-3 gefeiert, obwohl es 10x weniger Parameter hat.
In den letzten Wochen wurden auch andere LLaMA-inspirierte Open-Source-Modelle veröffentlicht, wie Vicuna, eine feinabgestimmte Version von LLaMA, die die Leistung von GPT-4 erreicht.
Es gibt einige Modelle, die versuchen, OpenAI’s ChatGPT nachzuahmen - wie zum Beispiel Colossal AI.
Koala, ein Modell des Berkeley AI Research Institute BAIR, geht den entscheidenden Schritt, indem sie echte menschliche Präferenzen zwischen ihrem Modell und ChatGPT messen.
Und obwohl ChatGPT noch einen leichten Vorteil hat, bevorzugen mehr als 50 % der Nutzer entweder Koala oder haben keine Präferenz. Trainingskosten: $100 Dollar!
Auch Open Assistant hat vor Kurzem ein Modell herausgebracht und das (u.a. auch mittels ChatGPT Dialogen trainierte) Datenset mit dazu veröffentlicht (wir berichteten). Es liegt in der Beliebtheit nur knapp hinter ChatGPT.
Einige dieser Open-Source-Modelle wurden sogar für den Einsatz auf schwach ausgestatteten Geräten optimiert, vom MacBook Pro bis zum Raspberry Pi hin zum Pixel 6 oder einem alten iPhone.
OpenAIs Andrej Karpathy hat auch ein paar Gedanken dazu:
Oops haven't tweeted too much recently; I'm mostly watching with interest the open source LLM ecosystem experiencing early signs of a cambrian explosion. Roughly speaking the story as of now:
1. Pretraining LLM base models remains very expensive. Think: supercomputer + months.… twitter.com/i/web/status/1…
— Andrej Karpathy (@karpathy)
4:56 PM • May 6, 2023
Die Open Source AI-Fraktion nimmt an an Fahrt auf!
In der akademischen und forschungsorientierten Welt der AI hat Open Source einen besonders großen Einfluss und in den letzten Wochen und Monaten einen wahren Boost erlebt!
Startups, Kollektive und Akademiker setzen sich dafür ein und wehren sich gegen den Trend hin zu geschlossenen, proprietären Modellen.
Vor Kurzem lockte Hugging Face mehr als 5.000 Teilnehmer zu einer Open-Source-AI-Veranstaltung, die von vielen als das „Woodstock der AI“ bezeichnet wurde.
Diese Open-Source-Revolution bringt frischen Wind und demokratisiert den Zugang zu leistungsstarken Sprachmodellen. Sie befähigt Entwickler auf der ganzen Welt, Innovationen voranzutreiben und stellt die Vorherrschaft der großen Tech-Unternehmen infrage.

Woodstock of AI via Midjourney
Es sind auch nicht nur Startups und Forschungseinrichtungen, die sich dafür engagieren. Non-Profit-Organisationen wie LAION (Large-scale Artificial Intelligence Open Network) haben vorgeschlagen, die AI-Forschung zu demokratisieren und einen öffentlich finanzierten Supercomputer mit 100.000 leistungsstarken Prozessoren zu bauen.
Das soll nach dem Vorbild des Schweizer CERN erfolgen, welches u. a. den Large Hadron Collider gebaut und das Higgs-Boson entdeckt hat.
Notiz am Rande: einer der beiden AInauten hat den Film “Particle Fever”, welcher die Entdeckung des Higgs-Boson verfolgt, zu einem seiner Top10 erklärt. Lust auf eine spannende Doku? Here you go!
Open Source AI: Die Büchse der Pandora wurde geöffnet. Und was jetzt?
Zurück zu AI: Die Free-Software-Community Mozilla hat kürzlich Mozilla.ai angekündigt, eine Open-Source-Initiative zur Entwicklung von AI. Damit soll eine dezentralisierte AI-Gemeinschaft als Gegengewicht zu den profitorientierten Unternehmen geschaffen und eine offene, kooperative und transparente Kultur in der AI-Entwicklung gefördert werden.
Diese Bewegung hat aber auch einer jahrzehntealten Debatte wieder Feuer unter dem Allerwertesten entfacht:
Sollten AI-Modelle frei verfügbar sein, sodass jeder sie ohne Einschränkungen modifizieren, personalisieren und verteilen kann?
Oder sollten sie durch Urheberrecht geschützt sein und den Kauf einer Lizenz erfordern?
Und welche ethischen und sicherheitsrelevanten Implikationen ergeben sich aus der Verwendung dieser Open-Source-Modelle im Vergleich zu ihren geschlossenen und kostspieligen Gegenstücken?

Development by Midjourney
Die Herausforderungen der offenen AI-Modelle
Denn eine Frage bleibt: "Wie gehen wir damit um, dass diese offenen Modelle für alles Mögliche genutzt werden können, das nicht im Sinne des Erfinders ist?
Einige Beispiele, wovon wir hier sprechen (… das haben wir hier und hier und hier und hier bereits aufgegriffen):
Deepfakes: Mit offenen AI-Modellen können täuschend echte Fake-Videos und Bilder erstellt werden. Politiker und Prominente werden mit einer neuen Herausforderung konfrontiert...
Illegale Bildgenerierung: Offene AI-Modelle können dazu verwendet werden, explizite oder pornografische Inhalte zu generieren, ohne die Zustimmung der betroffenen Personen.
Stimmklau für Betrug und Misinformation: AI-Modelle können Stimmen klonen und synthetische Audios erzeugen, die wie die echte Person klingen.
Groß angelegte Desinformation: Erzeugung und Verbreitung von groß angelegter Desinformation mit Fake News und Propaganda werden wie wildes Unkraut sprießen.
Autonome Waffen: AI-Modelle können auch zur Entwicklung autonomer Waffen verwendet werden. Ein Dronenschwarm, der wild um sich ballert, ist bald keine Science-Fiction mehr…
Innovation, Zusammenarbeit und Freiheit - klingt eigentlich vielversprechend, aber die Konsequenzen dürfen nicht übersehen werden.
Welche Möglichkeiten und Herausforderungen siehst du in der Open-Source-AI? Lass uns wissen, was du denkst!

📅 “Rise of AI”-Event in Berlin (Gratis Online Ticket)
Diese Woche geht es los! Am 9. und 10. Mai findet die Rise of AI 2023 -Conference in Berlin statt, und verspricht ein unvergessliches Erlebnis zu werden - Detail-Programm hier.

Du hast die Möglichkeit, dich mit führenden Köpfen der AI-Branche zu vernetzen, dein Wissen zu vertiefen und innovative Ideen zu entdecken.
Die Konferenz bietet eine Plattform, um über den nachhaltigen, vertrauenswürdigen, konformen und sicheren Einsatz von AI zu diskutieren.
Seit 2015 bringen die Initiatoren Veronika und Fabian Westerheide AI-Experten, Entscheidungsträger, Meinungsführer und Innovatoren zusammen, um über künstliche Intelligenz in Gesellschaft, Politik und Wirtschaft zu diskutieren und das deutsche AI-Ökosystem und dessen Akteure zu vernetzen.
Die Vor-Ort-Tickets sind bereits ausverkauft (Warteliste hier), aber du kannst dich noch für die Online Übertragung anmelden.
P.S.: Berliner aufgepasst! https://ai-berlin.com hat alle lokalen Events.
Und für alle anderen: MAI wurde zum AI-Monat des Jahres auserkoren - alle Details hier, mit vielen Events in Hamburg, München, Bielefeld, Frankfurt, Kassel, Hannover, Münster, etc.
🖼️ AI-Rätselraten: Wo wird Plakatwerbung für AI gemacht?
Die AInauten haben das erste Mal eine AI-Werbung irl gesichtet! Und wo genau? Das findest du mit deinem Adlerauge bestimmt heraus 🦅 👁️!

Und schon wieder sind 3, 4, 5 Minuten um. Aber kein Grund zum traurig sein. Die AInauten sind am Mittwoch wieder zurück, mit neuem Futter für dich - Tools, News, Prompts und mehr!
Bis bald!
Deine AInauten
Dein Feedback ist für uns essenziell. Wir lesen JEDEN Kommentar und Hinweis. Sag uns, was (nicht) gut war, und was für DICH interessant ist,
⭐️ Wie hat dir diese Ausgabe gefallen? |
Login oder Abonnieren um an umfragen teilzunehmen. |
Übrigens, wenn du am Anfang deiner AI-Reise stehst oder dein Wissen erweitern willst, empfehlen wir dir den AInauten-Praxis-Kurs:
→ Damit wirst du in einem Nachmittag vom Newbie fast zum AI-Profi. Du lernst, wie du richtig Prompts erstellst, Bilder kreierst und erhältst zahlreiche praktische Tipps zu ChatGPT, Midjourney und Co. (Und zukünftige Module und Updates zu diesem Kurs sind inklusive!)