Hi AInauten,

Willkommen zum Deep-Dive für diese Woche. Heute zu einem eigentlich sehr technischen Thema: Web-Scraping!

Wie immer konzentrieren wir uns aber darauf, dass es ohne viel technisches Verständnis umsetzbar ist. Das Thema ist auch so umfangreich, dass wir definitiv noch einen Teil 2 machen werden!

So ist der Post aufgebaut:

Wie immer haben wir auch ein Schritt-für-Schritt Video Tutorial dazu erstellt. Findest du ganz unten im Post.

Legen wir los!

Starten wir mit dem wichtigsten Punkt. Gerade, wenn du dich noch nie mit dem Thema beschäftigt hast.

Web-Scraping und Crawling gibt es schon, seit es das Internet gibt. Es ist in der Regel sehr wichtig, wenn man große Datenmengen strukturiert und automatisiert sammeln und aufbereiten will.

Für uns AINAUTEN ist es aber vor allem wichtig, um das meiste aus unseren KI-Tools herauszuholen!

Wenn du schon eine Weile mit Chatbots wie ChatGPT arbeitest, weißt du auch, dass die Ergebnisse besser werden, wenn du spezifisches Wissen zur Verfügung stellst.

You get the point: Wir brauchen spezifisches Wissen.

Scraping ist eine Methode, mit der man in der Regel schnell und automatisiert spezifisches Wissen von Webseiten, PDFs, Intranet und Co. herunterladen und für LLMs aufbereiten kann.

Ohne, dass du tagelang Blogartikel kopieren musst.

Du kannst diese Daten dann in das Memory deiner Custom GPTs bei ChatGPT packen oder, für Fortgeschrittene, auch ein RAG-System nutzen.

Alle, die wirklich gute Ergebnisse mit AI erzielen wollen, brauchen spezifisches Wissen! Und mit Scraping baust du das schnell und einfach auf.

Mithilfe von Scraping kannst du automatisiert den Inhalt einer Webseite speichern und so formatieren, dass er für LLMs wie ChatGPT und Co. gut lesbar ist.

Crawling geht noch einen Schritt weiter. Hier klickt sich der kleine Roboter durch ganze Webseiten und speichert alle Inhalte, die er speichern soll. Also nicht nur von einer URL, sondern von einer beliebigen Anzahl.

Du kannst immer entweder den ganzen Inhalt von Webseiten oder auch nur spezifische Elemente daraus abspeichern.

Mehr dazu unten im Video.

Wie schon gesagt ist Scraping eine Wissenschaft und kann enorm komplex werden.

Grundsätzlich kommt es immer darauf an, wo die Daten sind, die du haben willst. Sind sie frei im Web verfügbar? Dann ist es recht einfach.

Sind sie auf Plattformen, für die ein Login nötig ist? Oder braucht es viele Klicks, um zu den gewünschten Inhalten zu kommen? Dann wird es schwieriger.

Und jede zusätzliche Ebene verursacht auch immer mehr Kosten. Tools, die es einem sehr, sehr leicht machen, können eben auch schnell teurer werden.

Und Open-Source-Tools wie z. B. Crawl4ai sind zwar kostenlos, allerdings technisch viel anspruchsvoller.

Wir fokussieren uns auf: möglichst einfach, möglichst mächtig, möglichst preiswert!

Daher hier unsere aktuellen Empfehlungen mit den verschiedenen Vor- & Nachteilen. Wir zeigen alle Tools auch kurz im Video.