Menü
Kontakt
Research Guide, Teil 1: Keine Angst vorm Deep Web – Wie funktionieren eigentlich Suchmaschinen?

Research Guide, Teil 1: Keine Angst vorm Deep Web – Wie funktionieren eigentlich Suchmaschinen?
#228 20/06/2019 Geschätzte Lesezeit: 6 Minuten.

Im ersten Teil unseres Research Guides mit Rechercheprofi Heike Baller schauen wir uns an, wie Suchmaschinen eigentlich funktionieren, wie Google zur wichtigsten Suchmaschine wurde und welche Alternativen vielleicht doch noch nützlich sein könnten.

Suchmaschinen sind unser Einstieg in das Internet — zumindest für die meisten Menschen. Und wenn wir von Suchmaschinen reden, dann meinen wir damit eigentlich fast immer Google. Im Januar 2019 hatte Google unter den Suchmaschinen einen Marktanteil von 89,95% und dominiert damit seit über einem Jahrzehnten die Konkurrenz, aktuell bing, Yahoo! und die chinesische Suchmaschine Baidu.

Suchmaschinen — älter als das World Wide Web

Um zu verstehen, wie Google es in diese Position geschafft hat, lohnt sich ein Blick in die Geschichte der Suchmaschinen. Als erste Suchmaschine im klassischen Sinne gilt heute Archie, eine Entwicklung aus dem Jahr 1990, die es ermöglichte Dateien im Netz zu finden. Damals wurden diese Dateien noch mit dem File Transfer Protocol (FTP) untereinander geteilt, Archie konnte nur die Dateinamen indizieren, nicht den Inhalt der jeweiligen Dateien.

Das World Wide Web als das Internet, wie wir es heute kennen, gibt es erst seit 1991, entwickelt wurde es von Tim Berners-Lee, der mit der World Wide Web Virtual Library auch den ersten Index für Seiten bereitstellte, die auf einem Webserver gehostet wurden und durch einen Browser abgerufen wurden.

Mit dem Beginn des World Wide Web entstand eine Vielzahl von Suchmaschinen, eine Neuheit war im Jahr 1995 AltaVista, eine der ersten Suchmaschinen, die eine Volltextsuche mit natürlicher Sprache ermöglichte, also nicht nur Schlagwortsuchen durchführen konnte. Ein Jahr später ging mit BackRub der Google-Vorläufer an den Markt, ebenfalls mit einer Neuheit: Neben den Inhalten der einzelnen Seiten wurden die Link-Verknüpfungen zwischen den Seiten genutzt, um ein Ranking der Suchergebnisse zu erstellen.

Dieser Algorithmus ist nach wie vor das Erfolgsgeheimnis von Google, da er das Suchen im Internet so einfach wie nie zuvor machte: die erste Ergebnisseite von Google liefert die relevantesten Ergebnisse, die bei der Konkurrenz erst auf der dritten oder vierten Seite ausgegraben werden mussten. Unterstützt wurde dies durch das bis heute einfach gehaltene Design der Google-Suchmaschine, ein einzelnes Textfeld als Portal ins Internet, damals ein großer Kontrast zu den teilweise mit Werbeanzeigen überladenen Seiten der anderen Suchmaschinen.


Mehr Wissen?

Auch wenn Google das Suchen im Internet vereinfacht hat, kommt man mit ein paar Tricks schneller ans Ziel. Im zweiten Teil unserer Research-Guide-Reihe erklären wir die wichtigsten Tipps für erfolgreiche Research mit Google.

Ihre Fragen. Unsere Antworten.


Spiders, Crawler und Robots

Was sich auf den ersten Blick liest wie Wesen aus einem Science-Fiction-Roman, sind die Augen, mit denen Suchmaschinen das Internet sehen. Die kleinen Programme durchstreifen das Internet, nur eben wesentlich schneller als menschliche Nutzer. Sie surfen auf eine Seite, scannen den Text und verknüpfen Inhalte und URLs. Seit Google nutzen die Crawler dazu die Links, die die einzelnen Seiten miteinander verbinden.

Daraus entsteht der Index der Suchmaschine, aus dem die Suchergebnisse kommen. Die Ergebnisse, die ich als Nutzer sehe, bilden also nur das ab, was die Suchmaschine beim letzten Besuch der angezeigten Seiten gesehen hat. Die Crawler moderner Suchmaschinen besuchen die Seiten jedoch mit einer sehr hohen Frequenz und indizieren besonders Seiten mit einer hohen Aktivität mehrmals neu.

Der Index, den die Crawler erarbeiten, liefert die Ergebnisse von Suchanfragen, die dann vom Algorithmus der Suchmaschine in eine möglichst relevante Reihenfolge gebracht werden. Jede Suchmaschine nutzt dabei eigene Algorithmen, aber nicht jede Suchmaschine hat einen eigenen Index. Suchmaschinen wie Ecosia und Yahoo nutzen den Index von Bing, Startpage den von Google.

Web, Deep Web und Dark Web

Was haben nun Suchmaschinen mit dem Deep Web zu tun? Als Deep Web bezeichnet man genau den Teil des Internets, den normale Suchmaschinen eben nicht indizieren, entweder weil die Seiten bewusst für Crawler gesperrt sind, oder weil die Informationen tief in den Hierarchie-Ebenen der Webseiten liegen und eine vollständige Indizierung ein großer Aufwand wäre. Was sich zunächst düster und ominös anhört, ist auf den zweiten Blick einerseits fast schon langweilig und andererseits extrem relevant für Researcher.

Nicht indizierte Seiten sind häufig große Datenbanken von Regierungen, Bibliotheken oder wissenschaftlichen Institutionen. Suchmaschinen-Crawler können die entsprechenden Inhalte hinter den Datenbank-Systemen nicht erfassen, menschliche Nutzer können darauf jedoch teilweise ganz normal zugreifen, während andere Inhalte hinter Paywalls oder Passworteingaben liegen.

Suchmaschinen können häufig dazu genutzt werden, um den Eintrittspunkt in diese Datenbanken zu finden, von wo aus man seine Recherche im Deep Web fortsetzen kann. Ein bekanntes Beispiel ist etwa JSTOR, eine Plattform, deren Inhalte nicht durch normale Suchmaschinen auffindbar ist, die aber eine wichtige Station für wissenschaftliche Researcher ist.

Häufig in einen Topf geworfen wird das Deep Web mit dem Dark Web. Das Dark Web ist nicht nur ebenfalls nicht durch Suchmaschinen auffindbar, hier braucht man sogar einen speziellen Browser. Als Dark Web wird der Teil des Internets bezeichnet, der nur über das TOR-Netzwerk erreichbar ist. Die entsprechenden Adressen sind nur mit dem TOR-Browser zu öffnen und müssen zunächst in bestimmten Verzeichnissen wie dem Hidden Wiki nachgeschlagen werden. Im Gegensatz zum Deep Web wird das Dark Web dabei häufig seinem schlechten Ruf gerecht und beherbergt Marktplätze für Drogen-, Waffen- bis hin zu Menschenhandel.

Schwer zu glauben, dass das Dark Web auch seine guten Seiten hat. Für Redefreiheit und politisch Unterdrückte kann die absolute Anonymität jedoch auch zu völlig legitimen Zwecken eingesetzt werden. Das US-amerikanische Magazin The New Yorker nutzt das TOR-Netzwerk etwa für den journalistischen Quellenschutz und bietet mit Strongbox eine Plattform, um sicher und anonym Insider-Informationen an das Magazin zu übermitteln.


Expertise gesucht?

Hier sind schlaue Köpfe gut beraten.


Welche Suchmaschine ist die richtige?

Es gibt einige Suchmaschinen, die zumindest behaupten, auch Teile des Deep Web oder sogar des Dark Web indizieren zu können. Die Suchmaschine DuckDuckGo hat beispielsweise eine eigene Tor-Adresse und liefert gelegentlich Seiten mit der Endung .onion, also Seiten aus dem Dark Web, bleibt jedoch in fast allen Fällen auf das Visible Web begrenzt. Innerhalb des Dark Webs gibt es allerdings mit Suchmaschinen wie Candle Dienste, die ausschließlich die wenigen indizierbaren Seiten des Dark Webs anzeigen.

Warum sollte man also überhaupt andere Suchmaschinen als Google benutzen? DuckDuckGo ist zum Beispiel vor allem dafür bekannt, dass die Suchmaschine die Privatsphäre der Nutzer über alles stellt und keine Suchaktivitäten trackt. Ähnliche Suchmaschinen wie Startpage überzeugen Nutzer außerdem, da die entsprechenden Server in Europa stehen. Manchmal gibt es aber auch einzigartige Konzepte wie Ecosia, eine ökologische Suchmaschine, die für Suchanfragen Bäume pflanzt.

Für Researcher kann ein anderer Index eine neue Perspektive sein, die vielleicht neue Einblicke liefert. Wir haben einige der hier benannten Suchmaschinen im Überblick gesammelt:

  • Startpage
    • europäisch, anonym, Index beruht auf Google
  • Ecosia
    • ökologisch ausgerichtet, anonym, Index beruht auf Bing
  • DuckDuckGo
    • anonym, Hybridsuchmaschine, teils eigener Index, teils Index von Bing
  • Bing
    • eigener Index
  • Yahoo
    • Index beruht auf Bing
  • Qwant
    • anonym, europäisch, eigener Index
Wir empfehlen Ihnen folgende Zitierweise:
Baller, Heike: „Research Guide, Teil 1: Keine Angst vorm Deep Web – Wie funktionieren eigentlich Suchmaschinen?”, unter: https://www.nimirum.info/insights/b_228-research-guide-keine-angst-vorm-deep-web-wie-funktionieren-suchmaschinen/ (abgerufen am 18/11/2019).

Zur Person


Baller, Heike

Heike Baller

Heike Baller ist seit den ersten Besuchen in der Stadtbücherei als Kind die Begeisterung für Recherche und Literatur erhalten geblieben. Nach einem Studium der Germanistik, Geschichte und Musikwissenschaft und bei der Arbeit in Bibliotheken machte sie ihre Berufung als Recherche-Profi dann endgültig zum Beruf – und ist inzwischen auch als Dozentin rund um das Thema Recherche tätig.

Ein Thema, mit dem Sie beruflich zu tun haben?


Anja Mutschler

Anja Mutschler

Inhaberin

Dann helfen wir Ihnen, auf dem Laufenden zu bleiben. Nimirum bespielt fundiert eine Bandbreite an Themen, die für Menschen und Märkte derzeit interessant sind. Abonnieren Sie unseren Infoletter, der Ihnen regelmäßig alle Insights zusammenfasst. Oder buchen Sie eine Research von Nimirum, die Ihnen komplett und maßgeschneidert dieses Thema aufbereitet. Schauen Sie hier, was wir im Angebot haben oder kontaktieren Sie Anja Mutschler direkt als Ihre Ansprechpartnerin für Research-Projekte.

Kontakt mit Anja Mutschler

Dieser Artikel ist ihnen etwas wert:

Diesen Artikel bewerten:

Weitere verwandte Artikel lesen


Community Building, Teil 1: Grundlagen für erfolgreiches Community Building #230 – 30/10/2019

In dieser dreiteiligen Serie untersuchen wir mit unserer Lead-Expertin Prof. Dr. Astrid Nelke den neuen und zugleich uralten Trend des Community Building. Die Digitalisierung hat die Community neu belebt. Die digitale bzw. virtuelle Community kann ganz verschiedene Formen annehmen, folgt aber in Aufbau, Etablierung und Betrieb bestimmten Kriterien. Der erste Teil der Serie widmet sich den Grundlagen für erfolgreiches Community Building.

Research Guide, Teil 2: Effiziente Recherche braucht ein paar Kenntnisse #229 – 20/06/2019

Im zweiten Teil unseres Research Guides mit Rechercheprofi Heike Baller stellen wir die wichtigsten Zeichen, Befehle und Tricks vor, mit denen man seine eigenen Suchanfragen um einiges verbessern kann.

Kampf der Mobilitätskulturen Teil 1: Automobilismus als Privileg #225 – 8/04/2019

Automobilismus: Ein Privileg oder Vorraussetzung zur gesellschaftlichen Teilhabe? Dieser Frage widmet sich NIMIRUM-Experte Gunter Heinickel in einer dreiteiligen biographisch-historischen Perspektive. Teil eins: Automobilismus als Privileg.

Kampf der Mobilitätskulturen Teil 2: Mobilitätsbiographie als Blaupause #226 – 8/04/2019

Automobilismus: Ein Privileg oder Vorraussetzung zur gesellschaftlichen Teilhabe? Dieser Frage widmet sich NIMIRUM-Experte Gunter Heinickel in einer dreiteiligen biographisch-historischen Perspektive. Teil zwei: Mobilitätsbiographie als Blaupause.

Kampf der Mobilitätskulturen Teil 3: Mobilität muss auch heute nutzerorientiert gedacht werden #227 – 8/04/2019

Automobilismus: Ein Privileg oder Vorraussetzung zur gesellschaftlichen Teilhabe? Dieser Frage widmet sich NIMIRUM-Experte Gunter Heinickel in einer dreiteiligen biographisch-historischen Perspektive. Teil drei: Mobilität muss nutzerorientiert gedacht werden.

Wie geht es weiter mit Journalismus und Gesellschaft? #217 – 15/12/2017

Wer sich heute für den Journalismus entscheidet, hat klare Vorstellungen – aber auch Fragen: an Medienhäuser, an die Öffentlichkeit, an sich selbst. Die 12 Studierenden des internationalen Masterstudiengangs New Media Journalism (NMJ) haben sich zum Auftakt an der Leipzig School of Media in einer Übung journalistisch mit dem Thema Journalismus auseinandergesetzt. Einige Gedanken und Reflexionen von Studiengangsleiter Dr. Tobias D. Höhn.

Hypermobility! NIMIRUM auf der Hypermotion #216 – 11/12/2017

Alfred Fuhr war für NIMIRUM auf der neuen Messe Hypermotion in Frankfurt und hat mit Beteiligten und Gästen über den Begriff der Hypermotion als Oberbegriff zu Mobilität, Logistik, Digitalisierung und Dekarbonisierung gesprochen. Bildquelle: Messe Frankfurt Exhibition GmbH.

5 Fragen an ... Anja Mutschler und Christophe Fricker #213 – 26/10/2017

Die Frage, ob Wissen käuflich ist, ist fast eine philosophische. Unstrittig ist jedoch, dass ein Wissensvorsprung im Geschäftsleben heute unabdingbar ist. Im Interview berichten die Gründer und Geschäftsführer von NIMIRUM, Anja Mutschler und Dr. Christophe Fricker, über die Illusion der neuen Datenwelt und darüber, dass Expertise auch heißen kann, den menschlichen Faktor zu berücksichtigen.

Wie sieht die Zukunft der Mobilität aus? #208 – 29/09/2017

Wir haben alle Veröffentlichungen der letzten Wochen zum NIMIRUM Themenboost Mobility hier abschließend zusammengestellt – Fachbeiträge von Experten, unser Audioboost sowie kommentierte Links zum Thema.

Future of Mobility: Wie wir urbane Mobilität gestalten #210 – 27/09/2017

„Um zu erfahren, wie urbane Mobilität auch anders gedacht werden kann, lohnt sich ein Blick in Städte wie Amsterdam“. Unser Experte Michael Weber und Kommunikationsdesignerin Eva Jahnen zeigen mit Ihrer Infografik eine Vision für die Städte der Zukunft, in denen die Lebensqualität der Menschen wieder im Vordergrund stehen.