Webcrawler: Unterschied zwischen den Versionen
Aus Geoinformation HSR
Stefan (Diskussion | Beiträge) |
Stefan (Diskussion | Beiträge) |
||
| (2 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt) | |||
| Zeile 1: | Zeile 1: | ||
| − | + | ;Webcrawler: Programm, das durch rekursives Anfordern von Dokumenten, die auf Hyperlinks innerhalb dieser Dokumente basieren, automatisch das Web (bzw. ein Dateiverzeichnis-Baum) durchläuft. | |
| − | + | Siehe auch [[GeometaBot]]. | |
| − | [[Geometa.info]] setzt einen Webcrawler ein namens GeometaBot. | + | Definitionen: |
| + | * Bevorzugter Begriff: Webcrawler. | ||
| + | * Überbegriff: Crawler | ||
| + | * Synonyme: Spider, Web-Bot (Bot), Robot, Page Locator, Wanderer... | ||
| + | |||
| + | Typen von Crawlern: | ||
| + | * Webcrawler, z.B. GoogleBot | ||
| + | * Desktop Crawler, z.B. Copernikus, Google Desktop, oder svizzer | ||
| + | * Spezial-Crawler, z.B. zur Verbesserung oder als Antispam-Tool für Wikipedia | ||
| + | |||
| + | Hinweise: | ||
| + | * [[Geometa.info]] setzt einen Webcrawler ein namens GeometaBot, der u.a. auch nach Diensten und [[Geo-Metadaten]] sucht (über Harvesting Protokolle). | ||
| + | * Es gab eine Diplomarbeit an der HSR mit Publikation zum Thema "'Versus' - Comparing Methods for Near-Uniform URL Sampling", http://versus.integis.ch/ | ||
| + | * For crawlers, the web is a graph! | ||
Aktuelle Version vom 13. August 2009, 12:31 Uhr
- Webcrawler
- Programm, das durch rekursives Anfordern von Dokumenten, die auf Hyperlinks innerhalb dieser Dokumente basieren, automatisch das Web (bzw. ein Dateiverzeichnis-Baum) durchläuft.
Siehe auch GeometaBot.
Definitionen:
- Bevorzugter Begriff: Webcrawler.
- Überbegriff: Crawler
- Synonyme: Spider, Web-Bot (Bot), Robot, Page Locator, Wanderer...
Typen von Crawlern:
- Webcrawler, z.B. GoogleBot
- Desktop Crawler, z.B. Copernikus, Google Desktop, oder svizzer
- Spezial-Crawler, z.B. zur Verbesserung oder als Antispam-Tool für Wikipedia
Hinweise:
- Geometa.info setzt einen Webcrawler ein namens GeometaBot, der u.a. auch nach Diensten und Geo-Metadaten sucht (über Harvesting Protokolle).
- Es gab eine Diplomarbeit an der HSR mit Publikation zum Thema "'Versus' - Comparing Methods for Near-Uniform URL Sampling", http://versus.integis.ch/
- For crawlers, the web is a graph!
