Privater Crawler

[MenchenSued]

Ist der Crawler eigentlich für den privaten Einsatz geeignet, also auf dem heimischen PC lauffähig oder reichen dafür die Ressourcen (DSL-Leitung, Speicher, CPU) nicht aus?
Hintergrund: Ich würde mir gern mal eine komplette Liste vom ZDF erzeugen, also ohne zeitliche Begrenzung und ggf. auch ohne Löschen doppelter Einträge. Falls das aufgrund der langen Laufzeit oder des Speicherbedarfs utopisch ist, kann ich die Idee sofort begraben, ansonsten würde ich es gern mal probieren.

[pidoubleyou]

Grundsätzlich kannst du den Crawler auch auf dem heimischen PC laufen lassen. Ich mache das bei Anpassungen/Erweiterungen der Crawler auch.

Was die Laufzeit angeht, musst du nur den Timeout für einen Abbruch der Suche groß genug einstellen und Geduld mitbringen. Bei mir benötigt der Crawler pro Tag ca. 30 Sekunden.

@MenchenSued sagte in Privater Crawler:

ohne zeitliche Begrenzung

Dafür musst du im Code den Filter ändern und den Crawler selbst kompilieren.

@MenchenSued sagte in Privater Crawler:

auch ohne Löschen doppelter Einträge

Wenn du damit meinst, dass du für einen Filme jede Wiederholung in der Filmliste sehen willst, dann ist das aktuell ohne größere Anpassungen des Crawlers nicht möglich.

[MenchenSued]

@pidoubleyou Prima, dann schaue ich mir den Sourcecode an und versuche es einfach mal.