Privater Crawler
-
Ist der Crawler eigentlich für den privaten Einsatz geeignet, also auf dem heimischen PC lauffähig oder reichen dafür die Ressourcen (DSL-Leitung, Speicher, CPU) nicht aus?
Hintergrund: Ich würde mir gern mal eine komplette Liste vom ZDF erzeugen, also ohne zeitliche Begrenzung und ggf. auch ohne Löschen doppelter Einträge. Falls das aufgrund der langen Laufzeit oder des Speicherbedarfs utopisch ist, kann ich die Idee sofort begraben, ansonsten würde ich es gern mal probieren. -
Grundsätzlich kannst du den Crawler auch auf dem heimischen PC laufen lassen. Ich mache das bei Anpassungen/Erweiterungen der Crawler auch.
Was die Laufzeit angeht, musst du nur den Timeout für einen Abbruch der Suche groß genug einstellen und Geduld mitbringen. Bei mir benötigt der Crawler pro Tag ca. 30 Sekunden.
@MenchenSued sagte in Privater Crawler:
ohne zeitliche Begrenzung
Dafür musst du im Code den Filter ändern und den Crawler selbst kompilieren.
@MenchenSued sagte in Privater Crawler:
auch ohne Löschen doppelter Einträge
Wenn du damit meinst, dass du für einen Filme jede Wiederholung in der Filmliste sehen willst, dann ist das aktuell ohne größere Anpassungen des Crawlers nicht möglich.
-
Grundsätzlich kannst du den Crawler auch auf dem heimischen PC laufen lassen. Ich mache das bei Anpassungen/Erweiterungen der Crawler auch.
Was die Laufzeit angeht, musst du nur den Timeout für einen Abbruch der Suche groß genug einstellen und Geduld mitbringen. Bei mir benötigt der Crawler pro Tag ca. 30 Sekunden.
@MenchenSued sagte in Privater Crawler:
ohne zeitliche Begrenzung
Dafür musst du im Code den Filter ändern und den Crawler selbst kompilieren.
@MenchenSued sagte in Privater Crawler:
auch ohne Löschen doppelter Einträge
Wenn du damit meinst, dass du für einen Filme jede Wiederholung in der Filmliste sehen willst, dann ist das aktuell ohne größere Anpassungen des Crawlers nicht möglich.
@pidoubleyou Prima, dann schaue ich mir den Sourcecode an und versuche es einfach mal.
-
@MenchenSued da sitze ich gerade auch vor. Leider ist meine Programmiertätigkeit schon 15 Jahre her und java war bei mir gar nicht auf dem Programm. Ich verstehe zwar ungefähr, was ich sehe, allerdings habe ich bei den nicht ganz eindeutigen Benennungen zuordnen können, wo ich das Timing für den Crawler finde. Hast du da evtl. einen Tipp für mich?
-
@MenchenSued da sitze ich gerade auch vor. Leider ist meine Programmiertätigkeit schon 15 Jahre her und java war bei mir gar nicht auf dem Programm. Ich verstehe zwar ungefähr, was ich sehe, allerdings habe ich bei den nicht ganz eindeutigen Benennungen zuordnen können, wo ich das Timing für den Crawler finde. Hast du da evtl. einen Tipp für mich?
@lightpsycho
Den Crawler habe ich mir seit Jahren nicht mehr angesehen.
Hey! Du scheinst an dieser Unterhaltung interessiert zu sein, hast aber noch kein Konto.
Hast du es satt, bei jedem Besuch durch die gleichen Beiträge zu scrollen? Wenn du dich für ein Konto anmeldest, kommst du immer genau dorthin zurück, wo du zuvor warst, und kannst dich über neue Antworten benachrichtigen lassen (entweder per E-Mail oder Push-Benachrichtigung). Du kannst auch Lesezeichen speichern und Beiträge positiv bewerten, um anderen Community-Mitgliedern deine Wertschätzung zu zeigen.
Mit deinem Input könnte dieser Beitrag noch besser werden 💗
Registrieren Anmelden