@menchensued Ohne es geprüft zu haben mit hoher wahrscheinlichkeit weil es bei einem Crawler Lauf nicht erreichbar war und dadurch automatisiert entfernt wurde und danach nicht neu gefunden wurde. Das dass passiert ist aber auch schon eine Weile bekannt.
Wie bereits erwähnt wird parallel an einer neuen Crawler Architektur gearbeitet bzw. die Crawler für diese komplett neu geschrieben, dies bringt uns enige Vorteile. Und für das hier genannte ist gibt es überlegungen das in Kombination mit einer DB zu beheben bzw. eine Sendung die bei einer Überprüfung als aktuell nicht auffindbar erkannt wird erstmal nur aus der auszuliefernden Filmliste o.ä. heraus zu nehmen und später erneut zu prüfen und erst nach einer definierten Anzahl fehlschlägen wird der Eintrag mit der URL aus der DB entfernt. So jedenfalls eine Idee das zu lösen. Wenn wir auf eine DB umsteigen ist aber noch mehr zu tun u.a. sollte die Architektur bzw. die neuen Crawler dafür erstmal fertig sein.
Da das aber auch nicht so oft vorkommt und es ja immernoch JD2 und ähnliches gibt sehe ich jetzt auch nicht den Zeitdruck hinter dieser Sache 😉
