Blacklist filtern dauert ewig
-
Hallo,
ich habe seit ca. 2 Wochen ein großes Problem mit der Blacklist.
Beim Start dauert es locker gut 10 Minuten bis das Programm nutzbar ist. Währenddessen sieht man unten rechts nur “Blacklist filtern”. Dort hängt das Programm also. Prozessorlast liegt bei 20%.Nicht ganz so lange, aber doch auch ein paar Minuten dauert es dann, wann immer ich eine Sendung in die Blacklist eintrage, bevor das Programm wieder reagiert.
Version 13.5.1 / Win10
Ich habe weder an Mediathekview noch dem System zum Zeitpunkt der Änderung des Verhaltens etwas geändert, kann mir das also nicht erklären und das Programm hat zuvor nie so reagiert.
Ich hab mir die Protokolldatei angeschaut und nach größeren Zeitlücken gesucht. Da findet sich eine Lücke von 7 Minuten. Welcher Prozess ist das und wie kann ich das Problem beheben? Danke.
INFO 2020-06-20 08:30:39,940 [ForkJoinPool.commonPool-worker-7] writer.FilmListWriter (FilmListWriter.java:71) - --> Start Schreiben nach: C:\Users\Caligula.mediathek3\filme.json
INFO 2020-06-20 08:30:40,490 [AWT-EventQueue-0] daten.ListeDownloads (ListeDownloads.java:59) - Filme in Downloads eintragen
INFO 2020-06-20 08:30:46,887 [ForkJoinPool.commonPool-worker-7] writer.FilmListWriter (FilmListWriter.java:112) - --> geschrieben!
INFO 2020-06-20 08:30:46,888 [ForkJoinPool.commonPool-worker-7] writer.FilmListWriter (FilmListWriter.java:113) - Write duration: 6889 ms
INFO 2020-06-20 08:37:51,942 [AWT-EventQueue-0] controller.IoXmlSchreiben (IoXmlSchreiben.java:206) - Daten Schreiben nach: C:\Users\Caligula.mediathek3\mediathek.xml
INFO 2020-06-20 08:37:51,943 [AWT-EventQueue-0] controller.IoXmlSchreiben (IoXmlSchreiben.java:231) - Config Schreiben nach: C:\Users\Caligula.mediathek3\mediathek.xml startet
INFO 2020-06-20 08:37:52,072 [AWT-EventQueue-0] controller.IoXmlSchreiben (IoXmlSchreiben.java:257) - Config Schreiben beendet -
@Caligula sagte in Blacklist filtern dauert ewig:
ich habe seit ca. 2 Wochen ein großes Problem mit der Blacklist.
Es gibt zur 13.5.1 immer wieder so ähnliche Meldungen hier im Forum, aber meines Wissens bislang keine Lösung, weil diese Hänger nicht reproduzierbar nachstellbar sind - und daher eine Fehlersuche schwierig ist.
@Caligula sagte in Blacklist filtern dauert ewig:
Ich habe weder an Mediathekview noch dem System zum Zeitpunkt der Änderung des Verhaltens etwas geändert, kann mir das also nicht erklären und das Programm hat zuvor nie so reagiert.
Genau das macht eine Analyse schwierig.
-
@Caligula
Hast Du besonders viele Blacklisteinträge oder sehr komplexe? Beispielsweise viele aktive Felder oder reguläre Ausdrücke? Schau doch mal bei Ansicht-Speicherverbrauch, ob hier sehr hohe Werte zu sehen sind. -
@MenchenSued sagte in Blacklist filtern dauert ewig:
Hast Du besonders viele Blacklisteinträge oder sehr komplexe?
5836, aber nicht komplex.
@MenchenSued sagte in Blacklist filtern dauert ewig:
Schau doch mal bei Ansicht-Speicherverbrauch, ob hier sehr hohe Werte zu sehen sind.
Bei mir erreicht schon das Eintragen der Abos hohe Werte (über 800 MB). Sobald die Blacklistfilterung beginnt friert Alles ein. Kann es daran liegen?!
Das Bild zeigt die Auslastung während der Aboeintragung. Mit Beginn Blacklistfilterung friert alles so ein, wie dargestellt.Ich kann aktuell natürlich die Blacklist auch nicht mehr sinnvoll bearbeiten, denn jede Änderung oder das aus- oder einschalten, führt zu dem gleichen Problem, dauert also wieder gut 7 Minuten, bis es weiter geht.
Kann man die blacklist auch mit einem Texteditor, außerhalb des Programms, bearbeiten? Dann könnte ich die einmal durchgehen und ausmisten. Vll. hilft das. Wo finde ich die Blacklistdatei, wenn es denn eine gibt, die man bearbeiten kann?
-
Was ist der Inhalt der passenden *.vmoptions-Datei?
Bei mir sieht das so aus
# Enter one VM parameter per line # For example, to adjust the maximum memory usage to 512 MB, uncomment the following line: # -Xmx512m # To include another file, uncomment the following line: # -include-options [path to other .vmoption file] -Xmx8gStandardmäßig steht da nur der Kommentar drin und es wird -Xmx1g verwendet. Was bei mi viel zu wenig ist, weshalb der Start und andere Aktionen wie neue Listen Laden ewig dauern bzw. gar nicht mehr zu Ende kommen.
Hint: Ich lade neue Listen manuell und lasse nur ergänzen. Das ging schon beim ersten Ergänzen in die Hose. Nach der Änderung ging alles ziemlich fix.
Ach ja, bei MV 13.2.1 und früher brauchte es solche Änderungen bei Verwendung einer 64-Bit-Javainstallation nicht.
-
@mvsfsvm beim ihm wird -Xmx1G drin stehen. Das erkennt man an dem Max: 989, das sind ungefähr 1GB nach der Umrechnung.
@Caligula Das Sägezahnprofil in der Speicheranzeige ist/kann normal sein. Bei einem Download zum Beispiel werden viele Objekte erzeugt und der Verbrauch steigt stark bis der Speicher wieder freigegeben wird.
Was für eine CPU hast Du in deinem System?
Die lange Dauer der Abo und Blacklist kann auch mit deiner Einstellung der Tabellensortierung zusammenhängen. Aber genau kann ich das nicht nachvollziehen. Von daher wäre es gut wenn Du mir diemediathek.xmlzukommen lassen könntest. Dann könnte ich auf meinem System mal sehen wie lange es hier dauert. Ansonsten wird eine Fehlersuche echt schwierig das zu beheben, da ich nur 328 Blacklisteinträge und knapp 20 Abos habe.
Falls Du genügend Arbeitsspeicher hast hilft es sicherlich den Startparameter von -Xmx1G auf -Xmx2G oder höher zu setzen. Je weniger aggressiv das Programm Speicher freigeben muß desto schneller ist es.Das Ändern der Abos im Einstellungen-Dialog löst nach jeder Änderung eine Filterung der Fimliste aus, daher kommt die Verzögerung wenn er viel zu filtern hat. Das war eine Entscheidung des ursprünglichen Entwicklers.
-
Hallo Euch Beiden. Vielen Dank erstmal. Ich checke das morgen.
-
DerReisende77 sagte in Blacklist filtern dauert ewig:
beim ihm wird -Xmx1G drin stehen.
Schon mal vorab: Bei mir steht da nur der Kommentar drin und sonst Nichts! Ich habe jetzt -Xmx2G eingefügt und lasse das morgen laufen. Ich nutze ein Notebook mit 4 GB Ram und Intel I7 3517U bei 1,9 GHz. Ist keine superschnelle Maschine aber zuletzt lief da Mediathekview superschnell, bis zu diesem plötzlichen Problem.
-
@Caligula wenn nichts drin steht ist die einstellung -Xmx1G vorgegeben. die datei dient der anpassung der standardparameter. und ein i7 sollte nicht so langsam sein, mein altes macbook von 2011 läuft auch noch sehr vernünftig mit MV
-
Ich habe mit 2G getestet. Läuft jetzt klar schneller.
Das Log kann ich nicht wirklich deuten, aber ich habe wieder nach Zeitlücken geschaut und komme demnach so auf etwa 3 Minuten (vorher 7 Minuten) für das filtern. Mich wundert das hier das Filtern der Blacklist mit nur 10 Sekunden angezeigt wird oder lese ich das falsch? Die Anzeige ist auch wieder eingefroren beim Filtern. Speicherpeaks sah ich nur bei knapp über 1 GB. Seltsam sind auch die beiden letzten “Compiling Pattern”, die offenbar recht lange dauerten. Ist das ggf. ein Hinweis auf Einträge, die Probleme machen? Dann werfe ich die raus.DEBUG 2020-06-22 09:12:10,164 [ForkJoinPool.commonPool-worker-7] tool.Filter$PatternCacheLoader (Filter.java:219) - COMPILING PATTERN: #:.aktuelle stunde.
DEBUG 2020-06-22 09:12:15,947 [ForkJoinPool.commonPool-worker-5] daten.ListeBlacklist (ListeBlacklist.java:140) - FILTERING and ADDING() took: 10.44 s
DEBUG 2020-06-22 09:12:15,950 [ForkJoinPool.commonPool-worker-5] daten.ListeBlacklist (ListeBlacklist.java:148) - filterListe(): 10.46 s
INFO 2020-06-22 09:12:16,280 [AWT-EventQueue-0] daten.ListeDownloads (ListeDownloads.java:59) - Filme in Downloads eintragen
DEBUG 2020-06-22 09:12:56,771 [AWT-EventQueue-0] tool.Filter$PatternCacheLoader (Filter.java:219) - COMPILING PATTERN: #:.die sendung vom.
DEBUG 2020-06-22 09:14:00,082 [AWT-EventQueue-0] tool.Filter$PatternCacheLoader (Filter.java:219) - COMPILING PATTERN: #:.das letzte wort:.
INFO 2020-06-22 09:16:23,268 [AWT-EventQueue-0] config.Daten (Daten.java:478) - -------------------------------------------------------
INFO 2020-06-22 09:16:23,269 [AWT-EventQueue-0] config.Daten (Daten.java:479) - Einstellungen sichern
INFO 2020-06-22 09:16:23,504 [AWT-EventQueue-0] config.Daten (Daten.java:504) - Einstellungen wurden gesichert
INFO 2020-06-22 09:16:23,505 [AWT-EventQueue-0] config.Daten (Daten.java:513) - -------------------------------------------------------
INFO 2020-06-22 09:16:23,510 [AWT-EventQueue-0] controller.IoXmlSchreiben (IoXmlSchreiben.java:206) - Daten Schreiben nach: -
@DerReisende77 sagte in Blacklist filtern dauert ewig:
Von daher wäre es gut wenn Du mir die
mediathek.xmlzukommen lassen könntest.
Anbei die Datei und auch das letzte Log. Die werde ich auch mal ausmisten. Habe schon ein paar überflüssige Pfade etc. gesehen. Danke.
mediathek.xml.txt
mediathekview.log -
@Caligula die 10.44s sind nur ein Teilausschnitt des Prozesses.
Ich habe deine Blacklist mal bei mir eingebaut und mein supernagelneuer core i9 mit 16 kernen braucht 1 Minute (unter Vollast und Pfeifen der Lüfter) bis etwas dargestellt wird
Der Speicherverbrauch scheint nicht das Problem zu sein mit 2GB Zuweisung aber es ist zur Zeit einfach ein Berechnungsproblem. Die Blacklist muß auf alle Einträge angewendet werden, da wird also ordentlich etwas berechnet zur Zeit. Ich muß das mal nachvollziehen ob ich da etwas optimieren kann und wo das Problem liegt.
Allgemein kann ich schon mal sagen: Je länger regexp pattern sind umso langsamer wird das ganze. Ich habe deine Einträge mal überflogen und da sind eine Menge in unterschiedlicher Länge drin.
Aber ich habe ja nun etwas zum testen und schaue es mir an. Es wird aber wohl nicht in 13.6 einfließen. -
@Caligula ggf. hilft es dir schon mal, Trailer Hörfassungen etc beim Laden einer Filmliste auszuschließen. Das reduziert schon einmal die Anzahl der ursprünglich vorhandenen Filme und damit auch das Berechnungsaufkommen.
-
“Ich habe überhaupt keine Blacklist” …
Und trotzdem vergehen etwa zwei Minuten mit dem Text “Blacklist filtern” wenn ich eine neue Filmliste geladen habe.
Daher eine wild geratene Vermutung: Da steht zwar “Blacklist filtern” aber in der Zeit geschieht noch verschiedenes anderes.
Dies sind die Daten: V13.0.6 auf Win 7 Pro mit 8GB (aber kein Speicher-Parameter, also Std. 1GB, richtig?) Intel Core i3 2.3GHz keine SDD; aber:
Standard-Einstellung ist “neu”-Filter ist an und Sortierung nach Datum. Die letzten beiden Items sind es, die ich im Verdacht habe. Das Programm muss die derzeit ca. 376,000 Einträge erst sortieren und dann noch auf ca. 1000-3000 eindampfen. Da vermute ich einfach mal, das braucht seine Zyklen … und meine history.txt hat auch noch einmal gut 28.000 Einträge, die ja auch noch eingearbeitet werden müssen.
Ich nehme mal an, dass sich in diesem Bereich zwischen meiner Version und der aktuellen nicht allzu viel verändert hat. Deshalb mein Vorschlag: Bevor man da gleich losoptimiert, was so oder so ausgehen kann, ist es vielleicht einfacher, den angezeigten Text “Blacklist filtern” im Verlauf der Arbeiten abändern, so dass man sieht, was da wirklich gerade passiert. Im Log könnte man diese Texte dann auch noch mit Zeitstempel ausgeben.
Ich persönlich arbeite viel mit der History, da bin ich bereit, den Preis zu zahlen, aber für einen Test könnte man seine History mal verstecken, so sie denn von signifikanter Größe ist. Auch die Sortierung könnte man probehalber mal weglassen - was ist eigentlich die “natürliche” Reihenfolge?
Der Thema/Titel-Filter braucht übrigens auch so seine Zeit, insbesondere, wenn er gleich nach dem ersten eingegebenen Buchstaben losfiltert und dann die weiteren Zeichen erst anschaut, wenn er damit fertig ist. Der Sender-Filter geht übrigens im Vergleich rasend schnell.
-
@DerReisende77 sagte in Blacklist filtern dauert ewig:
Aber ich habe ja nun etwas zum testen und schaue es mir an.
Super. Vielen Dank für die Mühe und Berücksichtigung in einer der kommenden Versionen. Ich werde mal meine Liste optimieren. Ich werfe zu gern Dinge raus, die ich nicht sehen möchte und da ich fast jeden Tag alles Neue checke (durchforste nur noch die Mediatheken, lade mir Interessantes runter und sehe es dann auf dem TV) möchte ich eben diese Liste mit Neuem auf ein Minimum reduzieren. Deswegen die vielen Einträge. Ist die Jahre über enorm gewachsen.
Tolles Programm und super Support im Forum. Danke!
-
@Caligula Dein Blacklist-Eintrag Nr. 37 (nur Sender zdf-tivi) ist falsch. Es gab noch nie so einen Sender.
@gerdd Deine Annahmen sind teils falsch, es hat sich einiges geändert. Und ich denke ich kann einschätzen ob ich meine Zeit verbrennen möchte oder ob ich sie mit Arbeit oder Freizeit verbringe
Und ja, der Text “Blacklist filtern” sollte angepasst werden, da passieren noch ein paar Filter mehr. -
@Caligula Wenn Du die Blacklist vor der Bearbeitung deaktivierst hast Du auch keine langen Verzögerungen beim Aufräumen.
-
@DerReisende77 sagte in Blacklist filtern dauert ewig:
Ich habe deine Einträge mal überflogen und da sind eine Menge in unterschiedlicher Länge drin.
Kannst Du mir dazu bitte noch einen Tipp geben? Was bedeutet unterschiedliche Länge?
Ist hier die absolute Länge des Strings gemeint, bspw.
#:.ja uff erstmal!. ggü.
#:.die gefährlichsten schulwege der welt. ?Oder die Komplexität, d.h. Verwendung von Platzhaltern bspw?
-
@DerReisende77 sagte in Blacklist filtern dauert ewig:
Dein Blacklist-Eintrag Nr. 37 (nur Sender zdf-tivi) ist falsch. Es gab noch nie so einen Sender.
OK. Da es eine niedrige Nummer ist, vermutlich Fehleingabe. Wobei die Nummer wohl nichts drüber sagt, wann das eingetragen wurde. Sehe gerade das Alles alphabetisch sortiert ist. Ich werfe es raus.
@DerReisende77 sagte in Blacklist filtern dauert ewig:
Wenn Du die Blacklist vor der Bearbeitung deaktivierst hast Du auch keine langen Verzögerungen beim Aufräumen.
Danke.
-
@Caligula sowohl als auch. regexp sind nicht bekannt für ihre hohe Geschwindigkeit. Aber das Problem liegt meines Erachtens noch woanders. Soweit ich das beim Debuggen gesehen führt eine Menge deiner Einträge zu keinem Filteregebnis. Das hat zur Folge das immer die gesamte Länge von 5384 Filtern durchprobiert werden muß (PRO Film). Damit ist natürlich der Verarbeitungsaufwand enorm. Wenn die Einträge gar nicht da wären würde das Programm sich das sparen können. Aber das kann ich ja nicht abschätzen wieviele Filter anschlagen oder nicht.
Das deaktivieren der fehlerhaften zdf-tivi Regel brachte bei mir schon ca. 7% höhere Geschwindigkeit.
