DB-Komplett-Update dauert 5 Stunden... normal?
-
Hallo,
erst einmal vielen Dank für das tolle Plugin. Ich finde es super …bis auf die Performance des DB-Updates. ich habe schon alle Foren-Threads diesbezüglich gelesen, habe aber trotzdem ein paar Fragen:
Auf meinem RasPi 1 B+ dauert das DB-Update (komplett) mittlerweile 4-5 Stunden (SD-card class 10). Ich habe, wie hier beschrieben (https://forum.mediathekview.de/topic/1170/feature-request-pfad-für-daten-einstellbar) einen Symlink auf eine externe Festplatte erstellt, dass hat aber leider nur eine Verbesserung von ca. 30 Min gebracht. Ein Voll-Update dauert immer noch über 4 Stunden.
Ich habe gelesen, dass es eigentlich nur 15-20 min dauern sollte auch auf einem RasPi. Stimmt also etwas nicht oder hat sich das geändert, weil die DB vielleicht mittlerweile größer ist?
Dann habe ich noch eine Frage zu den differenziellen Updates. Da diese ja vielschneller gehen, warum kann man nicht permanente differenzielle Updates einstellen? Momentan wird ja nach jedem Kalendertag ein volles Update wieder gemacht.
Danke und Grüße
Dirk -
@turd-tapper sagte in DB-Komplett-Update dauert 5 Stunden... normal?:
RasPi 1
Ich denke mal das Problem ist hier unter anderem die 1, der ist doch schon recht betagt im Vergleich zu anderen Generationen. Auf einem Raspi 3B dauert das auch höchstens 10 Minuten. Aber mehrere Stunden ich schon arg heftig.
-
@vitusson sagte in DB-Komplett-Update dauert 5 Stunden... normal?:
Auf einem Raspi 3B dauert das auch höchstens 10 Minuten
Hi,
da der RasPi 3 ca. 3x so schnell ist, würde ich denken es dauert auch ca. 3x so lange. Aber 30 mal so lange?Was ich beobachte: Die CPU-Auslastung ist immer bei 100% während des Updates, die RAM Auslastung bei ca. 25%.
-
Etwas muss ich es relativieren. Heute Nacht hat es 3,5 Stunden gedauert, aber immer noch ziemlich lange.
Hier der Log von LibreELEC:
http://ix.io/1qrY
Das differenzielle Update von heute Nachmittag hat dagegen nur 3,5 Minuten gedauert, also 60x schneller:
http://ix.io/1qs6
Ansonsten läuft Kodi auf dem 1er RasPi gut…
-
Evtl kann @tuxpoldo hier licht in das Dunkel bringen…
-
Einfache Aussagen wie 3 mal so schnell kann man nicht so einfach machen. Der Pi 1 hat einen Singlecore, wobei die Versionen danach schon einen Quadcore haben. Die Architektur hat sich auch geändert. Also ich schließe nicht aus, dass die Geschwindigkeit normal ist.
Mir fehlen die Möglichkeiten sowas zu debuggen.Nur Difflisten würde zwar gehen, aber dann muss jede Diffliste gedownloaded werden, da man das nicht unbedingt garantieren kann wird jeden Tag auch die volle Liste geladen.
Die Updatelogik des Plugins soll in Zukunft auch nochmal überarbeitet werden, dass der Raspberry Pi nicht mehr so viel zu tun hat.
Falls du noch Hardware über hast würde ich das Update der Liste mit einem Datenbankserver auslagern.So hab ich das zumindest aktuell auch bei meinen Eltern.
-
Sehe ich auch so. Bei mir zeigt die CPU auch 100%, aber immer nur einer von 4 Kernen. Die Single CPU vom 1B ist da wohl am Anschlag, ebenso Arbeitsspeicher und Bussysteme. Und die Benchmarks die ich so gesehen habe, lagen auch weitaus höher als einfach “3x schneller”
-
@vitusson sagte in DB-Komplett-Update dauert 5 Stunden... normal?:
Sehe ich auch so. Bei mir zeigt die CPU auch 100%, aber immer nur einer von 4 Kernen. Die Single CPU vom 1B ist da wohl am Anschlag, ebenso Arbeitsspeicher und Bussysteme. Und die Benchmarks die ich so gesehen habe, lagen auch weitaus höher als einfach “3x schneller”
Ein großes Problem stellt bei Kodi auf dem RPi1 der verwendete Skin und das aktuell dargestellte Menu dar.
Bei einem geeignetem Skin kann die Grundauslastung < 20% liegen, aber bei anderen nahe 100%. Da bleibt dann nur ein geringer Rest für das Datenbankupdate übrig.
Außerdem sorgt Laufschrift im Menü zur ständigen Neuberechnung der Kodi-Oberfläche, was das System ebenfalls komplett auslasten kann.
Turd Tapper sollte daher mal überprüfen, z.B. per SSH-Login und ‘top’, wie hoch die Auslastung im Leerlauf und bei Darstellung des Addon-Menus ist.Bei meinem, leider derzeit lange nicht aktualisiertem Plugin, hatte ich eine radikale Lösung für das Problem eingebaut: Man kann den Kodi-Prozess während des Datenbankupdates anhalten. Die Schwierigkeit besteht eigentlich nur darin, dem Nutzer die Panik zu nehmen „weil nichts mehr reagiert“. Daher sollte man, sofern man es für die RPi1-Nutzer einbauen möchte, möglichst so gestalten, dass es Nachts ablaufen kann.
Edit: Der vom Plugin-Autor vorgeschlagene Ansatz vie MediathekViewWeb (https://github.com/mediathekview/plugin.video.mediathekview/issues/85) ist nat. noch besser, da die Verwaltung der gesamten Datenbank bei diesem Addon-Ansatz auf dem RPi1 zu viel Aufwand darstellt.
closed Datenupdate beschleunigen #85
-
Hallo,
über Weihnachten habe ich mich nun auch mal an Kodi und MediathekView gewagt und habe leider das gleiche Problem, allerdings mit einem Raspberry 2: Das Update dauert ca. 4 Stunden.
Dazu kommt noch, dass ich zwar während dem Update auf die bereits importierten Filme Zugriff habe, sobald das Update abgeschlossen ist, aber folgende Fehlermeldung kommt:
Datenbank veraltet
Letzte Differentielle Aktualisierung:
1970-01-01 01:00:00Ich verwende nur eine 8 GB SSD auf der Raspian läuft. Ist das ein Problem?
Hat jemand eine Idee, woran das liegen könnte?Vielen Dank
Klaus -
Hallo zusammen,
kurze Info an alle: hier tut sich was. Ich habe gestern die erste Version fertig gestellt, die mit einem nativen SQLite Update arbeitet. Dies bedeutet: das tägliche Full-Update wird ab Release sehr schnell sein, da hier nunmehr eine fertige SQLite Datenbank heruntergeladen wird, die sofort verwendet wird. Lediglich die im laufe des Tages eintreffenden Differential-Updates werden noch auf der Basis des originalen MediathekView Diff-File in die Datenbank eingespielt.
Ich hoffe dass Alex und ich es schaffen noch diese Woche die Infrastruktur für die Versorgung mit nativen Updates soweit bereit zu stellen, dass wir hier in den Betatest gehen können.
Serverseitig baue ich gerade einen komplett neuen Programmteil, der die Datenbank auf einem Server verwaltet und somit Artefakte für das Update produzieren und bereitstellen kann. Dies hat dann noch einige charmante Vorteile, an die ich in Zukunft arbeiten werden, wie z.B.:
- Anreicherung der Daten: Das allererste was ich mir darunter vorstelle, wäre z.B. die Filme/Sendungen irgendwie zu kategorisieren um eine bessere Navigation und Filterung zu ermöglichen. Es wären aber noch weitere Szenarien Denkbar, wie z.B. die Anreicherung aus externen Quellen.
- Produktion verschiedener Artefakte für verschiedene Datenbanksysteme
- Echte differentielle Updates die auch über längere Zeiträume funktionieren und tatsächlich alle 3 Operation (Add, Modify, Delete) unterstützen.
- API Zugriff auf die Datenbank
