Skip to content
  • Kategorien
  • Aktuell
  • Tags
  • Beliebt
  • Benutzer
  • Gruppen
Skins
  • Light
  • Cerulean
  • Cosmo
  • Flatly
  • Journal
  • Litera
  • Lumen
  • Lux
  • Materia
  • Minty
  • Morph
  • Pulse
  • Sandstone
  • Simplex
  • Sketchy
  • Spacelab
  • United
  • Yeti
  • Zephyr
  • Dark
  • Cyborg
  • Darkly
  • Quartz
  • Slate
  • Solar
  • Superhero
  • Vapor

  • Standard: (Kein Skin)
  • Kein Skin
Einklappen
MediathekView Logo

MediathekView-Forum

  1. Übersicht
  2. Fragen, Hilfe, Kritik
  3. Wie kann der Download bereits vorhandener Wiederholungs-Sendungen unterdrückt werden?

Wie kann der Download bereits vorhandener Wiederholungs-Sendungen unterdrückt werden?

Geplant Angeheftet Gesperrt Verschoben Fragen, Hilfe, Kritik
11 Beiträge 6 Kommentatoren 1.8k Aufrufe
  • Älteste zuerst
  • Neuste zuerst
  • Meiste Stimmen
Anmelden zum Antworten
Dieses Thema wurde gelöscht. Nur Nutzer mit entsprechenden Rechten können es sehen.
  • M Offline
    M Offline
    msdd
    schrieb am zuletzt editiert von
    #1

    Das öffentlich rechtliche Fernsehen lebt vom ständigen Wiederholen bereits gesendeter Beiträge. Das ist (hier) aber nicht das Problem:
    Wie kann man verhindern, das bereits vor längerer Zeit gesendete Beiträge erneut heruntergeladen werden, obwohl dies bereits erfolgt war? Das passiert Schubweise, z.B. wurde gestern 40GB von Elefant, Tiger und Co. heruntergeladen, alle waren aber bereits Mitte 2017 heruntergeladen worden.
    Ja, ich kenne die “Mediensammlung”. Die hilft aber leider dabei nicht. Gibt es eine andere Möglichkeit, das MV-“Gedächtnis” zu nutzen, um unnütze Downloads zu vermeiden?

    Nicklas2751N 1 Antwort Letzte Antwort
    • Nicklas2751N Offline
      Nicklas2751N Offline
      Nicklas2751 Administrator
      antwortete auf msdd am zuletzt editiert von alex
      #2

      @msdd Das macht MV bereits wichtig ist dafür die Datei “history.txt” in der die bereits erfolgten Downloads gespeichert werden. Zur Erkennung ob eine Sendung bereits heruntergeladen wurde werden verschiedene Parameter überprüft. Dabei kann es vorkommen, dass sich genug “geändert” hat so, dass es als neue Sendung angesehen und somit erneut herunter geladen wird.

      MediathekView Entwickler | Bugs?: Anleitung Fehler melden | Fehlende Sendungen?: Fehlende Sendung melden

      1 Antwort Letzte Antwort
      • M Offline
        M Offline
        msdd
        schrieb am zuletzt editiert von alex
        #3

        Danke für die schnelle Antwort! (ist schon bemerkenswert, mit welcher Performance hier Support geleistet wird, da kann sich manch anderer bezahlte Service mal ein Beispiel nehmen).
        Nun hilft mir die Antwort aber leider nicht wirklich weiter: An der Sendung hat sich definitiv nix geändert, ausser dem Speicherort. Dies kann man an Hand der .txt Dateien gut nachprüfen, z.B.:

        # diff Elefant,_Tiger_\&_Co-Folge_437__Ndugu_ist_wieder_da\!_0713428965_20170420_161000.txt Elefant,_Tiger_\&_Co-Folge_437_Ndugu_ist_wieder_da\!_20170420_161000.txt
        15c15
        < https://pdvideosdaserste-a.akamaihd.net/int/2017/04/19/38aae00d-55fc-4ee3-ba7f-5e225eec5ab1/960-1.mp4
        ---
        > http://pd-videos.daserste.de/int/2017/04/19/38aae00d-55fc-4ee3-ba7f-5e225eec5ab1/960-1.mp4
        

        Ich könnte mir vorstellen, dass es kein allzu großer Aufwand ist, diesen zu ignorieren, wenn der Dateiname ansonsten vollkommen identisch ist.
        Oder?

        alexA 1 Antwort Letzte Antwort
        • M Offline
          M Offline
          msdd
          schrieb am zuletzt editiert von
          #4
          Dieser Beitrag wurde gelöscht!
          vitussonV 1 Antwort Letzte Antwort
          • vitussonV Offline
            vitussonV Offline
            vitusson
            antwortete auf msdd am zuletzt editiert von vitusson
            #5

            @msdd
            Nur so als Tip, drei “```” bringen dir hier die Code-Formartierung 😉

            diff FOOBAR1 FOOBAR2
            

            Ein Klick auf das Fragezeichen rechts oben im Editor neben “Verfassen” erklärt noch mehr

            1 Antwort Letzte Antwort
            • alexA Offline
              alexA Offline
              alex Administrator
              antwortete auf msdd am zuletzt editiert von
              #6

              @msdd sagte in Wie kann der Download bereits vorhandener Wiederholungs-Sendungen unterdrückt werden?:

              Nun hilft mir die Antwort aber leider nicht wirklich weiter: An der Sendung hat sich definitiv nix geändert, ausser dem Speicherort. Dies kann man an Hand der .txt Dateien gut nachprüfen, z.B.:

              # diff Elefant,_Tiger_\&_Co-Folge_437__Ndugu_ist_wieder_da\!_0713428965_20170420_161000.txt Elefant,_Tiger_\&_Co-Folge_437_Ndugu_ist_wieder_da\!_20170420_161000.txt
              15c15
              < https://pdvideosdaserste-a.akamaihd.net/int/2017/04/19/38aae00d-55fc-4ee3-ba7f-5e225eec5ab1/960-1.mp4
              ---
              > http://pd-videos.daserste.de/int/2017/04/19/38aae00d-55fc-4ee3-ba7f-5e225eec5ab1/960-1.mp4
              

              Ich könnte mir vorstellen, dass es kein allzu großer Aufwand ist, diesen zu ignorieren, wenn der Dateiname ansonsten vollkommen identisch ist.
              Oder?

              Hab das mal für dich bearbeitet.

              1 Antwort Letzte Antwort
              • M Offline
                M Offline
                msdd
                schrieb am zuletzt editiert von
                #7

                @alex: Danke für’s aufhübschen!

                Leider hilft das aber auch nicht, meine Frage zu beantworten:frowning_face: .

                Heute Nacht hat es wieder etliche doppelte Downloads im Rahmen von Abos gegeben, die dann anschliessend manuell erkannt (!) und gelöscht werden müssen. In vielen Fällen war der einzigste Unterschied das Protokoll: einmal http und einmal https:

                1_1521963306374_Nordtour-Der_Fischereihafen_in_Buesum_0637278829_20180324_180000.txt
                0_1521963306374_Nordtour-Der_Fischereihafen_in_Buesum_0769676566_20180324_180000.txt

                Die md5sums der heruntergeladenen Videodateien ist identisch:

                Nordtour-Der_Fischereihafen_in_Buesum_0637278829_20180324_180000.mp4:
                ccd64b78835baa6b8dc675efa26d103a

                Nordtour-Der_Fischereihafen_in_Buesum_0769676566_20180324_180000.mp4:
                ccd64b78835baa6b8dc675efa26d103a

                Es wäre schön und nützlich zu wissen, wie man diese unnötige Bandbreiten- und Plattenplatz-Verschwendung vermeiden könnte (ganz zu Schweigen von dem Aufwand, diese Dubletten zu suchen und zu finden)!

                styrollS 1 Antwort Letzte Antwort
                • styrollS Offline
                  styrollS Offline
                  styroll
                  antwortete auf msdd am zuletzt editiert von
                  #8

                  @msdd sagte: Heute Nacht hat es wieder etliche doppelte Downloads im Rahmen von Abos gegeben, die dann anschliessend manuell erkannt (!) und gelöscht werden müssen.

                  Das ist ja ganz schlimm (!)…

                  Deine 2 Beispiele zeigen, dass die Duplikate-Erkennung nicht funktioniert, da sich die URL geändert hat.
                  Bei Beispiel 2 ist offensichtlich, dass es sich um die gleiche Sendung handelt (die Frage ist, wie viele solche Sendungen mit http statt https in der Video-URL es beim NDR noch gibt).
                  Beim Beispiel 1 ist die URL offensichtlich anders, nur der Titel der Sendung ist gleich (de facto liegt die ältere Sendung noch auf dem “alten” Server). Leider publizieren Sender auch immer wieder Sendungen mit gleichen (nichtssagenden) Titeln, hinter welchen aber letztlich verschiedene Beiträge (Videos) – erkennbar an einer anderen Video-URL – stecken.

                  In der Vergangenheit wurden immer wieder Veränderungen an der Logik der Duplikateerkennung vorgenommen, mit fraglichem Erfolg, da sich die Websites der Sender fast schneller ändern, als sich eine Anpassung auswirken konnte. Zudem bezieht sich die Logik der Duplikateerkennung – meines Wissens nach – global auf alle Sender. Nötig wäre jedoch eine aufwändige Anpassung für jeden Sender einzeln.

                  Letztlich müssen das die Entwickler entscheiden, was an Anpassungen Sinn macht.

                  1 Antwort Letzte Antwort
                  • M Offline
                    M Offline
                    msdd
                    schrieb am zuletzt editiert von
                    #9

                    Man kann ja vielleicht ganz simpel anfangen: Haben zwei Video-Dateien identische Dateinamen (und die Dateinamen sind ja durch die numerischen Zusaetz sicher eindeutig, z.B. die 1521963306374 wird wohl kaum noch bei einer Datei anderen Inhaltes vorkommen, oder?) sollten sie nicht Doppelt automatisch heruntergeladen werden, egal wo sie liegen. Damit wuerde man schon viel erreichen und der dazu erforderliche Programmieraufwand wird wohl nicht sehr umfangreich sein)
                    Aber vielleicht liege ich ja da auch total falsch…

                    MenchenSuedM 1 Antwort Letzte Antwort
                    • MenchenSuedM Offline
                      MenchenSuedM Offline
                      MenchenSued Globaler Moderator
                      antwortete auf msdd am zuletzt editiert von
                      #10

                      @msdd Das hört sich für mich nach KI an und allzu “intelligenten” Systemen sollte man erst mal nicht trauen. Gerade bei Serien oder periodischen Sendungen könnte es leicht zur Unterdrückung von Folgen führen, wenn der Dateiname identisch, der Pfad jedoch anders ist. Beispiel
                      …/2018/02/13/Tagesschau.mp4 und
                      …/2018/02/14/Tagesschau.mp4

                      Und diese KI lässt sich leider nicht ausgiebig testen und stabilisieren, da die ÖR nichts besseres mit unseren Gebühren zu tun haben, als ständig an ihren Softwaresystemen zu ändern. Man sollte doch meinen, wenn das Backend mal steht, müsste man nicht regelmäßig die ganze Struktur umkrempeln. Aber das Geld ist wohl da und muss ausgegeben werden, sonst gibt es in der nächsten Runde weniger.


                      MediathekView 14.3.1, Linux Mint 21.3, VLC 3.0.16

                      1 Antwort Letzte Antwort
                      • Nicklas2751N Offline
                        Nicklas2751N Offline
                        Nicklas2751 Administrator
                        schrieb am zuletzt editiert von
                        #11

                        @msdd @MenchenSued Also KI ist das nicht aber wir sind an dem Thema dran mit der neuen angestrebten Architektur wird auch eine neue Erkennnung kommen welche wir auch viel einfacher und besser vorher testen können. Nur perfekt wird sie nie sein einfach schon weil wenn duplikate an zu wenig Eigenschaften festgemacht werden fehlen Sendungen die falsch erkannt wurden und wenn an zu vielen dann sind Sendungen doppelt.

                        Also einfach mal Abwarten die Problematik ist uns schon lange bekannt und wir sind drann aber wir können nunmal nicht zaubern.

                        MediathekView Entwickler | Bugs?: Anleitung Fehler melden | Fehlende Sendungen?: Fehlende Sendung melden

                        1 Antwort Letzte Antwort

                        29

                        Online

                        6.7k

                        Benutzer

                        6.2k

                        Themen

                        39.2k

                        Beiträge
                        • Anmelden

                        • Du hast noch kein Konto? Registrieren

                        • Anmelden oder registrieren, um zu suchen
                        • Erster Beitrag
                          Letzter Beitrag
                        0
                        • Kategorien
                        • Aktuell
                        • Tags
                        • Beliebt
                        • Benutzer
                        • Gruppen