ARTE wieder nicht mehr aktuell !
-
@styroll
Bei mir klappt der Download nicht. Mit den Befehlenffmpeg -i https://arte-cmafhls.akamaized.net/am/cmaf/080000/080100/080118-010-A/220426065333/080118-010-A_VA-STA_XQ.m3u8 -c copy 080118-010-A_VA-STA_XQ.mp4 ffmpeg -i https://arte-cmafhls.akamaized.net/am/cmaf/101000/101800/101840-000-A/220405080926/101840-000-A_VO-STA_XQ.m3u8 -c copy Der_Briefwechsel.mp4dauert es eine gefühlte Ewigkeit und am Ende habe ich die ersten 12 Sekunden des Films mit Ton vorliegen. Meine ffmpeg-Version ist 4.2.4.
Im Terminal bekomme ich hunderte Meldung dieser Art:Opening 'https://arte-cmafhls.akamaized.net/am/cmaf/080000/080100/080118-010-A/220426065333/medias/080118-010-A_aud_VA.mp4' for reading Non-monotonous DTS in output stream 0:0; previous: 154772, current: 77312; changing to 154773. This may result in incorrect timestamps in the output file [mov,mp4,m4a,3gp,3g2,mj2 @ 0x56322bb9bf80] root atom offset 0x52c4e: partial fileNachtrag: Auf meinem Raspi habe ich die ffmpeg-Version 4.3.4 und damit kommen nur die “Opening” Meldungen. Der Download hat damit auch geklappt.
-
Es kommt tatsächlich darauf an, eine möglichst aktuelle ffmpeg-Version zu verweden. Mit 5.0.1 gibt es die Probleme nicht.
Bei dieser einen Sendung bekomme ich tatsächlich den gleichen Fehler (sidx reference_type 1 is not implemented). Wobei er bereits beim Laden der Video-Spur alleine auftritt:
ffmpeg -i https://arte-cmafhls.akamaized.net/am/cmaf/100000/100200/100225-000-A/220414121352/medias/100225-000-A_v720.m3u8 -c copy 100225-000-A_v720.mp4
Er ist kein spezifisches Problem der Aufteilung von Video- und Audiospur.
Und bestimmt kein generelles Problem. Das hatte ich bei keinem anderen Video. Und auch zehn weitere aus dem heutigen Arte-Programm zufällig gewählte Videos wurden von ffmpeg per _XQ.m3u8-Url alle fehlerfrei geladen.
Die _XQ.m3u8-Urls sind die korrekten Film-Urls.
Es ist sicher nicht falsch, sie in die Filmliste zu schreiben.
Selbst wenn es weitere Einzelfälle geben sollte, an denen ffmpeg scheitert.
Reden wir noch über den Fall, dass sich das nicht sofort realisieren lässt.
Es liegt es sicher im Auge des Betrachters, wie hilfreich Sendungseinträge ohne Film-Url sind. Für mich und sunrise und sicher viele weitere Nutzer sind sie sehr hilfreich. Ich suche gerade nicht nach konkreten Suchbegriffen, sondern nach sehr allgemeinen. Da ist Google und auch die Suchfunktion der Arte-Mediathek leider keine Hilfe.
Natürlich ziehe ich Sendungseinträge mit Film-Url vor. Doch welche ohne sind um ein Vielfaches besser als gar keine.
Es ist eine Frage des Zeithorizonts. Wenn morgen Einträge mit Film-Url kommen, dann brauche ich heute keine ohne. Wenn es aber länger dauert, dann wäre eine einfache Teil- oder Zwischenlösung ein wahrer Segen.
Über die Sendungsseiten kann man die Videos nicht nur anschauen, sondern Interessierte kommen nach dem beschriebenen Verfahren auch an die Film-Urls. Auch deshalb gilt: Hauptsache die Sendungen stehen überhaupt wieder in der Filmliste.
-
@horst_esser sagte in ARTE wieder nicht mehr aktuell !:
Natürlich ziehe ich Sendungseinträge mit Film-Url vor. Doch welche ohne sind um ein Vielfaches besser als gar keine.
…
Hauptsache die Sendungen stehen überhaupt wieder in der Filmliste.Man könnte ja einen Zusatz im Namen anfügen, beispielsweise “No Video”. Und wenn unbedingt eine Video-URL erforderlich wäre, dann ließe sich hier ein sehr kurzes Dummy-Video nutzen.
Aber: Wenn ich Deine Untersuchung richtig deute, dann könnte der Crawler problemlos die URL für die höchste Auflösung bereit stellen, wenn er die API V2 unterstützt. Für die kleineren Auflösungen müssten dagegen Anpassungen am Client vorgenommen werden oder ein eigenes Set angelegt werden, bei dem der map-Parameter mit angegeben wird. Gibt es überhaupt noch Anwender, die weniger als 720p verwenden? Vielleicht könnte in einem ersten Schritt der Crawler die höchste Auflösung liefern und die Community stellt zwei Sets für die jeweiligen Auflösungen zur Verfügung, damit nicht gleichzeitig der Client geändert werden muss.
@horst_esser sagte in ARTE wieder nicht mehr aktuell !:
Es kommt tatsächlich darauf an, eine möglichst aktuelle ffmpeg-Version zu verweden. Mit 5.0.1 gibt es die Probleme nicht.
Stimmt. Ich habe ffmpeg 5.0.1 probiert und damit klappt das ebenfalls. Die bei MINT 20.3 installierte Version 4.2.4 ist etwas zu alt dafür.
-
@horst_esser sagte: Und auch zehn weitere aus dem heutigen Arte-Programm zufällig gewählte Videos wurden von ffmpeg per _XQ.m3u8-Url alle fehlerfrei geladen.
Danke für die Info. Ich hab diese jetzt auch auf GitHub gestellt.
@horst_esser sagte: Ich suche gerade nicht nach konkreten Suchbegriffen, sondern nach sehr allgemeinen. Da ist Google und auch die Suchfunktion der Arte-Mediathek leider keine Hilfe.
Off-topic: Aber die sehr beschränkte Suche von MV dann schon? Ich wüsste jetzt nicht, was effizienter als "site:https://www.arte.tv ‘Such-String’ " in einer Suchmaschine ist…
Die MV-Filmliste ist natürlich für alle jene Leute unverzichtbar, die diese u.a. auch als “TV-Programm” verwenden und die Liste durchgehen, eben ohne etwas Spezifisches zu suchen:@sunrise sagte: und es wäre mehr als angenehm, wenn man die Beiträge weiterhin geordnet in MV gelistet hätte, statt sie mühsam zusammensuchen zu müssen.
-
Danke an alle für die Tests und den Input.
Ich habe eine Lösung gefunden, so dass MV weiterhin mp4-Urls liefern kann. Ich hoffe, ARTE baut da nicht noch etwas um, aber meine Tests sahen schon mal gut aus.Sobald die Crawler aktualisiert worden sind, werden wieder neue ARTE-Filme kommen - allerdings zunächst nur für DE+FR.
-
Auch wenn ich weder Vater noch Mutter, sondern nur Rentner bin, aber diese “Muttertagsüberraschung” freut mich wirklich und wohl nicht nur mich: Tatsächlich rauschten mit dem ersten Suchlauf heute die ARTE-Sendungen in die Liste und die Downloads scheinen wie gewohnt zu laufen. Besten und ganz herzlichen Dank an Sie bzw. dich und alle weiteren Beteiligten!
-
@pidoubleyou
Ein paar kleine Dinge scheinen noch nicht zu passen, beispielsweise wird statt einem Trailer, der auf ARTE abgespielt wird, ein Ausschnitt aus dem Film gezeigt (Beispiel “Nevada Smith”). Auch werden diverse Titel doppelt gezeigt (Beispiel “Nevada Smith” oder “Der Briefwechsel”). Ein Link ist korrekt, der andere zeigt einen kurzen Ausschnitt. Für den Moment reicht die Änderung aber und die Optimierung ist nicht so wichtig. Vielen Dank für die schnelle Reparatur.Anwender sollten sich das Ergebnis nach dem Download aber unbedingt ansehen, um nicht später enttäuscht zu sein, wenn mal ein Film nicht der Beschreibung entspricht.
-
mp4-Urls sind natürlich noch viel besser. Vielen Dank!
Waren die Trailer bzw. Ausschnitte bisher nicht komplett ausgeschlossen? Verlässlich erkennen kann man sie jedenfalls am Wort EXTRAIT (mit Unterstrich davor und dahinter) in der mp4-Url.
-
Ja, jetzt muss ich die Warnung leider bestätigen, bei einigen Sendungen wird die geladene Größe viel zu klein im Vergleich zur eigentlichen Sendedauer, das scheint vor allem auch für einige Kinofilme zu gelten. Hier ein hoffentlich lesbares Snipping von den aus meiner Auswahl erkennbaren “Stümmeldateien”:
Lösbar? -
@magerbaer
Du darfst aber nicht behaupten, dass die Sendungen zu klein sind. Denn bei vielen Sendungen gibt es eine Dublette mit voller Größe und die anderen stehen aus Lizenzgründen nur als Trailer zur Verfügung (z.B. Nevada Smith) -
@horst_esser: Waren die Trailer bzw. Ausschnitte bisher nicht komplett ausgeschlossen?
Ich hab die wohl nie gesehen, weil ich in der Blacklist alles auschliesse, was kürzer 3 min ist, was natürlich jetzt nicht mehr funktioniert, wenn als Dauer für einen Ausschnitt (Extrait) die Länge der ganzen Sendung angegeben wird.
@horst_esser: Verlässlich erkennen kann man sie jedenfalls am Wort EXTRAIT (mit Unterstrich davor und dahinter) in der mp4-Url.
Bei den Beispielen, die in den Posts zuvor aufgeführt wurden, sehe ich nur die Abkürzung dieses Worts, also
_EXT_in den URL der MV-Filmliste. Und zumindest bei Nevada Smith ist/Trailer/in der URL; das Herausfiltern mit der entsprechenden Option über das Filterpanel funktioniert jedoch nicht (mehr?). -
Danke, so langsam klärt sich die Lage. Einige Filme sind tatsächlich nur als Trailer in der Mediathek zugänglich, und einige andere Sendungen findet der Crawler auch mit einem zweiten Eintrag in der dann richtigen Länge. Ohne Erfolg blieb meine Lösungssuche für “Menschen am Sonntag” (steht vollständig in der Mediathek, Crawler findet aber nur die Variante mit 17 MB) und für ARTE.DE - Kurzschluss - Das Magazin - Schwerpunkt “In Verbindung” (Mediathek liefert gut 51 Minuten, Crawler aktuell nur die Variante mit 9 MB) …
-
Was lässt sich jetzt noch machen bei Filmen wie “Menschen am Sonntag” (steht weiterhin vollständig in der Arte-Mediathek, Crawler hier findet aber nur die Variante mit 17 MB) und für ARTE.DE - Kurzschluss - Das Magazin - Schwerpunkt “In Verbindung” (Mediathek liefert gut 51 Minuten, Crawler findet weiter nur die Variante mit 9 MB)?
Die korrigierten URLs dazu wüsste ich, aber könnte ich die dann auch selbst wo eintragen? In “Download ändern” wollte sich die URL-Zeile von mir nicht ändern lassen …
-
@magerbaer sagte in ARTE wieder nicht mehr aktuell !:
Was lässt sich jetzt noch machen bei Filmen wie “Menschen am Sonntag” (steht weiterhin vollständig in der Arte-Mediathek, Crawler hier findet aber nur die Variante mit 17 MB) und für ARTE.DE - Kurzschluss - Das Magazin - Schwerpunkt “In Verbindung” (Mediathek liefert gut 51 Minuten, Crawler findet weiter nur die Variante mit 9 MB)?
Die korrigierten URLs dazu wüsste ich, aber könnte ich die dann auch selbst wo eintragen? In “Download ändern” wollte sich die URL-Zeile von mir nicht ändern lassen …
Da bleibt halt derzeit nur der Download über Alternativen.
Mit dem Stream Detector Plugin im Firefox und dem JDownloader war es mir möglich, den Beitrag vom Kurzschluss-Magazin runterzuladen.
Ist halt etwas umständlicher. -
@botti
Danke, bringt mich jetzt aber vorsichtshalber noch zu der Frage, welche URL in der Auswahl im Stream Decoder dann die richtige wäre - oder hattest Du den m3u8-Stream Decoder gemeint?
-
@magerbaer
Ich benutze den Stream Detector (den Du vermutlich auch nutzt - laut Screenshot).
Bei “nur die URL” liefert mir “arte Kurzschluss - In Verbindung” folgende URLs:
Der JDownloader kann leider nicht mit allen Links etwas anfangen (liegt wohl an arte).
Runterladen kann ich:- die .vtt (Subtitle),
- die URL, die ‘aud’ (für Audio - .m4a) im Namen hat und
- die URL, die ‘v720’ im Namen hat.
Das Ganze muss dann noch nach dem Download in eine neue Datei gemuxt werden. Das kann man mit ffmpeg machen - ich benutze der Bequemlichkeit halber den tsMuxer, der eine .ts Datei erzeugt.
Die Untertitel bleiben extern. Bisher habe ich es weder mit ffmpeg, noch mit tsmuxer (der kann’s eh nicht) geschafft, eine .vtt in .ts einzubetten. Lösung: als .mkv (mit Hilfe von mkvtoolnix) abspeichern
Umständlich… aber es klappt.
-
ich habe einen Bugfix für das Trailer-Problem gemacht. Er wird im Lauf des morgigen Tages aktiv gehen.
Morgen werden die vollständigen Filme zusätzlich in der Liste sein, nach dem Nachtlauf von Dienstag auf Mittwoch sollten dann die Trailer aus der Filmliste verschwunden sein.
-
@botti
Herzliches Danke, gelesen habe ich’s schon, weiß aber noch nicht, wann ich Zeit für eine solche “Bastelstunde” habe, danach gebe ich Rückmeldung. Ergänzend gefragt: Benutzt Du noch ein eigens installiertes ffmpeg, oder lässt sich dieses auch aus dem von JDowwnloader mitinstallierten aufrufen?
-
Bravo, Danke: Der Mittagssuchlauf hat die korrigierten Einträge zu Arte jetzt geliefert …
-
@botti
Habe leider gestern Deinen Hinweis auf den tsmukser nicht kapiert und erst heute Deinen Link dorthin ausprobiert. Das werde ich bei Gelegenheit mal für sonstige “schwierige” Sender-Seiten benutzen versuchen, für arte scheint das Problem ja dank pidoubleyou inzwischen gelöst. Ansonsten habe ich gesehen, dass man die nötigen Einzel-Links zu Bild und Ton auch in Edge bekommen kann, dort via Erweiterung Live Stream Downloader. Danke nochmal.
