ARTE wieder nicht mehr aktuell !
-
@rei sagte in ARTE wieder nicht mehr aktuell !:
Guten Tag.
Weiss jemand, wie man wieder die Videos mit gelbe Untertiteln greifen kann? Mit Download Programme finde ich jetzt nur Versione ohne Text, und die Untertiteln in ihre eigene Datei. Auch wenn ich “scanne” die Webseite auf ARTE.
Arte und Untertitel ist ein Kapitel für sich.
Die gelben Untertitel bei den Videos sind eingebrannt und nicht als externe Datei (.srt aka SubRip) angeboten - warum auch immer. Bei der linearen Ausstrahlung werden ja meist auch Teletext- oder/und DVB Subtitles angeboten. In der Mediathek scheint das aber nicht mehr der Fall zu sein (für Streaming sollte eigentlich WebVTT als Standard gelten - Hintergrundinfos siehe hier).
Die Videos mit Untertitel werden aber von MediathekView schon erfasst und können über die Filtereinstellung ‘Nur Filme mit Untertitel anzeigen’ gefiltert werden. Sonderbarerweise setzt der MV in der Filmliste bei der Spalte ‘UT’ keinen Haken aber das Video-File enthält im Namen den Zusatz ‘(mit Untertitel)’. -
@horst_esser sagte: Wobei die Download-Url auch kein wirkliches Problem sein sollte. Denn in der Sendungs-Url […]
Das von dir beschriebene Verfahren ist bekannt.
@horst_esser sagte: Mit dieser Url und einer ausreichend aktuellen ffmpeg-Version kann man das komplette Video direkt streamen (und auch herunterladen).
Danke für den Hinweis, dass dies zumindest mit deiner Beispielssendung “Magische Gärten – Bergpark Wilhelmshöhe” funktioniert (ich konnte das reproduzieren).
Im Idealfall geht das dann mit allen Sendungen, dann wäre mein Test – vor 2 Wochen – mit dieser Sendung eine Ausnahme, bei welcher es nicht funktioniert (eben nochmals erfolglos getestet).Für den Entwickler wäre es hilfreich, wenn das Verfahren an einer Vielzahl von aktuellen/neuen ARTE-Sendungen erfolgreich getestet werden könnte, nicht nur an einer…
@horst_esser sagte: Wie bekannt muss man evtl. noch einen passenden -user_agent angeben
Bei ARTE? Das wäre mir nicht bekannt, und dein Bsp. zeigt ja, dass dies nicht notwendig ist…
@horst_esser sagte: Hauptsache, die Arte-Sendungen kommen überhaupt wieder in der Filmliste. Egal, ob mit oder ohne Download-Url. Denn die Sendungs-Urls zur Arte-Mediathek funktionieren doch weiterhin. Dann kann man die Sendung wenigstens dort ansehen
Na ja die Links zu den Sendungsseiten sind von begrenztem Wert. Solange man weiss, was man sucht, ist man mit Google eh schneller dort…
Und MV stellt v.a. Direkt-Downloads bereit (MP4), wofür MVW-Nutzer dankbar sind…@botti sagte: Bei der linearen Ausstrahlung werden ja meist auch Teletext- oder/und DVB Subtitles angeboten. In der Mediathek scheint das aber nicht mehr der Fall zu sein (für Streaming sollte eigentlich WebVTT als Standard gelten
Genau Letzteres scheint aber bei den ARTE-Sendungen, wenn man sie über die API v2 holt, der Fall zu sein: Bsp. die oben erwähnte Sendung:
https://arte-cmafhls.akamaized.net/am/cmaf/080000/080100/080118-010-A/220426065333/medias/080118-010-A_st_VF-MAL.vtt
Du kannst die vtt-Datei runterladen und gleich benennen wie der Film, und VLC spielt sie automatisch beim Abspielen des Films ab.
-
@styroll
Bei mir klappt der Download nicht. Mit den Befehlenffmpeg -i https://arte-cmafhls.akamaized.net/am/cmaf/080000/080100/080118-010-A/220426065333/080118-010-A_VA-STA_XQ.m3u8 -c copy 080118-010-A_VA-STA_XQ.mp4 ffmpeg -i https://arte-cmafhls.akamaized.net/am/cmaf/101000/101800/101840-000-A/220405080926/101840-000-A_VO-STA_XQ.m3u8 -c copy Der_Briefwechsel.mp4dauert es eine gefühlte Ewigkeit und am Ende habe ich die ersten 12 Sekunden des Films mit Ton vorliegen. Meine ffmpeg-Version ist 4.2.4.
Im Terminal bekomme ich hunderte Meldung dieser Art:Opening 'https://arte-cmafhls.akamaized.net/am/cmaf/080000/080100/080118-010-A/220426065333/medias/080118-010-A_aud_VA.mp4' for reading Non-monotonous DTS in output stream 0:0; previous: 154772, current: 77312; changing to 154773. This may result in incorrect timestamps in the output file [mov,mp4,m4a,3gp,3g2,mj2 @ 0x56322bb9bf80] root atom offset 0x52c4e: partial fileNachtrag: Auf meinem Raspi habe ich die ffmpeg-Version 4.3.4 und damit kommen nur die “Opening” Meldungen. Der Download hat damit auch geklappt.
-
Es kommt tatsächlich darauf an, eine möglichst aktuelle ffmpeg-Version zu verweden. Mit 5.0.1 gibt es die Probleme nicht.
Bei dieser einen Sendung bekomme ich tatsächlich den gleichen Fehler (sidx reference_type 1 is not implemented). Wobei er bereits beim Laden der Video-Spur alleine auftritt:
ffmpeg -i https://arte-cmafhls.akamaized.net/am/cmaf/100000/100200/100225-000-A/220414121352/medias/100225-000-A_v720.m3u8 -c copy 100225-000-A_v720.mp4
Er ist kein spezifisches Problem der Aufteilung von Video- und Audiospur.
Und bestimmt kein generelles Problem. Das hatte ich bei keinem anderen Video. Und auch zehn weitere aus dem heutigen Arte-Programm zufällig gewählte Videos wurden von ffmpeg per _XQ.m3u8-Url alle fehlerfrei geladen.
Die _XQ.m3u8-Urls sind die korrekten Film-Urls.
Es ist sicher nicht falsch, sie in die Filmliste zu schreiben.
Selbst wenn es weitere Einzelfälle geben sollte, an denen ffmpeg scheitert.
Reden wir noch über den Fall, dass sich das nicht sofort realisieren lässt.
Es liegt es sicher im Auge des Betrachters, wie hilfreich Sendungseinträge ohne Film-Url sind. Für mich und sunrise und sicher viele weitere Nutzer sind sie sehr hilfreich. Ich suche gerade nicht nach konkreten Suchbegriffen, sondern nach sehr allgemeinen. Da ist Google und auch die Suchfunktion der Arte-Mediathek leider keine Hilfe.
Natürlich ziehe ich Sendungseinträge mit Film-Url vor. Doch welche ohne sind um ein Vielfaches besser als gar keine.
Es ist eine Frage des Zeithorizonts. Wenn morgen Einträge mit Film-Url kommen, dann brauche ich heute keine ohne. Wenn es aber länger dauert, dann wäre eine einfache Teil- oder Zwischenlösung ein wahrer Segen.
Über die Sendungsseiten kann man die Videos nicht nur anschauen, sondern Interessierte kommen nach dem beschriebenen Verfahren auch an die Film-Urls. Auch deshalb gilt: Hauptsache die Sendungen stehen überhaupt wieder in der Filmliste.
-
@horst_esser sagte in ARTE wieder nicht mehr aktuell !:
Natürlich ziehe ich Sendungseinträge mit Film-Url vor. Doch welche ohne sind um ein Vielfaches besser als gar keine.
…
Hauptsache die Sendungen stehen überhaupt wieder in der Filmliste.Man könnte ja einen Zusatz im Namen anfügen, beispielsweise “No Video”. Und wenn unbedingt eine Video-URL erforderlich wäre, dann ließe sich hier ein sehr kurzes Dummy-Video nutzen.
Aber: Wenn ich Deine Untersuchung richtig deute, dann könnte der Crawler problemlos die URL für die höchste Auflösung bereit stellen, wenn er die API V2 unterstützt. Für die kleineren Auflösungen müssten dagegen Anpassungen am Client vorgenommen werden oder ein eigenes Set angelegt werden, bei dem der map-Parameter mit angegeben wird. Gibt es überhaupt noch Anwender, die weniger als 720p verwenden? Vielleicht könnte in einem ersten Schritt der Crawler die höchste Auflösung liefern und die Community stellt zwei Sets für die jeweiligen Auflösungen zur Verfügung, damit nicht gleichzeitig der Client geändert werden muss.
@horst_esser sagte in ARTE wieder nicht mehr aktuell !:
Es kommt tatsächlich darauf an, eine möglichst aktuelle ffmpeg-Version zu verweden. Mit 5.0.1 gibt es die Probleme nicht.
Stimmt. Ich habe ffmpeg 5.0.1 probiert und damit klappt das ebenfalls. Die bei MINT 20.3 installierte Version 4.2.4 ist etwas zu alt dafür.
-
@horst_esser sagte: Und auch zehn weitere aus dem heutigen Arte-Programm zufällig gewählte Videos wurden von ffmpeg per _XQ.m3u8-Url alle fehlerfrei geladen.
Danke für die Info. Ich hab diese jetzt auch auf GitHub gestellt.
@horst_esser sagte: Ich suche gerade nicht nach konkreten Suchbegriffen, sondern nach sehr allgemeinen. Da ist Google und auch die Suchfunktion der Arte-Mediathek leider keine Hilfe.
Off-topic: Aber die sehr beschränkte Suche von MV dann schon? Ich wüsste jetzt nicht, was effizienter als "site:https://www.arte.tv ‘Such-String’ " in einer Suchmaschine ist…
Die MV-Filmliste ist natürlich für alle jene Leute unverzichtbar, die diese u.a. auch als “TV-Programm” verwenden und die Liste durchgehen, eben ohne etwas Spezifisches zu suchen:@sunrise sagte: und es wäre mehr als angenehm, wenn man die Beiträge weiterhin geordnet in MV gelistet hätte, statt sie mühsam zusammensuchen zu müssen.
-
Danke an alle für die Tests und den Input.
Ich habe eine Lösung gefunden, so dass MV weiterhin mp4-Urls liefern kann. Ich hoffe, ARTE baut da nicht noch etwas um, aber meine Tests sahen schon mal gut aus.Sobald die Crawler aktualisiert worden sind, werden wieder neue ARTE-Filme kommen - allerdings zunächst nur für DE+FR.
-
Auch wenn ich weder Vater noch Mutter, sondern nur Rentner bin, aber diese “Muttertagsüberraschung” freut mich wirklich und wohl nicht nur mich: Tatsächlich rauschten mit dem ersten Suchlauf heute die ARTE-Sendungen in die Liste und die Downloads scheinen wie gewohnt zu laufen. Besten und ganz herzlichen Dank an Sie bzw. dich und alle weiteren Beteiligten!
-
@pidoubleyou
Ein paar kleine Dinge scheinen noch nicht zu passen, beispielsweise wird statt einem Trailer, der auf ARTE abgespielt wird, ein Ausschnitt aus dem Film gezeigt (Beispiel “Nevada Smith”). Auch werden diverse Titel doppelt gezeigt (Beispiel “Nevada Smith” oder “Der Briefwechsel”). Ein Link ist korrekt, der andere zeigt einen kurzen Ausschnitt. Für den Moment reicht die Änderung aber und die Optimierung ist nicht so wichtig. Vielen Dank für die schnelle Reparatur.Anwender sollten sich das Ergebnis nach dem Download aber unbedingt ansehen, um nicht später enttäuscht zu sein, wenn mal ein Film nicht der Beschreibung entspricht.
-
mp4-Urls sind natürlich noch viel besser. Vielen Dank!
Waren die Trailer bzw. Ausschnitte bisher nicht komplett ausgeschlossen? Verlässlich erkennen kann man sie jedenfalls am Wort EXTRAIT (mit Unterstrich davor und dahinter) in der mp4-Url.
-
Ja, jetzt muss ich die Warnung leider bestätigen, bei einigen Sendungen wird die geladene Größe viel zu klein im Vergleich zur eigentlichen Sendedauer, das scheint vor allem auch für einige Kinofilme zu gelten. Hier ein hoffentlich lesbares Snipping von den aus meiner Auswahl erkennbaren “Stümmeldateien”:
Lösbar? -
@magerbaer
Du darfst aber nicht behaupten, dass die Sendungen zu klein sind. Denn bei vielen Sendungen gibt es eine Dublette mit voller Größe und die anderen stehen aus Lizenzgründen nur als Trailer zur Verfügung (z.B. Nevada Smith) -
@horst_esser: Waren die Trailer bzw. Ausschnitte bisher nicht komplett ausgeschlossen?
Ich hab die wohl nie gesehen, weil ich in der Blacklist alles auschliesse, was kürzer 3 min ist, was natürlich jetzt nicht mehr funktioniert, wenn als Dauer für einen Ausschnitt (Extrait) die Länge der ganzen Sendung angegeben wird.
@horst_esser: Verlässlich erkennen kann man sie jedenfalls am Wort EXTRAIT (mit Unterstrich davor und dahinter) in der mp4-Url.
Bei den Beispielen, die in den Posts zuvor aufgeführt wurden, sehe ich nur die Abkürzung dieses Worts, also
_EXT_in den URL der MV-Filmliste. Und zumindest bei Nevada Smith ist/Trailer/in der URL; das Herausfiltern mit der entsprechenden Option über das Filterpanel funktioniert jedoch nicht (mehr?). -
Danke, so langsam klärt sich die Lage. Einige Filme sind tatsächlich nur als Trailer in der Mediathek zugänglich, und einige andere Sendungen findet der Crawler auch mit einem zweiten Eintrag in der dann richtigen Länge. Ohne Erfolg blieb meine Lösungssuche für “Menschen am Sonntag” (steht vollständig in der Mediathek, Crawler findet aber nur die Variante mit 17 MB) und für ARTE.DE - Kurzschluss - Das Magazin - Schwerpunkt “In Verbindung” (Mediathek liefert gut 51 Minuten, Crawler aktuell nur die Variante mit 9 MB) …
-
Was lässt sich jetzt noch machen bei Filmen wie “Menschen am Sonntag” (steht weiterhin vollständig in der Arte-Mediathek, Crawler hier findet aber nur die Variante mit 17 MB) und für ARTE.DE - Kurzschluss - Das Magazin - Schwerpunkt “In Verbindung” (Mediathek liefert gut 51 Minuten, Crawler findet weiter nur die Variante mit 9 MB)?
Die korrigierten URLs dazu wüsste ich, aber könnte ich die dann auch selbst wo eintragen? In “Download ändern” wollte sich die URL-Zeile von mir nicht ändern lassen …
-
@magerbaer sagte in ARTE wieder nicht mehr aktuell !:
Was lässt sich jetzt noch machen bei Filmen wie “Menschen am Sonntag” (steht weiterhin vollständig in der Arte-Mediathek, Crawler hier findet aber nur die Variante mit 17 MB) und für ARTE.DE - Kurzschluss - Das Magazin - Schwerpunkt “In Verbindung” (Mediathek liefert gut 51 Minuten, Crawler findet weiter nur die Variante mit 9 MB)?
Die korrigierten URLs dazu wüsste ich, aber könnte ich die dann auch selbst wo eintragen? In “Download ändern” wollte sich die URL-Zeile von mir nicht ändern lassen …
Da bleibt halt derzeit nur der Download über Alternativen.
Mit dem Stream Detector Plugin im Firefox und dem JDownloader war es mir möglich, den Beitrag vom Kurzschluss-Magazin runterzuladen.
Ist halt etwas umständlicher. -
@botti
Danke, bringt mich jetzt aber vorsichtshalber noch zu der Frage, welche URL in der Auswahl im Stream Decoder dann die richtige wäre - oder hattest Du den m3u8-Stream Decoder gemeint?
-
@magerbaer
Ich benutze den Stream Detector (den Du vermutlich auch nutzt - laut Screenshot).
Bei “nur die URL” liefert mir “arte Kurzschluss - In Verbindung” folgende URLs:
Der JDownloader kann leider nicht mit allen Links etwas anfangen (liegt wohl an arte).
Runterladen kann ich:- die .vtt (Subtitle),
- die URL, die ‘aud’ (für Audio - .m4a) im Namen hat und
- die URL, die ‘v720’ im Namen hat.
Das Ganze muss dann noch nach dem Download in eine neue Datei gemuxt werden. Das kann man mit ffmpeg machen - ich benutze der Bequemlichkeit halber den tsMuxer, der eine .ts Datei erzeugt.
Die Untertitel bleiben extern. Bisher habe ich es weder mit ffmpeg, noch mit tsmuxer (der kann’s eh nicht) geschafft, eine .vtt in .ts einzubetten. Lösung: als .mkv (mit Hilfe von mkvtoolnix) abspeichern
Umständlich… aber es klappt.
-
ich habe einen Bugfix für das Trailer-Problem gemacht. Er wird im Lauf des morgigen Tages aktiv gehen.
Morgen werden die vollständigen Filme zusätzlich in der Liste sein, nach dem Nachtlauf von Dienstag auf Mittwoch sollten dann die Trailer aus der Filmliste verschwunden sein.
-
@botti
Herzliches Danke, gelesen habe ich’s schon, weiß aber noch nicht, wann ich Zeit für eine solche “Bastelstunde” habe, danach gebe ich Rückmeldung. Ergänzend gefragt: Benutzt Du noch ein eigens installiertes ffmpeg, oder lässt sich dieses auch aus dem von JDowwnloader mitinstallierten aufrufen?
