Verarbeitung der Kategorien mit neuer API - wieder neue URL

[Walt]

@pidoubleyou hier wieder eine nötige Änderung, die den Crawler beim Sender ARTE betrifft.

ARTE hat seit dem 9.8. wieder etwas an der API bei der Verarbeitung der Kategorien umgestellt.

Es wird eine URL benutzt, die sich geändert hat.

Die in der Datei ‘src/main/java/mServer/crawler/sender/arte/MediathekArte_de.java’

definierte URL in ‘URL_SUBCATEGORY’ hat sich geändert.

private static final String URL_SUBCATEGORY
= “https://www.arte.tv/guide/api/api/zones/%s/videos_subcategory_%s/?page=%s&limit=100”;

sollte jetzt

private static final String URL_SUBCATEGORY
= “https://www.arte.tv/guide/api/api/zones/%s/videos_subcategory/?id=%s&page=%s&limit=100”;

lauten.

Gruß
Walt

[Nicklas2751]

@walt Dankeschön:
https://github.com/mediathekview/MServer/issues/391

Erlaube mir bitte meine Neugier, woher ist dir diese Änderung bekannt? BTW kannst du wenn du direkt weißt wo sich der Code ändern muss auch gerne pull requests einstellen

Nicklas2751 created this issue in mediathekview/MServer

closed ARTE URLs anpassen #391

[Walt]

@Nicklas2751, hiermit kann man einfach prüfen, ob die benutzte URL noch aktuell ist:

Beispiel (alte URL): für Subcategory CMG
https://www.arte.tv/guide/api/api/zones/de/web/videos_subcategory_CMG/?page=1&limit=100

Beispiel (neue URL): für Subcategory CMG
https://www.arte.tv/guide/api/api/zones/de/videos_subcategory/?id=CMG&page=1&limit=100

Die jeweils neue URL ist durch Analyse der Webseite von ARTE zu finden.
https://www.arte.tv/de/

Gruß
Walt

[Walt]

Hallo @pidoubleyou,

hier wieder eine nötige Änderung, die den Crawler beim Sender ARTE betrifft.

ARTE hat seit dem 16.07.2019 wieder etwas an der API bei der Verarbeitung der Kategorien umgestellt.

Es wird eine URL benutzt, die sich geändert hat.

Die in der Datei ‘src/main/java/mServer/crawler/sender/arte/MediathekArte_de.java’

definierte URL in ‘URL_SUBCATEGORY’ hat sich geändert.

private static final String URL_SUBCATEGORY
= “https://www.arte.tv/guide/api/api/zones/%s/videos_subcategory/?id=%s&page=%s&limit=100”;

sollte jetzt

private static final String URL_SUBCATEGORY

= “https://www.arte.tv/guide/api/emac/v3/%s/web/data/MOST_RECENT_SUBCATEGORY/?subCategoryCode=%s&page=%s&limit=100”;

lauten.

Beispiel (neue URL): für Subcategory CMG

https://www.arte.tv/guide/api/emac/v3/de/web/data/MOST_RECENT_SUBCATEGORY/?subCategoryCode=CMG&page=1&limit=100

Gruß
Walt

[pidoubleyou]

@Walt Vielen Dank. Wie kommst du so schnell an diese Infos?

[Walt]

Hallo @pidoubleyou,

Vielen Dank auch an alex für die schnelle Einbindung.

Es war reiner Zufall. Eine “subcategory”-Datei lies sich nicht mehr herunterladen.

Dank der Firefox-Werkzeuge war die Ursache relativ schnell gefunden.

Walt