Ach ja … das kann uns bei anderen Funktionen in MV auch noch bluehen. Ich erinnere mich dunkel an die Zeit als die Grossrechner (die “Mainframes”) von 24-Bit-Technologie auf 31-Bit-Technologie umgestellt wurden. Natuerlich hatten die neuen Rechner auch entsprechend mehr Speicher und auch mehr Prozessorleistung. Und doch wurden die Systeme zusehends langsamer. Und dann kam irgendein schlauer Kopf und “erfand” den “Large Systems Effect.”
Die Erklaerung war eigentlich ganz einfach: Natuerlich wollte man mit den staerkeren Systemen auch mehr Daten verarbeiten (die Aufruestung kam sowieso schon sehr spaet, verglichen mit der Nachfrage.) Wer mit einem zehn mal schnelleren System zehn mal mehr Daten verarbeiten wollte, der hatte schnell ein Problem. Denn zehn mal so lange Listen zehn mal so oft zu durchsuchen, das dauerte eben nicht zehn mal so lange, sondern hundert mal so lange - immer schoen im Quadrat. Und der Rechner war eben nicht hundert mal so schnell, sondern nur zehn mal …
Alle Such- und Sortier-Algorithmen muessten untersucht werden, wie man sie beschleunigen kann (z.B. durch neu eingezogene hoehere Indizierungsebenen.)
Und da unsere Filelisten nunmehr gut 420000 Eintraege beinhalten, sind wir sicher jetzt auch in einem Bereich angekommen, wo sich der Effekt breitmacht. Ich selbst glaube, ihn taeglich zu sehen, wenn die neue Fileliste gleich nach dem Download mit der Blacklist und der History-Liste abgeglichen wird. Wenn ich das bedenke, erscheint mir der MV-Client vergleichsweise flott. Die Crawler und die Zwischenebene kenne ich nicht besonders gut, aber die zu durchforstenden Webseiten werden sicher auch nicht gerade weniger oder kleiner …
