"Klein"Krieg mit Dateien unterhalb der Wahrnehmungsgrenze, kopieren/verschieben unerträglich langsam

Meiner Erfahrung aus der Praxis, sehr viele kleine Dateien brauchen immer lange bei der Übertragung, die maximal mögliche Geschwindigkeit wird hier nie ausgenutzt. Wenn ich also viele kleine Dateien übertragen möchte, packe (zip, rar, whatever) ich sie in eine große Datei, diese geht dann mit den maximal möglichen (Hardwarebedingten) 2,5 Gbit auf das NAS und dort lasse ich entpacken.

Ergänzung:

Hier eine schlüssige Erklärung dazu: https://www.reddit.com/r/unRAID/comme…lly_slow/?tl=de

Danke, demnach scheint es am verwendeten SMB-Protokoll zu liegen. Ich hatte es gestern mal per NFS probiert, aber darüber wollte mir spontan keine Verbindung zur DXP gelingen (nutze Mac). Werde das aber nochmal austesten, ob es damit besser gelingt.

Hey Kollege

Das stimmt Protogonos es ist ziemlich übel ich hatte es auch so wie du dann habe ich es dann angehalten und mit einem Ftp tool gemacht ( FileZilla) ging deutlich schneller.

Im wahren Leben wünscht man sich dass es länger dauert aber bei den Sachen nicht

Wenn hier SMB genutzt wurde, frage ich mich warum? Ist meiner Meinung nach immer die schlechteste Möglichkeit (ausgenommen man nutzt Windows).

Ist aber nur meine Meinung dazu.

Ich kann hier nur für mich sprechen: weil ich SMB schon genutzt habe, da wusste ich noch nicht mal dass es so heißt. War für mich halt eine „Netzwerkfreigabe“. Und FTP war für mich immer etwas zur Übertragung von/auf Server im Internet.

Mit den Unterschieden der verschiedenen Protokolle hab ich mich nie näher beschäftigt. Es lief ja immer - und gut war‘s. Dass SMB in diesem Punkt im Nachteil sein könnte, wäre mir auch nie in den Sinn gekommen. Ich kann mich auch nicht erinnern, dass ich schon mal derart viele kleine Dateien kopieren musste, außer eben kürzlich bewusst für einen Test, nachdem Protogonos unglaublich niedrige Übertragungsraten von wenigen kB/s festgestellt hatte. Was mich doch erstaunte.

Aber zurück zur Frage: was wäre denn (nicht unter Windows. In meinem Fall macOS) besser geeignet? Ich hab heute auch mal etwas rum probiert:

• NFS: erfordert erstmal umständliche zusätzliche Berechtigungsregeln, damit es überhaupt funktioniert und liefert dann immerhin 3-Stellige Übertragungsraten, allerdings immer noch im Kilobyte-Bereich.
• FTP: kann der Finder im Mac nur lesend nutzen und erfordert daher zusätzliche Apps wie Filezilla. Damit schien es schneller zu gehen, aber konnte nirgends die aktuelle Übertragungsgeschwindigkeit sehen. Kann daher auch ein subjektiv falscher Eindruck gewesen sein. Aber das größte Problem ist, dass es eben zusätzliche Software erfordert, nur für diesen Fall. Alles andere macht man ja weiterhin mit dem Finder (oder dem Filebrowser seiner Wahl) - also mindestens umständlich.
• rsync: damit würde es garantiert schnell gehen, aber Begründung siehe vorheriger Punkt. Zumal man hier dann auch in die Konsole abtauchen müsste oder sich mit einer der wenigen verfügbaren GUIs anfreunden müsste. Ich denke dabei nicht nur an mich: wenn ich meiner Frau erklären müsste, in welchem Fall welches Tool wie zu benutzen ist, damit es nicht ewig dauert …

Also zumindest unter macOS mit attestierter Konsolen-Phobie scheinen mir die praktikablen Möglichkeiten arg begrenzt zu sein, daran was verändern zu können. Aber nochmal: mich betrifft es eigentlich nicht. Ich war lediglich überrascht, dass es so extrem langsam ist. Und für den Fall, dass ich doch mal in die Situation komme, weiß ich jetzt zumindest, woran es liegt. Einen Vorschlag, wie es ohne SMB besser ginge, würde ich dennoch gern mitnehmen … Stand jetzt würde ich wohl in so einem Fall die Daten vorher zippen, rüberschieben und wieder entpacken, wie von Takeiteasy vorgeschlagen. Scheint mir zur gelegentlichen Anwendung praktikabel.

Zugriff auf viele einzelne Dateien dauert auf Festplatten immer ewig, weil das sehr viele einzelne Operationen sind, völlig egal, ob du das lokal oder über irgendein Netzwerkprotokoll machst. Das ist der eigentliche Unterschied zwischen normalen Festplatten und SSDs. In der Datenübertragung sind die SSDs Faktor 2 oder 5 oder vielleicht 10 schneller, aber bei den IOPS (Input/Output Operations Per Second) ist es Faktor 1000. Die Geschwindigkeit wie bei großen Dateien erreichst du aber trotzdem nicht

Quote from Valen

Festplatten

Ja das ist klar, aber wir haben hier gar keine Festplatten mehr. Die 480T ist ein All-Flash-NAS und die eingesetzten Rechner haben auch nur noch SSDs . Und dass es langsamer wäre war ja zu erwarten. Aber wir reden hier von 13 kB/s vs. 300 MB/s … das ist 23.000 mal weniger.

Für jede Datei sind mehrere Aktionen nötig, um diese von A nach B zu kopieren.

Spontan fällt mir ein ...
- HDD aufsuchen
- Directory aufsuchen
- Datei aufsuchen
- Datei in den Speicher holen
- Datei am Ziel schreiben

Auch am Ziel sind so Dinge wie Speicherort (siehe oberhalb) notwendig.

Bei einer grossen Datei fallen diese 'Minizugriffe' nicht ins Gewicht.

Aber bei einer kleinen Datei ist das prozentual gesehen schon bedeutender. Und nun machst Du das halt nicht nur bei einer Datei, sondern bei sehr vielen Dateien 🤪

Ist halt wie bei Dachziegel schleppen. Nimm viele Dachziegel (grosse Datei) auf einmal und Du sparst Dir viele Rennerei. Nimm jede Dachziegel einzeln und Du brauchst gefühlt 'nen halben Tag. 🙄