"Klein"Krieg mit Dateien unterhalb der Wahrnehmungsgrenze, kopieren/verschieben unerträglich langsam

  • Hallo Mitstreiter, Ich muss euch da was erzählen und zwar geht es hier um den Kopiervorgang unendlich vieler kleiner Dateien genau gesagt reden wir hier von Circa 20 GB mit schätzungsweise 20.000 kleinen Dateien von der Größe 4 kb bis 10 MB das ganze hat mich ungefähr 45 Minuten meiner kostbaren Lebenszeit geraubt, zur Erinnerung: ein Time Machine Back-up geht bei mir mit 1,15 GB in unter 4 Sekunden... Meine Frage:

    Liegt das an der Fragmentierung der Dateien? Es ist mir klar dass kleine Dateien immer ein wenig länger brauchen aber ein wenig länger ist hier mehr als 44 mal so lang es eigentlich benötigen sollte theoretisch.

    die Kopiergeschwindigkeit liegt dabei von wenigen Kilobit also von 18 kb ja hab mich nicht verschrieben :) bis 17 MB, höhere Durchsatzraten konnte ich nicht erreichen. also wer viele kleine Dateien kopieren möchte der sollte genügend Zeit mitbringen.

    an meiner Infrastruktur liegt das nicht, denn von der gleichen externen Festplatte T7 ein MKV File halt mit höherer Geschwindigkeit übertragen wird 160 MB/s (ja sollte über 300 MB/s aber das hat andere Gründe)

    Jemand ne Idee ? :saint:

    übrigens Mitsstreiter Kanecaine hat die selben Probleme mit den kleinen Dateien auch auf seiner Büchse

    DXP480T Plus, 2x32 GB Crucial DDR5 5600MHz, 4x4 Lexar® NM790 M.2 2280 PCIe Gen 4x4 TB NVMe

  • Meiner Erfahrung aus der Praxis, sehr viele kleine Dateien brauchen immer lange bei der Übertragung, die maximal mögliche Geschwindigkeit wird hier nie ausgenutzt. Wenn ich also viele kleine Dateien übertragen möchte, packe (zip, rar, whatever) ich sie in eine große Datei, diese geht dann mit den maximal möglichen (Hardwarebedingten) 2,5 Gbit auf das NAS und dort lasse ich entpacken.


    Ergänzung:

    Hier eine schlüssige Erklärung dazu: https://www.reddit.com/r/unRAID/comme…lly_slow/?tl=de

    zwischen zu früh und zu spät liegt stets der Augenblick

    -----------------------------------------

    NAS: DXP 2800 | 8Gb RAM (Docker: Paperless NGX, Vaultwarden, Jdownloader, Grafana)
    NAS: 424 MAX | 64GB RAM | 2x1TB Lexar Raid1 | 2 x 4 TB + 2x 6TB Seagate IronWolf im Raid 1 (Aktuell im (Um)Lernmodus)

    Netzwerk: Ubiquiti Cloud Gateway Fibre, AC pro HD, U6 Enterprise, USW Pro Max 16

    Hardware: StandPC, Laptops, iPads, iPhones; Intel NUC, Firestick,

  • Danke, demnach scheint es am verwendeten SMB-Protokoll zu liegen. Ich hatte es gestern mal per NFS probiert, aber darüber wollte mir spontan keine Verbindung zur DXP gelingen (nutze Mac). Werde das aber nochmal austesten, ob es damit besser gelingt.

    -------
    DXP480T Plus, 2x32 GB Crucial DDR5 4800MHz, 4x4 TB Samsung 990 PRO NVMe,CyberPower USV OR650ERM1U mit RMCARD400

  • Hey Kollege

    Das stimmt Protogonos es ist ziemlich übel ich hatte es auch so wie du dann habe ich es dann angehalten und mit einem Ftp tool gemacht ( FileZilla) ging deutlich schneller. ;)

    Im wahren Leben wünscht man sich dass es länger dauert aber bei den Sachen nicht ^^

    LG Deno78

    Hardware:

    DXP-4800+/ 4X WD RED 4TB/ Plus 2X Samsung 990 Pro 1Tb/64GB Corsair Vengeance 4800 MHz 2x 32 GB

  • Wenn hier SMB genutzt wurde, frage ich mich warum? Ist meiner Meinung nach immer die schlechteste Möglichkeit (ausgenommen man nutzt Windows).


    Ist aber nur meine Meinung dazu.

    Geräteinformationen

    QNAP TS-670 Pro; QNAP TS-673A; DXP-4800+; DXP-4800 GT

    DS920+ wurde entsorgt ;)

  • Ich kann hier nur für mich sprechen: weil ich SMB schon genutzt habe, da wusste ich noch nicht mal dass es so heißt. War für mich halt eine „Netzwerkfreigabe“. Und FTP war für mich immer etwas zur Übertragung von/auf Server im Internet.

    Mit den Unterschieden der verschiedenen Protokolle hab ich mich nie näher beschäftigt. Es lief ja immer - und gut war‘s. Dass SMB in diesem Punkt im Nachteil sein könnte, wäre mir auch nie in den Sinn gekommen. Ich kann mich auch nicht erinnern, dass ich schon mal derart viele kleine Dateien kopieren musste, außer eben kürzlich bewusst für einen Test, nachdem Protogonos unglaublich niedrige Übertragungsraten von wenigen kB/s festgestellt hatte. Was mich doch erstaunte.

    Aber zurück zur Frage: was wäre denn (nicht unter Windows. In meinem Fall macOS) besser geeignet? Ich hab heute auch mal etwas rum probiert:

    • NFS: erfordert erstmal umständliche zusätzliche Berechtigungsregeln, damit es überhaupt funktioniert und liefert dann immerhin 3-Stellige Übertragungsraten, allerdings immer noch im Kilobyte-Bereich.
    • FTP: kann der Finder im Mac nur lesend nutzen und erfordert daher zusätzliche Apps wie Filezilla. Damit schien es schneller zu gehen, aber konnte nirgends die aktuelle Übertragungsgeschwindigkeit sehen. Kann daher auch ein subjektiv falscher Eindruck gewesen sein. Aber das größte Problem ist, dass es eben zusätzliche Software erfordert, nur für diesen Fall. Alles andere macht man ja weiterhin mit dem Finder (oder dem Filebrowser seiner Wahl) - also mindestens umständlich.
    • rsync: damit würde es garantiert schnell gehen, aber Begründung siehe vorheriger Punkt. Zumal man hier dann auch in die Konsole abtauchen müsste oder sich mit einer der wenigen verfügbaren GUIs anfreunden müsste. Ich denke dabei nicht nur an mich: wenn ich meiner Frau erklären müsste, in welchem Fall welches Tool wie zu benutzen ist, damit es nicht ewig dauert … =O

    Also zumindest unter macOS mit attestierter Konsolen-Phobie scheinen mir die praktikablen Möglichkeiten arg begrenzt zu sein, daran was verändern zu können. Aber nochmal: mich betrifft es eigentlich nicht. Ich war lediglich überrascht, dass es so extrem langsam ist. Und für den Fall, dass ich doch mal in die Situation komme, weiß ich jetzt zumindest, woran es liegt. Einen Vorschlag, wie es ohne SMB besser ginge, würde ich dennoch gern mitnehmen :) … Stand jetzt würde ich wohl in so einem Fall die Daten vorher zippen, rüberschieben und wieder entpacken, wie von Takeiteasy vorgeschlagen. Scheint mir zur gelegentlichen Anwendung praktikabel.

    -------
    DXP480T Plus, 2x32 GB Crucial DDR5 4800MHz, 4x4 TB Samsung 990 PRO NVMe,CyberPower USV OR650ERM1U mit RMCARD400

  • Wenn hier SMB genutzt wurde

    Die Ugreen eigene Mac App wurde hier verwendet, ich hab aber noch FileBrowser Pro, ich werde den Test weiter fortführen wenn wieder etwas Zeit ist, ich werde weiter euch auf dem Laufenden halten.

    Komischerweise geht ja vom selben Gerät das Time Machine Back-up mit Höchstgeschwindigkeit….

    DXP480T Plus, 2x32 GB Crucial DDR5 5600MHz, 4x4 Lexar® NM790 M.2 2280 PCIe Gen 4x4 TB NVMe

  • Zugriff auf viele einzelne Dateien dauert auf Festplatten immer ewig, weil das sehr viele einzelne Operationen sind, völlig egal, ob du das lokal oder über irgendein Netzwerkprotokoll machst. Das ist der eigentliche Unterschied zwischen normalen Festplatten und SSDs. In der Datenübertragung sind die SSDs Faktor 2 oder 5 oder vielleicht 10 schneller, aber bei den IOPS (Input/Output Operations Per Second) ist es Faktor 1000. Die Geschwindigkeit wie bei großen Dateien erreichst du aber trotzdem nicht 8)

  • Festplatten

    Ja das ist klar, aber wir haben hier gar keine Festplatten mehr. Die 480T ist ein All-Flash-NAS und die eingesetzten Rechner haben auch nur noch SSDs ;). Und dass es langsamer wäre war ja zu erwarten. Aber wir reden hier von 13 kB/s vs. 300 MB/s … das ist 23.000 mal weniger.

    -------
    DXP480T Plus, 2x32 GB Crucial DDR5 4800MHz, 4x4 TB Samsung 990 PRO NVMe,CyberPower USV OR650ERM1U mit RMCARD400

  • Für jede Datei sind mehrere Aktionen nötig, um diese von A nach B zu kopieren.

    Spontan fällt mir ein ...
    - HDD aufsuchen
    - Directory aufsuchen
    - Datei aufsuchen
    - Datei in den Speicher holen
    - Datei am Ziel schreiben

    Auch am Ziel sind so Dinge wie Speicherort (siehe oberhalb) notwendig.

    Bei einer grossen Datei fallen diese 'Minizugriffe' nicht ins Gewicht.

    Aber bei einer kleinen Datei ist das prozentual gesehen schon bedeutender. Und nun machst Du das halt nicht nur bei einer Datei, sondern bei sehr vielen Dateien 🤪

    Ist halt wie bei Dachziegel schleppen. Nimm viele Dachziegel (grosse Datei) auf einmal und Du sparst Dir viele Rennerei. Nimm jede Dachziegel einzeln und Du brauchst gefühlt 'nen halben Tag. 🙄

    :)

  • Danke für die ergänzende Erklärung, so hatte ich das in dem weiter oben geposteten Link auch verstanden. Insofern sind die Übertragungsraten auch logisch: eine Datei mit 13 kB wird in <1 Sekunde geschrieben, dann geguckt ob sie da ist und dann die nächste genommen. Die UI, welche die aktuelle Übertragungsrate anzeigt, aktualisiert sich vielleicht alle 2 Sekunden. Klar dass da dann 13 kB/s stehen, bei rein sequentieller Abarbeitung.

    -------
    DXP480T Plus, 2x32 GB Crucial DDR5 4800MHz, 4x4 TB Samsung 990 PRO NVMe,CyberPower USV OR650ERM1U mit RMCARD400

  • Die Ugreen eigene Mac App wurde hier verwendet, ich hab aber noch FileBrowser Pro, ich werde den Test weiter fortführen wenn wieder etwas Zeit ist, ich werde weiter euch auf dem Laufenden halten.

    Hallo Jungs Mal eine kurze Rückmeldung also ich hab's jetzt mal mit SFTP probiert, nein und nochmals nein das ist ja noch langsamer 60mb/s mit MKV Containern.... Nein da fange ich gar nicht erst an die große Datei mit den vielen kleinen Dateien zu testen... Ugreen eigene App 160mb/s ist da flotter. bleibe dran


    Neu vom 27 Juni

    Hallo Jungs ich hab ja gesagt ich bleibe dran, ich hab ein .ova (278GB) meiner VM verschoben USBC --> SamsungT7

    This image is exclusive to our members!
    Please log in or register for free to view graphics and attachments.

    klappt gut Max Rate der T7 sind 1000mb/s :love: bricht aber hinterher im letzten viertel auf 600 MB die Sekunde ein... Aber da schaue ich nicht so genau hin

    DXP480T Plus, 2x32 GB Crucial DDR5 5600MHz, 4x4 Lexar® NM790 M.2 2280 PCIe Gen 4x4 TB NVMe

    Edited 2 times, last by Protogonos: Ein Beitrag von Protogonos mit diesem Beitrag zusammengefügt. (June 27, 2025 at 8:06 PM).

  • Circa 20 GB mit schätzungsweise 20.000 kleinen Dateien von der Größe 4 kb bis 10 MB das ganze hat mich ungefähr 45 Minuten meiner kostbaren Lebenszeit geraubt

    Erinnern wir uns noch an diese Aussage von mir vor ein paar Wochen. Ich möchte jetzt hinzufügen, nach dem Update hat Ugreen es geschafft, die Geschwindigkeit für kleine Dateien zu erhöhen. Ich würde sagen, der neue Faktor heißt jetzt, wir sind doppelt so schnell, ein Dank geht raus an die unermüdliche Arbeit des Ugreen Teams. Jedenfalls benötige ich für die gleiche Datei nur noch die Hälfte der Zeit plötzlich, alles ist identisch, nichts hat sich geändert. Nur das Update kam dazwischen.

    DXP480T Plus, 2x32 GB Crucial DDR5 5600MHz, 4x4 Lexar® NM790 M.2 2280 PCIe Gen 4x4 TB NVMe

  • Kommando zurück, jetzt kriege ich aber langsam die Krise. Ich muss 1,5 Terabyte verschieben. Und nein, das funktioniert nicht. Das startet mit 800 MB/s, fällt dann runter auf 30 bis 46 Megabyte die Sekunde. Völlig egal, ob ich neu starte, die Platten tausche oder sonst irgendwas. Es funktioniert nix heute Boah Ja, ich bin angefressen. Keine Ahnung, was das jetzt wieder sein soll. Ich warte doch jetzt nicht hier tagelang!

    Hier man vielleicht eine Idee, die ich übersehe? Es ist intern, also von der NAS durch den Thunderbolt auf die T7. Ja, die Kabel sind gleich, ich tausche doch nur die Platten durch. Es hat sich überhaupt nichts geändert. Auf einmal habe ich einfach kein Speed mehr. Absolute Katastrophe.

    Mir ist das irgendwie schon aufgefallen beim Formatieren. Ich habe eine neue T7 heute einfach mal schnell gekauft, 2 TB und wollte für bestimmte Dinge sichern. Also ich brauche 1,5 TB Platz. Und beim Formatieren ist mir schon aufgefallen, dass das Formatieren schon vielleicht 14 bis 30 Sekunden gedauert hat. Das ist auch absolut ungewöhnlich.

    Ich habe einfach überhaupt kein Speed mehr, was ist das? Ich dachte, das ist ein Flash-NAS. Und ja, ich bin jetzt aber wirklich mal zu Recht sauer. Weil genau heute kann ich das überhaupt nicht gebrauchen. Ich kann natürlich jetzt die Sicherung nicht machen.

    Ich brauche unbedingt die 800 Megabyte die Sekunde wieder, ich werde jetzt mal ein Ticket aufmachen.

    --------------------------------------------------------------------------------------------------------------------------------------------

    Ja, das muss man echt bei den Jungs loben. Also die Geschwindigkeit ist auf jeden Fall schneller als die von meinem NAS aktuell. Die haben sich schon gemeldet +-15 Minuten, wollten natürlich den kompletten Diagnoseauszug, also bin ich jetzt faktisch nackt und ich hoffe nicht, dass die erstmal die Erwachsenenfilme schauen. Okay, also und die wollten ein Foto von meinen vier 2 Terabyte T7 SSDs. Keine Ahnung warum, habe ich trotzdem mal geschickt.

    Die ganze Zeit arbeitet die Büchse einfach perfekt. Und genau dann, wenn du es wirklich mal benötigst oder brauchst, lässt sie dich im Stich. zwischen 9 -12 Stunden würde mich das jetzt kosten anstatt 31 - 35 Minuten, wenn ich das jetzt mit diesem Speed weitermachen würde. Das ist inakzeptabel.


    Neee Leute, abwimmeln lasse ich mich nicht. Die haben gesagt, das kann an den Platten liegen, wenn der Controller voll ist, dass es diese Probleme hat. Ja, das weiß ich, aber es funktioniert am Mac sofort. Also haben im Moment diese Platten nicht diese Probleme. Die Probleme tauchen nur am NAS auf. Selbst das Formatieren einer Platte dauert zwischen 14 und 18 Sekunden. Das ist inakzeptabel. Das geht am Mac innerhalb von einer Sekunde. Irgendwas verzögert auf der Nas. Ich glaube, die wollen mich hinhalten bis zu dem Update.


    So, neues Update, 16.29 Uhr. Also, ich habe jetzt ein paar Tests gemacht. Durchgeschliffen durch eine VM, nicht durchgeschliffen, normal, neu gestartet, ausprobiert, nicht neu gestartet, ausprobiert, andere Platte drangehangen, wieder versucht zu kopieren, immer gleich große Dateien. Mein rechter Port ist völlig okay, aber so wie es aussieht, könnte eventuell ein Hardware-Defekt hier vorliegen. Kann ich mir aber echt unschwer vorstellen. Ich kenne niemanden, der einen defekten Thunderbolt-Port hat. Egal was ich mache, der rechte hat volle Leistung, um die 800 Megabyte die Sekunde und der linke 41 Megabyte die Sekunde.

    DXP480T Plus, 2x32 GB Crucial DDR5 5600MHz, 4x4 Lexar® NM790 M.2 2280 PCIe Gen 4x4 TB NVMe

    Edited 7 times, last by Protogonos (August 12, 2025 at 4:31 PM).

  • Dauert ein tar File machen zu lange? Das wäre jetzt meine Idee gewesen. Die Idee kann auch doof sein. ;) Und dann auf der NAS "enttaren". Ich hab das aber mit sovielen kleinen Dateien noch nie gemacht, weiß daher nicht wie lange das dauert.

    Könnte natürlich auch ein Plattenplatz Problem werden, denn man braucht den doppelten Platz von allen Dateien, die man in das tar Archiv bringt.

    NAS: mehrere DXP-4800+ mit Raid 5, 4 Toshiba 22 TB (Btrfs) und Raid 1, 2 Samsung 990 Pro 4 TB (Btrfs), 64 GB RAM

    Clients/Server: Linux Mint 22.3, MX-Linux, Debian Trixie.

  • Die Idee kann auch doof sein.

    Ähm ja ;) Ich habe ein Speed-Problem. Auf einem Port.


    Update 16:41

    Quote

    Hello,
    Thank you for your feedback. It appears there may be a hardware issue with your left USB-C port. We will consult with our hardware team to see if we need to send your device back to our service center for inspection.
    Thank you for your understanding and support.

    DXP480T Plus, 2x32 GB Crucial DDR5 5600MHz, 4x4 Lexar® NM790 M.2 2280 PCIe Gen 4x4 TB NVMe

  • Wenn die so schnell Reparieren wie der Support Arbeitet/Antwortet, dann ist das mit Sicherheit auch wieder schnell zurück.

    Meine Hardware

    iDX6011 Pro 64GB RAM, 3x12 TB SG Enterpr. Raid1, 1x Basic, 2x 2TB NVME Lexar NM790 Raid1,

    DXP4800+, 64GB RAM Kingston, 2x8TB WD RedPl. NVME 2x512GB Samsg 970EvoPlus

    DXP2800 1x12TB WDRedPl, 16GB RAM Crucial, NVME 2x 256GB Samsg. Raid1,

    DS1525+, 2x8TB WD, SHR, 1x12 TB SG IronWolf, 1x 3TB WD RedPlus, 2x 2TB NVME Lexar NM790 Raid1, 40GB ECC RAM

    DS218+ btrfs 1x12TB WD, 1x SSD 500GB, RAM 10GB

    USV US3000, EatonEllip.PRO 850DIN, Zyxel XMG-108 8 x 2,5GB, Zyxel GS1200-8 x 1GB,

  • Wenn die so schnell Reparieren

    Ich gehe mal ganz stark davon aus, hier wird nichts repariert. Davon war auch nie die Rede von so gesehen. Die werden mir eine zuschicken und überlegen dann, ob ich die andere defekte zurückschicken soll. Aber das müssen die erst mit der Hardware-Abteilung besprechen, ob die das zu Analysezwecken benötigen. Und ich muss wirklich sagen, genau dieser Port, da habe ich aber bestimmt jede Menge Terabyte drüber gejagt. Der andere war durchgeschliffen für die virtuelle Maschine, der war in der NAS selbst nicht sichtbar. Da habe ich kleine Dateien drauf gesichert, der hatte immer vollen Speed. Aber der Linke für die großen Brocken hat plötzlich einfach keinen Bock mehr.


    Ach ja, und wie ihr auf meinen Fotos erkennen könnt, stecken die Zöpfe immer drin. Also beide Thunderbolt sind vollkommen belegt. Immer, die ziehe ich nie ab.

    DXP480T Plus, 2x32 GB Crucial DDR5 5600MHz, 4x4 Lexar® NM790 M.2 2280 PCIe Gen 4x4 TB NVMe

  • Moin,

    also wenn sie Dir ein Neues zuschicken, dürfte das Problem vermutlich erledigt sein.

    Gern retour zu denen, oder?

    Vielleicht hat der Port selbst durchs Umstecken einen weg, oder es ist Staub drin.

    Ich würde mal vorsichtig mit einem Druckluftspray durchpusten. Kenn man ja von den neuen IPhones aus der Hosentasche, jedenfalls ich.

    LG MGS

Participate now!

Join our community with over 10,000 members!

Register yourself now for free to get full access to all content, graphics, downloads and other exclusive features!