Duplikate finden

Nativ auf der DXP soweit ich weiß nicht,

Aber vom PC aus

https://www.scootersoftware.com/ (Trial 1 Mon. Möglich)

WinMerge herunterladen - WinMerge

Freeware

Hätte auch noch ne Empfehlung: https://www.alldup.de/alldup_hilfe/alldup.php

Da würde ich die Finger weg lassen.

Deduplikation – Wikipedia

Ich kann es Dir leider nicht besser erklären, ich kenne die Duplizierung nur im Zusammenhang mit einem Backup um Das Backup klein zu halten. Vielleicht stimmt ja hier die Übersetzung nicht.

Werden die Dateien dann einzeln gelöscht oder auch Paarweise, ich bin Unterwegs und kann mir das nicht mal selbst auf der DXP anschauen.

Da hilft nur ausgiebig testen mit einem Test-Datenpool

Hat es jetzt schon jemand getestet?

Hallo, ich sehr gut aufpassen was gefiltert wird und gelöscht werden mehrere Sachen die auch nicht doppelt sind! Backup vorher nicht vergessen.

Moin,

wie geht das denn jetzt in der letzten Fotos App?
Ich habe das Modell installiert, die NAS als Inhalt angegeben.
Ist jetzt schon zwanzig Minuten dran….bisher nix…

Also,

ich habe das jetzt mit der Fotos App und dem KI Modell versucht….

Ok…. Geht dann irgendwann.

Aber irgendwie finde ich die App an sich für mich nicht zielführend, habe sie dann gestoppt und deinstalliert.

Hatte dann aber doch noch eine CPU Last um 20%.

Woher kam die? Da half nur TOP auf der Konsole weiter. Offenbar lief noch ein Prozess Thumb_Serve. Sehr nervig. Nach der Deaktivierung und Deinstallation lief der weiter. Der Indexdienst lief nicht aktiv.

Kurz bevor dem Kill hat er sich dann selbst beendet. Ein Grund mehr, das am PC zu machen oder was in Docker zu nutzen. Die App ist für mich raus.

This image is exclusive to our members!
Please log in or register for free to view graphics and attachments.

Also bei mir funktioniert es, wenn man "Genaue Übereinstimmung" auswählt. Wählt man dies nicht aus, wird wie deno78geschrieben hat, auch Daten gelöscht die überhaupt die nicht doppelt sind bzw. das System lässt es nicht automatisiert zu, die doppelten Dateien auszuwählen.

Ein Backup, bevor dieser Schritt ausgeführt wird, ist aber im Zweifel sicher sinnvoll.

Hi - Du kannst ein Shell Script nutzen, das mit find Dateien sucht und einen hash generiert und diese vergleicht also ein Shell-Skript, das direkt auf deinem NAS doppelte Dateien findet – basierend auf Datei-Hashes (MD5), was zuverlässig ist, auch wenn Dateinamen unterschiedlich sind. Es nutzt die Standard-Linux-Tools wie find, md5sum, sort und awk:

#!/bin/bash

# Verzeichnis zum Scannen, Standard: aktuelles Verzeichnis

search_dir="${1:-.}"

echo "Suche nach doppelten Dateien im Verzeichnis: $search_dir"

# Alle Dateien finden und MD5-Hash berechnen, dann nach Hash gruppieren

find "$search_dir" -type f -exec md5sum {} + | sort | \

awk '{

count[$1]++;

files[$1]=files[$1]? files[$1]"\n"$2 : $2

}

END {

for (hash in count)

if (count[hash] > 1) {

print "Duplikate mit Hash " hash ":"

print files[hash]

print ""

}

}'

So benutzt du das Skript:

1. Speichere das Skript z.B. als find_duplicates.sh auf deinem NAS.

2. Mach es ausführbar: chmod +x find_duplicates.sh

3. Führe es aus und gib optional einen Pfad an, z.B.:

./find_duplicates.sh /pfad/zum/scannen

Ohne Parameter scannt es das aktuelle Verzeichnis.

Was das Skript macht:

• Es sucht alle Dateien rekursiv im angegebenen Verzeichnis.

• Für jede Datei wird ein MD5-Hash berechnet.

• Dateien mit identischem Hash werden als Duplikate ausgegeben.

Dieses Vorgehen erfordert keine zusätzlichen Tools und läuft direkt auf deinem NAS. Für große Datenmengen kann es natürlich eine sehr lange Weile dauern weil die hash Erzeugung Rechenzeit beansprucht.

nebelwaende.de
Bitte Code auch als solchen formatieren, danke.

This image is exclusive to our members!
Please log in or register for free to view graphics and attachments.
VG Willi

Quote from nebelwaende.de

Hi - Du kannst ein Shell Script nutzen, das mit find Dateien sucht und einen hash generiert und diese vergleicht also ein Shell-Skript, das direkt auf deinem NAS doppelte Dateien findet – basierend auf Datei-Hashes (MD5), was zuverlässig ist, auch wenn Dateinamen unterschiedlich sind. Es nutzt die Standard-Linux-Tools wie find, md5sum, sort und awk:

Code

#!/bin/bash
# Verzeichnis zum Scannen, Standard: aktuelles Verzeichnis
search_dir="${1:-.}"
echo "Suche nach doppelten Dateien im Verzeichnis: $search_dir"

# Alle Dateien finden und MD5-Hash berechnen, dann nach Hash gruppieren
find "$search_dir" -type f -exec md5sum {} + | sort | \

awk '{

count[$1]++;

files[$1]=files[$1]? files[$1]"\n"$2 : $2

}

END {

for (hash in count)

if (count[hash] > 1) {

print "Duplikate mit Hash " hash ":"

print files[hash]

print ""

}

}'

Display More

So benutzt du das Skript:

1. Speichere das Skript z.B. als find_duplicates.sh auf deinem NAS.

2. Mach es ausführbar: chmod +x find_duplicates.sh

3. Führe es aus und gib optional einen Pfad an, z.B.:

./find_duplicates.sh /pfad/zum/scannen

Ohne Parameter scannt es das aktuelle Verzeichnis.

Was das Skript macht:

• Es sucht alle Dateien rekursiv im angegebenen Verzeichnis.

• Für jede Datei wird ein MD5-Hash berechnet.

• Dateien mit identischem Hash werden als Duplikate ausgegeben.

Dieses Vorgehen erfordert keine zusätzlichen Tools und läuft direkt auf deinem NAS. Für große Datenmengen kann es natürlich eine sehr lange Weile dauern weil die hash Erzeugung Rechenzeit beansprucht.

Display More