Ako nájsť a odstrániť duplicitné súbory v systéme Linux pomocou fdupes

Pri práci s veľkým množstvom médií a dokumentov je celkom bežné, že sa v počítači nahromadia viaceré kópie toho istého súboru. Nevyhnutne nasleduje neprehľadný úložný priestor plný nadbytočných súborov, čo vyvoláva pravidelné kontroly duplicitných súborov vo vašom systéme.

Na tento účel nájdete rôzne programy na identifikáciu a odstránenie duplicitných súborov. A fdupes je náhodou jedným z takýchto programov pre Linux. Takže pokračujte, keď diskutujeme o fdupes a prevedieme vás krokmi na nájdenie a odstránenie duplicitných súborov v systéme Linux.

Čo je fdupes?

Fdupes je program založený na CLI na vyhľadávanie a odstraňovanie duplicitných súborov v systéme Linux. Je vydaný pod licenciou MIT na GitHub .

Vo svojej najjednoduchšej forme program funguje tak, že spúšťa zadaný adresár cez md5sum na porovnanie podpisov MD5 jeho súborov. Potom na nich spustí porovnanie bajtov po bajtoch, aby sa identifikovali duplicitné súbory a zabezpečilo sa, že žiadne duplikáty nebudú vynechané.

Keď fdupes identifikuje duplicitné súbory, dáva vám možnosť buď ich odstrániť, alebo nahradiť pevnými odkazmi (odkazy na pôvodné súbory). Takže v závislosti od vašich požiadaviek môžete podľa toho pokračovať v operácii.

Ako nainštalovať fdupes na Linuxe?

Fdupes je k dispozícii na väčšine hlavných linuxových distribúcií, ako je Ubuntu, Arch, Fedora atď. Na základe distribúcie, ktorú používate na svojom počítači, zadajte príkazy uvedené nižšie.

Na systémoch založených na Ubuntu alebo Debiane:

sudo apt install fdupes

Ak chcete nainštalovať fdupes na Fedora/CentOS a ďalšie distribúcie založené na RHEL:

sudo dnf install fdupes

Na Arch Linux a Manjaro:

sudo pacman -S fdupes

Ako používať fdupes?

Po nainštalovaní programu do počítača postupujte podľa krokov nižšie na vyhľadanie a odstránenie duplicitných súborov.

Hľadanie duplicitných súborov pomocou fdupes

Najprv začnime hľadaním všetkých duplicitných súborov v adresári. Základná syntax pre toto je:

fdupes path/to/directory

Napríklad, ak chcete nájsť duplicitné súbory v adresári Documents , spustite:

fdupes ~/Documents

Výkon:

Ak fdupes nájde duplicitné súbory v zadanom adresári, vráti zoznam všetkých nadbytočných súborov zoskupených podľa množín a potom s nimi môžete podľa potreby vykonávať ďalšie operácie.

Ak sa však zadaný adresár skladá z podadresárov, vyššie uvedený príkaz v nich neidentifikuje duplikáty. V takýchto situáciách musíte vykonať rekurzívne vyhľadávanie, aby ste našli všetky duplicitné súbory nachádzajúce sa v podadresároch.

Ak chcete vykonať rekurzívne vyhľadávanie vo fdupes, použite príznak -r :

fdupes -r path/to/directory

Napríklad:

fdupes -r ~/Documents

Výkon:

Zatiaľ čo vyššie uvedené dva príkazy môžu ľahko nájsť duplicitné súbory v zadanom adresári (a jeho podadresároch), ich výstup obsahuje aj duplicitné súbory s nulovou dĺžkou (alebo prázdne).

Hoci táto funkcia môže byť stále užitočná, keď máte vo svojom systéme príliš veľa prázdnych duplicitných súborov, môže spôsobiť zmätok, keď chcete zistiť iba neprázdne duplikáty v adresári.

Našťastie vám fdupes umožňuje vylúčiť súbory s nulovou dĺžkou z výsledkov vyhľadávania pomocou voľby -n , ktorú môžete použiť vo svojich príkazoch.

Poznámka: Neprázdne duplicitné súbory môžete vylúčiť z normálneho aj rekurzívneho vyhľadávania.

Ak chcete na počítači vyhľadať iba neprázdne duplicitné súbory:

fdupes -n ~/Documents

Výkon:

Ak máte čo do činenia s viacerými sadami duplicitných súborov, je rozumné uložiť výsledky do textového súboru pre budúce použitie.

Ak to chcete urobiť, spustite:

fdupes path/to/directory > file_name.txt

...kde cesta/do/adresára je adresár, v ktorom chcete vykonať vyhľadávanie.

Ak chcete vyhľadať duplicitné súbory v adresári Dokumenty a potom odoslať výstup do súboru:

fdupes /home/Documents > output.txt

V neposlednom rade, ak chcete vidieť súhrn všetkých informácií súvisiacich s duplicitnými súbormi v adresári, môžete vo svojich príkazoch použiť príznak -m :

fdupes -m path/to/directory

Ak chcete získať informácie o duplicitnom súbore pre adresár Documents :

fdupes -m ~/Documents

Výkon:

Kedykoľvek počas používania fdupes, ak potrebujete pomoc s príkazom alebo funkciou, použite voľbu -h na získanie pomoci pre príkazový riadok :

fdupes -h

Odstránenie duplicitných súborov v systéme Linux pomocou fdupes

Po identifikácii duplicitných súborov v adresári môžete pokračovať v odstraňovaní/vymazávaní týchto súborov zo systému, aby ste odstránili neporiadok a uvoľnili úložný priestor.

Ak chcete odstrániť duplicitný súbor, zadajte príznak -d s príkazom a stlačte Enter :

fdupes -d path/to/directory

Ak chcete odstrániť duplicitné súbory v priečinku Stiahnuté súbory:

fdupes -d ~/Downloads

Fdupes vám teraz ponúkne zoznam všetkých duplicitných súborov v tomto adresári a dá vám možnosť zachovať tie, ktoré si chcete ponechať vo svojom počítači.

Napríklad, ak chcete zachovať prvý súbor v sade 1, zadáte 1 po výstupe vyhľadávania fdupes a stlačíte Enter .

Okrem toho, ak je to potrebné, môžete tiež uložiť viacero inštancií súborov do sady vrátených duplicitných súborov. Na to musíte zadať čísla zodpovedajúce duplicitným súborom do zoznamu oddeleného čiarkami a stlačiť Enter .

Napríklad, ak chcete uložiť súbory 1, 3 a 5, musíte zadať:

1,3,5

V prípade, že chcete zachovať prvú inštanciu súboru v každej sade duplicitných súborov a chcete ignorovať výzvu, môžete tak urobiť zahrnutím prepínača -N , ako je znázornené v nasledujúcom príkaze:

fdupes -d -N path/to/directory

Napríklad:

fdupes -d -N ~/Documents

Úspešné odstránenie duplicitných súborov v systéme Linux

Organizácia súborov je sama o sebe únavnou úlohou. Pridajte k tomu problémy, ktoré spôsobujú duplicitné súbory, a vidíte niekoľko hodín času a úsilia, ktoré ste premrhali organizovaním svojho neporiadneho úložiska.

Ale vďaka nástrojom ako fdupes je oveľa jednoduchšie a efektívnejšie identifikovať duplicitné súbory a odstrániť ich. A vyššie uvedená príručka by vám mala pomôcť s týmito operáciami na vašom počítači so systémom Linux.

Podobne ako duplicitné súbory, aj duplicitné slová a opakované riadky v súbore môžu byť frustrujúce a vyžadujú si odstránenie pokročilých nástrojov. Ak sa stretnete s takýmito problémami, môžete použiť uniq na odstránenie duplicitných riadkov z textového súboru.