Retirando linhas duplicadas

Nem sempre é possível utilizar o comando de sort pois  a atividade por se tornar muito demorada para isto segue algumas alternativas para retirada de linha em duplicidade.


Com utilização do sort:

$ sort  input | uniq > output

Sem Utilização do sort:

$ perl -ne '$i{"$_"}++ || print' < input > output 

O mesmo pode ser obtido via awk:

$ awk '!i[$0]++' < input > output 

Ou:

$ awk '!($0 in i) {i[$0] ; print}' < input > output