Remover linhas duplicadas

1. 01Cole a listaUm item por linha. Pode vir de uma planilha, de um e-mail ou de um export.
2. 02Ligue as opções que fizerem sentidoTirar os espaços das pontas e ignorar maiúsculas costumam ser os que mais revelam duplicata escondida.
3. 03Copie o resultadoOu substitua o texto original pelo resultado para continuar trabalhando em cima dele.

• Limpar uma lista de e-mailsLista montada de várias origens quase sempre tem o mesmo endereço repetido, às vezes com uma diferença de maiúscula.
• Juntar duas listas em umaCole uma embaixo da outra e remova as repetidas para ficar com a união das duas, sem item duplicado.
• Deduplicar um export de planilhaColuna copiada de uma planilha costuma trazer espaço invisível no fim de algumas linhas, que é o que esconde a duplicata.

• Duplicata simplesEm Olá / Mundo / Olá / Tooleem / Olá, sobram três linhas: Olá, Mundo e Tooleem. A primeira ocorrência de cada uma é mantida.
• Diferença só de maiúscula"Ana" e "ana" são linhas diferentes por padrão. Com a opção de ignorar maiúsculas ligada, a segunda é removida.
• Espaço invisível no fim"ana@exemplo.com" e "ana@exemplo.com " parecem iguais mas não são. Tirar os espaços das pontas antes de comparar resolve.

• A ordem original é preservadaSem ligar a ordenação, o resultado mantém a sequência em que os itens apareceram pela primeira vez.
• Ligue as duas opções de comparação primeiroTirar espaços e ignorar maiúsculas juntos costumam encontrar bem mais duplicata do que a comparação literal.

Cada linha vira uma chave de comparação, e as opções mudam essa chave: tirar os espaços das pontas remove o espaço invisível antes e depois do conteúdo, e ignorar maiúsculas compara tudo em caixa baixa. A primeira linha de cada chave é mantida com o texto exatamente como você escreveu, e as seguintes saem. É por isso que o resultado nunca altera o conteúdo de uma linha: as opções afetam só a comparação.

Quando a ordenação está ligada, a comparação usa a collation do português do Brasil. Na prática isso quer dizer que "açaí" cai entre "acabar" e "acordo", e não depois de todas as palavras sem acento, que é onde uma ordenação genérica o colocaria. Ç é tratado junto de c, e vogal acentuada fica debaixo da letra base. Para uma lista em português isso é a diferença entre um resultado legível e um resultado embaralhado.

A lista é processada no seu navegador. Nada é enviado para um servidor e nada fica salvo, o que importa quando a lista é de e-mails ou de dados de cliente.

Qual ocorrência é mantida?

A primeira. As repetições seguintes são removidas, e a ordem original das linhas é preservada quando a ordenação está desligada.

Por que duas linhas iguais não foram removidas?

Quase sempre é espaço invisível no fim de uma delas, ou diferença de maiúscula. Ligue as opções de tirar espaços e ignorar maiúsculas.

A ordenação entende acento e cedilha?

Entende. A ordenação usa o alfabeto do português do Brasil, então ç fica junto de c e palavra acentuada cai debaixo da letra base.

O conteúdo das linhas é alterado?

Não. As opções mudam só a comparação. A linha mantida sai exatamente como você escreveu.

A minha lista é enviada para algum lugar?

Não. Tudo acontece no seu navegador e nada fica salvo.