어떤 상황에서 유용한가요?
여러 사람이 취합한 이메일 목록, 여러 번 복사해 붙인 키워드 목록, 엑셀에서 옮겨온 항목 리스트에는 똑같은 줄이 중복으로 섞여 있는 경우가 많습니다. 이 도구는 그런 목록을 붙여넣으면 중복된 줄을 자동으로 찾아 하나만 남기고, 필요하면 가나다순이나 숫자순으로 다시 정렬까지 해줍니다. 구체적으로는 이런 작업에 맞습니다.
- 뉴스레터 수신자나 이벤트 응모자 목록에서 같은 주소를 한 번만 남기기
- 검색 키워드·태그 후보를 여러 출처에서 모은 뒤 중복 정리하기
- 로그나 내보내기 데이터에서 고유 ID 목록만 뽑기
- 어떤 항목이 몇 번 반복됐는지 세어서 가장 많이 등장한 순으로 보기
- 두 목록을 이어 붙인 뒤 "양쪽에 모두 있는 항목"만 추려내기(중복된 줄만 추출)
중복 판정 기준은 무엇인가요?
기본적으로 줄의 앞뒤 공백을 제외한 내용이 완전히 같을 때만 중복으로 처리합니다. "대소문자 구분 안 함"을 켜면 "Apple"과 "apple"처럼 대소문자만 다른 영문도 같은 줄로 취급해 하나만 남깁니다. 중복이 여러 번 나오면 목록에서 가장 먼저 등장한 줄의 원문과 위치를 기준으로 남깁니다(정렬을 선택하지 않은 경우). 한글은 대소문자가 없으므로 이 옵션의 영향을 받지 않습니다. 아래 예시는 실제 처리 함수로 계산한 결과입니다.
예시 1. 공백과 빈 줄이 섞인 목록 (원본 7줄, 빈 줄 제거·중복 제거 켬)
입력: 사과 / 바나나 / 사과 / 포도 / / 바나나 / 사과 결과 (3줄): 사과 / 바나나 / 포도일곱 줄 중 앞뒤에 공백이 붙은 " 사과 "도 "사과"와 같은 줄로 판정되고, 빈 줄은 제거되어 세 줄이 남습니다. 제거된 줄은4개입니다. 이때 "제거된 줄 수"에는 중복뿐 아니라 빈 줄도 포함됩니다. 이 도구의 통계 칩은 원본 줄 수에서 결과 줄 수를 뺀 값이기 때문입니다.
예시 2. 대소문자 옵션의 차이 (원본 6줄)
입력: Apple / apple / APPLE / Banana / banana / Cherry옵션 끔 (6줄): Apple / apple / APPLE / Banana / banana / Cherry옵션 켬 (3줄): Apple / Banana / Cherry옵션을 켜면 처음 등장한 표기("Apple", "Banana")가 남습니다. 이메일 주소는 도메인 부분의 대소문자가 구분되지 않는 것이 일반적이므로 이메일 목록에서는 이 옵션을 켜는 편이 안전합니다. 반대로 대소문자가 의미를 갖는 ID, 파일 경로, 코드의 변수 이름은 옵션을 끄고 정확히 비교해야 합니다.
정렬 방식 이해하기
정렬 방식에 따라 같은 목록도 전혀 다른 순서가 됩니다. 특히 숫자가 섞인 목록에서 "사전식"과 "숫자 크기순"의 차이를 모르면 "10번"이 "2번"보다 앞에 오는 결과에 당황하게 됩니다. 아래 표는 7줄짜리 샘플(10번, 2번, 1번, 사과, -3번, 파일10, 파일2)을 각 방식으로 정렬한 결과입니다.
| 정렬 방식 | 결과 순서 |
|---|---|
| 가나다순(사전식) | -3번 → 10번 → 1번 → 2번 → 사과 → 파일10 → 파일2 |
| 자연 정렬(숫자 크기 반영) | -3번 → 1번 → 2번 → 10번 → 사과 → 파일2 → 파일10 |
| 숫자순(줄 앞의 숫자 기준) | -3번 → 1번 → 2번 → 10번 → 사과 → 파일10 → 파일2 |
| 숫자 내림차순 | 10번 → 2번 → 1번 → -3번 → 사과 → 파일10 → 파일2 |
- 가나다순(사전식): 글자를 앞에서부터 하나씩 비교합니다. 숫자도 글자로 보기 때문에 "10번"이 "2번"보다 앞에 옵니다. 한글은 자모 순서, 영문은 사전 순서를 따르며 이 계산은 브라우저의 한국어 로케일 규칙을 사용합니다.
- 자연 정렬: 글자 사이에 낀 숫자를 크기로 비교해 "파일2"가 "파일10"보다 앞에 오게 합니다. 파일 이름이나 회차 번호가 있는 목록에 적합합니다.
- 숫자순: 줄 맨 앞(공백 제외)의 숫자만 기준으로 삼습니다. 숫자로 시작하지 않는 줄은 오름차순, 내림차순 모두 맨 뒤에 모입니다. 음수와 소수도 인식합니다.
- 길이순: 줄의 글자 수 기준이며, 같은 길이의 줄은 원래 순서를 유지합니다(안정 정렬).
- 많이 나온 순: 같은 줄의 등장 횟수가 많은 순입니다. 횟수가 같으면 처음 등장한 순서를 유지합니다.
중복 횟수 세기와 중복만 추출하기
"중복을 지운다"와 "무엇이 몇 번 반복됐는지 안다"는 서로 다른 질문입니다. 출력 형식을 "중복 횟수를 앞에 표시"로 두면 각 줄 앞에 등장 횟수와 탭이 붙어 엑셀에 붙여넣을 때 두 열로 나뉩니다. 아래는 6줄의 이메일 목록으로 계산한 예입니다.
예시 3. 이메일 목록의 반복 분석 (원본 6줄)
입력: [email protected] / [email protected] / [email protected] / [email protected] / [email protected] / [email protected]횟수 표시 + 많이 나온 순: 3 : [email protected] / 2 : [email protected] / 1 : [email protected]중복된 줄만 추출: [email protected] / [email protected][email protected]은 3번, [email protected]은 2번, [email protected]은 1번 나왔으며 합계 6줄과 일치합니다. "중복된 줄만 추출"은 2번 이상 나온 항목을 한 번씩만 보여 줍니다. 두 목록(A와 B)을 이어 붙여 넣고, 각 목록 안에는 중복이 없다고 확인된 상태라면 이 결과가 곧 "A와 B에 모두 있는 항목"입니다. 단, 각 목록 안에 이미 중복이 있었다면 양쪽 모두에 있는 항목이 아니어도 추출될 수 있으므로 먼저 각각 중복을 제거한 뒤 합치세요.
흔한 실수와 주의할 점
- 보이지 않는 차이: 겉보기엔 같아도 전각/반각 공백, 줄 끝의 탭, 윈도우와 맥의 줄바꿈 차이, 복사 과정에서 섞인 특수 공백이 있으면 다른 줄로 판정됩니다. 앞뒤 공백은 자동으로 무시하지만, 줄 중간의 공백 개수 차이("홍길동"과 "홍 길동")는 다른 줄입니다. 먼저 텍스트 공백·줄바꿈 정리기를 거치면 해결됩니다.
- "각 줄 앞뒤 공백 제거"와 중복 판정은 별개: 중복 판정은 항상 앞뒤 공백을 무시합니다. 이 옵션은 결과 줄의 모양에 영향을 줍니다. 켜면 남는 줄의 앞뒤 공백이 지워지고, 끄면 처음 등장한 줄의 원문 그대로 남습니다.
- 정렬하면 원래 순서가 사라집니다: 중복 제거 후 정렬을 같이 쓰면 "가장 먼저 등장한 위치"라는 정보가 없어집니다. 순서가 중요한 목록이라면 정렬은 "원래 순서 유지"로 두세요.
- 한 줄에 여러 값이 있을 때: 이 도구는 줄 전체를 하나의 값으로 비교합니다. "홍길동, 서울"과 "홍길동, 부산"은 서로 다른 줄입니다. 특정 열(컬럼)만 기준으로 중복을 지우려면 그 열만 따로 분리해서 넣어야 합니다.
- 대용량 목록: 수십만 줄 이상은 브라우저가 느려질 수 있습니다. 그럴 때는 스프레드시트나 명령줄 도구가 더 안정적입니다.
결과를 어떻게 활용하나요?
정리한 목록의 개수는 곧 "고유 항목 수"입니다. 통계 칩의 "결과 줄 수"를 그대로 보고하면 되고, 뉴스레터 발송 인원이나 키워드 후보 수를 정확히 파악하는 근거가 됩니다. 글자 수나 단어 수가 필요하면 글자수 & 단어수 세기에 결과를 붙여넣으세요. 각 줄 앞뒤에 따옴표나 쉼표를 붙여 SQL의 IN 목록이나 배열로 만들 때는줄 머리말·꼬리말 붙이기가 적합합니다. 정리 전후에 정확히 무엇이 바뀌었는지 확인하려면 텍스트 비교 도구에 원본과 결과를 나란히 넣어 보세요. 번호 매기기 같은 다른 목록 편집 기능이 필요하다면 목록 정렬·중복 제거 도구도 있습니다.
이메일 주소 같은 개인정보 목록을 다룰 때에도 입력한 내용은 서버로 전송되지 않고 열려 있는 브라우저 안에서만 처리됩니다. 다만 공용 PC에서는 작업이 끝난 뒤 입력창을 비우고 탭을 닫는 것이 안전합니다.
자주 묻는 질문
숫자순 정렬에서 숫자가 아닌 줄은 어떻게 처리되나요?
줄 맨 앞부분에서 숫자를 찾을 수 없는 줄은 숫자로 시작하는 줄보다 뒤로 정렬됩니다. 예를 들어 "10번", "2번", "사과"가 섞여 있으면 2번 → 10번 → 사과 순으로 정렬됩니다. 숫자가 아닌 줄들끼리는 원래 순서를 유지합니다.
탭이나 쉼표로 구분된 표 데이터도 처리할 수 있나요?
이 도구는 줄바꿈(엔터) 단위로만 중복을 판정합니다. 한 줄 안에 탭이나 쉼표로 여러 항목이 들어있다면 그 줄 전체가 비교 대상이 되므로, 특정 열(컬럼)만 기준으로 중복을 제거하고 싶다면 별도로 열을 분리한 뒤 사용하는 것이 정확합니다.
"제거된 줄 수"에 빈 줄도 포함되나요?
네. 제거된 줄 수는 원본 줄 수에서 결과 줄 수를 뺀 값이므로 빈 줄 제거와 중복 제거로 줄어든 줄이 모두 합산됩니다. 중복만 세고 싶다면 "빈 줄 제거"를 끄고 실행하거나, 출력 형식을 "중복 횟수 표시"로 바꿔 항목별 횟수를 확인하세요.
중복 중 어떤 줄이 남나요?
같은 내용이 여러 번 나오면 가장 먼저 등장한 줄이 남습니다. 대소문자 구분 안 함을 켠 경우에도 처음 등장한 표기가 남습니다. 마지막에 등장한 줄을 남기고 싶다면 입력 순서를 뒤집어서 넣으세요.
"file2"가 "file10"보다 뒤에 정렬돼요.
가나다순(사전식)은 글자 단위로 비교하므로 "file1"로 시작하는 "file10"이 "file2"보다 앞에 옵니다. 정렬 방식을 "자연 정렬"로 바꾸면 숫자를 크기로 비교해 file2, file10 순으로 정렬됩니다.
두 목록에 공통으로 들어 있는 항목만 찾을 수 있나요?
두 목록을 위아래로 이어 붙여 넣고 출력 형식을 "중복된 줄만 추출"로 선택하면 됩니다. 각 목록 안에 이미 중복이 없다는 전제에서 결과가 공통 항목입니다. 각 목록의 중복은 먼저 제거하고 합치세요.