중복 줄 제거기

텍스트 목록에서 중복되는 동일한 줄(Line)들을 검색하여 한 행만 남기고 깔끔하게 정리하며, 정렬 조건 및 대소문자 구별 여부를 맞춤 제어합니다.

언제 사용하나요?

대량의 이메일 주소 목록 정제, 중복된 회원 아이디 리스트 제거, 중복 로그 라인 필터링, 키워드 광고 대상 단어 목록 정리 시 중복 데이터를 하나씩 찾아서 지워야 하는 번거로움을 1초 만에 일괄 자동화하고자 할 때 사용합니다.

사용 방법

중복이 포함된 다량의 줄바꿈 텍스트 리스트를 입력 영역에 붙여넣습니다.
대소문자 구분 여부, 빈 줄(Empty Line) 포함 여부 등의 제외 옵션을 설정합니다.
정제된 고유 줄 목록과 몇 개의 행이 중복되어 삭제되었는지 통계 리포트를 읽습니다.

입력값 안내

한 줄 단위로 하나의 개별 데이터 항목을 인식하므로 엔터(줄바꿈)가 데이터 분할 기준점이 됩니다.

계산·변환 기준

입력 텍스트를 줄바꿈 기준 /\r?\n/ 으로 분할하여 1차 문자열 배열을 생성합니다. 그 후 JavaScript의 고속 해시 맵 알고리즘인 Set 자료구조를 응용하여 유니크 값만 추출하며, 대소문자 무시 옵션이 활성화된 경우 소문자 기준 임시 키 맵을 빌드하여 교차 필터링을 완수합니다.

사용 예시

이메일 수신자 명단 추출 - 중복 발송을 차단하기 위해 엑셀이나 텍스트에서 취합된 메일 주소 리스트를 유니크하게 다듬습니다.
키워드 태그 정돈 - 쇼핑몰 상품 등록 시 해시태그 목록 중 겹치는 동일 단어들을 일괄 제거합니다.
개발 로그 파일 단순화 - 서버 장애 분석 시 수천 번 반복 찍힌 동일한 에러 로그 메세지를 줄여 가독 대장으로 편집합니다.

예시

사과\n배\n사과\n포도 → 중복 제거 → 사과\n배\n포도 (사과 1회 삭제)
Apple\napple\nBanana (대소문자 무시) → 중복 제거 → Apple\nBanana

주의사항

단어 사이에 공백 차이가 미세하게 있는 줄(예: '사과 ' vs '사과')은 컴퓨터가 서로 다른 줄로 판정하므로, 본 도구를 돌리기 전에 '공백 제거기'로 줄 앞뒤 여백을 1차 클리닝 후 가공하시는 것이 효과적입니다.

계산·사용 가이드

해시 셋(Set) 구조 기반 초고속 고유 행 필터링

수만 줄에 달하는 대용량 텍스트 리스트도 브라우저 리소스 다운 없이 순식간에 정제하기 위해, 검색 속도 복잡도가 우수한 해시 맵 구조의 중복 비교 알고리즘을 사용해 고유 행(Unique Line) 목록을 추출해 냅니다.

유령 공백 라인 및 대소문자 매칭 정교화

문자열 중간이나 끝에 들어간 미세한 스페이스 차이로 인해 중복 검사를 삐져나가는 오차를 막기 위해, 앞뒤 여백 청소(Trim) 처리 및 대소문자 구별 제외 설정을 켜서 데이터 정밀도를 유지합니다.

자주 묻는 질문

빈 줄(공백 라인)도 자동으로 지워지나요?

예. 옵션에서 '빈 줄 제거' 스위치를 활성화하시면 텍스트 중간에 들어간 무의미한 빈 엔터 라인들을 깨끗하게 일괄 무시합니다.

순서가 뒤죽박죽 섞이나요?

기본 정제 방식은 원본 목록에 나타난 최초의 데이터 순서(등장 순서)를 그대로 유지합니다. 필요 시 추가 옵션인 '가나다순/알파벳순 정렬'을 켜서 순서를 정돈할 수 있습니다.