텍스트 파일에서 중복 된 줄을 제거하는 7 가지 방법

일반 텍스트 파일은 유형이 지정된 데이터를 컴퓨터에 저장하는 가장 일반적인 방법 중 하나입니다. 텍스트 파일을 만드는 것은 매우 간단 할뿐만 아니라 내장 된 Windows 메모장 도구처럼 간단한 것을 사용하여 편집 할 수 있기 때문에 편집하기가 매우 쉽습니다. 텍스트 파일은 범용 형식으로 Windows PC, Mac, Linux, 전화, 태블릿 및 그 사이의 모든 것을 포함한 여러 플랫폼에서 읽을 수 있습니다.

여러 개의 큰 텍스트 기반 파일을 읽거나 여러 개의 텍스트 파일을 하나로 병합하여 작업을보다 쉽게 ​​수행 할 수있는 경우 서로 중복되는 텍스트 줄을 제거하는 것이 좋습니다. 파일을 수동으로 살펴보고 복제본을 직접 제거 할 수 있지만 프로세스를 자동으로 처리하는 것이 훨씬 쉽습니다. 여기에서는 텍스트 파일에서 중복 행을 제거 할 수있는 여러 가지 방법을 보여줍니다.

중복 유틸리티를 삭제하려면 타사 유틸리티 사용

텍스트 파일에서 중복 행을 제거하는 간단하고 일반적인 방법은 전용 타사 유틸리티를 사용하는 것입니다.

1. TextCrawler TextCrawler는 매우 강력한 프리웨어 프로그램으로 주로 텍스트 파일에서 데이터를 검색하고 바꾸는 작업을 위해 만들어졌습니다. 고맙게도, TextCrawler의 강력한 기능에도 불구하고 여전히 사용하기 쉽고 중복 줄 제거 옵션은 실제로 Scratchpad라는 별도의 창에 있습니다.

스크래치 패드 설치를 열고 TextCrawler를 시작하고 도구 메뉴> 스크래치 패드로 이동하거나 F2를 누르십시오. 텍스트를 창에 붙여 넣고 Do 버튼을 누릅니다. 중복 행 제거 옵션은 기본적으로 드롭 다운에서 선택해야합니다. 미리 선택하지는 않습니다. 그런 다음 저장을 눌러 새 텍스트 파일을 만들거나 텍스트를 복사하여 즐겨 찾는 텍스트 편집기에 다시 붙여 넣습니다. 드롭 다운에는 공백을 제거하고 텍스트를 오름차순 또는 내림차순으로 정렬하는 다른 옵션도 있습니다.

TextCrawler 다운로드

2. 메모장 ++

Notepad ++는 기능이 풍부한 텍스트 편집기이지만 중복 행을 제거하는 통합 기능은 없지만 Notepad ++에서 사용하는 외부 플러그인 시스템을 통해 옵션을 추가 할 수 있습니다. 일부는 이미 포함되어 있지만 TextFX 플러그인은 기본적으로 설치되어 있지 않으므로 수동으로 추가해야합니다.

메모장 ++ 메뉴 표시 줄에서 플러그인> 플러그인 관리자> 플러그인 관리자 표시를 클릭하고 목록에서 TextFX 문자 플러그인을 찾으십시오. 상자를 체크하고 설치를 클릭 한 다음 메시지가 표시되면 프로그램을 다시 시작하면 TextFX 메뉴를 사용할 수 있습니다. 중복 행 제거 기능을 사용하려면 텍스트 파일을 메모장 ++로로드하고 모든 텍스트를 선택하고 (Ctrl + A) TextFX> TextFX 도구로 이동하여 "+ 정렬 (열에서) 행만 정렬"옵션을 선택하십시오.

동일한 TextFX 도구 메뉴로 돌아가서 "대소 문자 구분 (열) 정렬"또는 "대소 문자 구분 (열) 정렬"(위의 노란색으로 강조 표시)을 클릭하십시오. 이렇게하면 중복 선이 제거되고 다른 케이스가있는 선은 그대로 두거나 제거합니다. 그런 다음 파일을 다시 저장하십시오.

메모장 다운로드 ++

3. 중복 라인 리무버

중복 라인 리무버는 보안 회사 NoVirusThanks.org에서 왔으며 유용한 기능이 있습니다. 어떤 이유로 프로그램의 웹 페이지가 웹 사이트에서 제거되었지만 공식 다운로드 링크는 여전히 사용할 수 있습니다. 설치 프로그램 만 사용할 수 있지만 Universal Extractor를 사용하여 프로그램을 이식 가능하게 만들 수 있습니다.

중복 행을 제거하려면 파일을 찾아 보거나 창에서 놓으십시오. 확인을 클릭하고 중복 행이 발견되면 수정을 클릭하고 저장 이름을 선택하십시오. 파일 스캔 탭을 사용하여 하위 폴더를 포함하여 한 번에 여러 파일을 일괄 처리 할 수도 있습니다. 자동으로 .bak 백업이 생성되고 원본 파일이 처리 된 파일로 바뀝니다. 마스크 상자를 사용하고 파일 확장자를 추가하여 모든 처리를 중지하십시오. 고급 사용자를 위해 패키지에서 전용 명령 줄 버전을 사용할 수 있습니다.

중복 라인 리무버 다운로드

4. TextMechanic 오프라인

이름의 오프라인 부분은이 도구가 관련이 없기 때문에이 도구를 온라인 TextMechanic 서비스와 차별화하는 것입니다. 이 도구는 이식 가능한 실행 파일이며 SourceForge에서 호스팅됩니다. TextMechanic Offline은 중복 및 빈 줄을 제거하는 것 외에도 특정 텍스트가 포함 된 줄을 삭제하거나 텍스트를 찾아서 바꿀 수 있습니다.

" 중복 라인 제거 "버튼을 누른 다음 " 빈 라인 제거 "버튼을 누르기 전에 처리 할 텍스트를 TextMechanic 창에 붙여 넣습니다. 두 버튼을 누르지 않으면 텍스트가 복제본이 제거 된 빈 줄을 포함합니다. 마지막으로“ 클립 보드에 저장 ”을 눌러 수정 한 텍스트를 다시 텍스트 편집기에 붙여 넣을 수 있습니다. 이 도구는 대 / 소문자를 구분하므로 행과 대 / 소문자를 모두 제거해야하는 경우 줄이 동일해야합니다.

TextMechanic 오프라인 다운로드

내장 된 Windows 명령을 사용하여 중복 줄 삭제

내장 된 Windows 명령을 혼합하여 사용하면 텍스트 파일 내에서 중복 행을 제거 할 수 있습니다.

5. 배치 스크립트 사용

이러한 명령을 단일 배치 스크립트로 결합하면 빠르고 쉽게 처리 할 수 ​​있습니다. 컴퓨터에 타사 소프트웨어를 실행하는 데 제한이있는 경우에도 유용 할 수 있습니다. 우리가 사용하는 스크립트는 StackOverflow에서 발견되었으며 조작하기 쉽도록 수정되었습니다.

DeDupe Zip 파일을 다운로드하고 압축을 풀면 내부에 두 개의 BAT 파일이 있습니다. 하나는 대소 문자를 구분하며 대소 문자가 동일하지 않으면 줄을 바꾸지 않습니다. 다른 스크립트는 대소 문자를 구분하지 않습니다. 파일에서 중복 행을 삭제하려면 텍스트 파일을 .BAT 파일에 놓기 만하면 _deduped 접미사가있는 동일한 폴더에 파일이 자동으로 처리되어 출력됩니다. 줄은 재정렬되지 않고 제자리에서 제거되며 원본과 동일한 줄 순서를 유지하려는 경우에 이상적입니다.

DeDupe Batch 파일 다운로드

온라인 서비스를 사용하여 중복 줄 삭제

텍스트에서 중복 줄을 제거하는 작업을 수행하는 많은 온라인 서비스가 있으며, 귀하의 요구를 충족시킬 몇 가지를 선택했습니다.

6. 텍스트 메카닉

관련이없는 TextMechanic Offline 도구와 혼동하지 마십시오.이 웹 사이트에는 다양한 온라인 텍스트 기반 조작 도구가 있습니다. 중복 된 행만 제거하는 것 외에도 다른 모든 도구를 한 번에 사용할 수있게하려면 복합기 텍스트 조작 메모장을 사용하십시오.

텍스트를 창으로 가져 오는 두 가지 방법이 있습니다. 파일로드 단추를 사용하여 찾아 보거나 파란색 C 단추를 눌러 창에서 현재 텍스트를 지우고 자신의 텍스트를 붙여 넣으십시오. 그런 다음 중복 행 제거 단추를 클릭하십시오., 대소 문자 구분 및 빈 줄 제거 상자를 사용하여 텍스트에 필요한지 확인할 수 있습니다. 완료되면 다른 이름으로 저장 버튼을 클릭하거나 S를 눌러 모든 텍스트를 선택하고 마우스 오른쪽 버튼을 클릭하여 복사하거나 텍스트 편집기에 붙여 넣을 수 있도록 Ctrl + C를 누릅니다.

TextMechanic 방문 중복 줄 제거

7. 중복 라인 제거

위의 TextMechanic.com과 마찬가지로 TextFixer 웹 사이트에는 HTML, 숫자 및 텍스트 조작 도구가 있으며 이중 행 제거 도구 페이지는 하나뿐입니다.

처리 할 텍스트를 상단 창에 붙여 넣고 중복 행 제거 버튼을 누르면 하단 창에 결과가 선택되어 복사 될 준비가됩니다. 이 도구에는 알파벳 순서로 정렬하거나 정렬 순서를 완전히 뒤집는 등 유용한 정렬 옵션이 있습니다. 줄 제거는 대 / 소문자를 구분하므로 줄에 하나의 대문자 또는 소문자가 남아 있거나 제거되는 차이를 의미합니다.

TextFixer Duplicate Line Removal Tool 방문

다른 온라인 중복 줄 제거 도구로는 DeDupeList.com, Text-Utils.com으로 중복 줄 제거 및 목록 스크러버 도구가 있습니다.