본문 바로가기

컴퓨터/노트북/인터넷

IT 컴퓨터 기기를 좋아하는 사람들의 모임방

단축키

Prev이전 문서

Next다음 문서

수정 삭제

단축키

Prev이전 문서

Next다음 문서

수정 삭제
Extra Form

파일이나 디렉토리의 gzip 압축을 수행할 때 1 코어 밖에 사용하지 않기 때문에 압축시간이 오래 걸린다. 
8 코어 CPU를 활용하여 병렬에서 gzip 압축을 하고 싶다. 


이런 상황에서 쓸 수 있는 좋은 방법을 소개합니다.

최근 대용량의 파일(수백기가~ 수십 테라)을 다루는 일이 많습니다..

 

1. pbzip2 설치

 

sudo apt-getinstall pbzip2

 

 

2. 멀티 코어 압축방법

 

  • c : 압축
  • z : tar 압축후 gzip압축
  • v : verbose 압축과정을 출력
  • p : 소유권등 퍼미션을 그대로 유지
  • f : 내가 지정한 파일명으로 압축

  •  
#압축
 
tar --use-compress-prog=pbzip2 -czvpf <압축 파일 이름> <압축할 폴더 또는 파일>

tar --use-compress-prog=pbzip2 -czvpf data.tar.bz2 data
# 위에 방법으로 안되면
tar --use-compress-prog=pbzip2 -czvpf <./압축 파일 이름> <./압축할 폴더 또는 파일>
tar --use-compress-prog=pbzip2 -czvpf ./data.tar.bz2 ./data

 

3. 멀티 코어 압축풀기 방법

압축풀기

 

tar --use-compress-prog=pbzip2 -xzvpf <압축 파일 이름> <압축할 파일>

 

 

 

pbzip2 는 pthread를 사용하고 SMP 시스템에서 거의 선형에 가까운 속도 향상을 달성하는 bzip2 블록 정렬 파일 압축기의 병렬 구현입니다. 이 버전의 출력은 bzip2 v1.0.2 이상과 완전히 호환됩니다(즉, pbzip2 로 압축된 모든 항목은 bzip2로 압축 해제할 수 있음).

pbzip2 는 pthreads 호환 C++ 컴파일러(예: gcc)가 있는 모든 시스템에서 작동해야 합니다. Linux, Windows(cygwin), Solaris, Tru64/OSF1, HP-UX 및 Irix에서 테스트되었습니다.

pbzip2 의 기본 설정 은 대부분의 경우 잘 작동합니다. 사용해야 할 유일한 스위치는 -d로 파일 압축을 풀고 -p가 시스템에서 자동 감지가 지원되지 않거나 특정 CPU 수를 사용하려는 경우 사용할 pbzip2 의 프로세서 수를 설정하는 것 입니다.

옵션

-b#
여기서 #은 100k 단계의 블록 크기입니다(기본값 9 = 900k).
-c, --stdout
표준 출력(stdout)으로 출력
-d,--decompress
파일 압축 해제
-f,--force
강제, 기존 출력 파일 덮어쓰기
-h,--help
이 도움말 메시지 인쇄
-k,--keep
입력 파일 유지, 삭제하지 않음
-l,--loadavg
로드 평균은 사용할 최대 프로세서 수를 결정합니다.
-m#
여기서 #은 1MB 단위의 최대 메모리 사용량입니다(기본값 100 = 100MB).
-p#
여기서 #은 프로세서 수입니다(기본값: autodetect).
-q,--quiet
저소음 모드(기본값)
-r,--read
전체 입력 파일을 RAM으로 읽고 프로세서 간에 분할
-S#
1KB 단위의 하위 스레드 스택 크기(지정되지 않은 경우 기본 스택 크기)
-t,--test
압축 파일 무결성 테스트
-v,--verbose
상세 모드
-V
pbzip2의 버전 정보를 표시 한 다음 종료
-z,--compress
파일 압축(기본값)
-1,--fast ... -9,--best
BWT 블록 크기를 100k .. 900k(기본값 900k)로 설정합니다.
--ignore-trailing-garbage=#
후행 가비지 플래그 무시(1 - 무시, 0 - 금지)

파일 이름이 지정되지 않은 경우 pbzip2는 표준 입력에서 표준 출력으로 압축하거나 압축을 해제합니다.

파일 크기

pbzip2를 사용 하여 4GB보다 큰 파일을 압축할 수 있어야 합니다 .

pbzip2 로 압축된 파일은 조각으로 분할되고 각 개별 조각이 압축됩니다. 이것은 조각을 동시에 압축할 수 있기 때문에 pbzip2 가 여러 CPU에서 더 빠르게 실행되는 방법 입니다. 최종 .bz2 파일은 이 파일 분할로 인해 일반 bzip2 프로그램으로 압축한 경우보다 약간 클 수 있습니다(보통 0.2% 미만). pbzip2 로 압축된 파일 도 pbzip2 를 사용하여 압축을 풀 때 속도가 상당히 향상됩니다 .

bzip2를 사용하여 압축된 파일은 bzip2가 프로세서 간에 분할할 수 없는 단일 청크로 데이터를 패키징하기 때문에 속도가 향상되지 않습니다.

 

예 1:

 

 

pbzip2 myfile.tar

 

 

이 예는 "myfile.tar" 파일을 압축 파일 "myfile.tar.bz2"로 압축합니다. 기본 파일 블록 크기가 900k이고 기본 BWT 블록 크기가 900k인 자동 감지된 프로세서 수(또는 자동 감지가 지원되지 않는 경우 2개 프로세서)를 사용합니다.

 

예 2:

pbzip2 -b15k myfile.tar

 

 

이 예는 "myfile.tar" 파일을 압축 파일 "myfile.tar.bz2"로 압축합니다. 파일 블록 크기가 1500k이고 BWT 블록 크기가 900k인 자동 감지된 프로세서 수(또는 자동 감지가 지원되지 않는 경우 2개의 프로세서)를 사용합니다. 압축이 완료된 후에도 "myfile.tar" 파일은 삭제되지 않습니다.

 

예 3:

pbzip2 -p4 -r -5 myfile.tar second*.txt

 

 

이 예는 "myfile.tar" 파일을 압축 파일 "myfile.tar.bz2"로 압축합니다. BWT 블록 크기가 500k인 프로세서 4개를 사용합니다. 파일 블록 크기는 "myfile.tar" 크기를 4(프로세서 수)로 나눈 값이 되므로 각 프로세서 간에 데이터가 고르게 분할됩니다. 이를 위해서는 pbzip2가 압축을 위해 전체 파일을 메모리로 읽을 수 있는 충분한 RAM이 필요합니다. 그런 다음 Pbzip2는 동일한 옵션을 사용하여 해당 디렉터리에서 와일드카드 "second*.txt"와 일치하는 다른 모든 파일을 압축합니다.

 

예 4

tar cf myfile.tar.bz2 --use-compress-prog=pbzip2 dir_to_compress/
tar -c directory_to_compress/ | pbzip2 -c > myfile.tar.bz2

 

 

이 예제는 TAR에서 파이프를 통해 pbzip2에 제공되는 데이터를 압축 파일 "myfile.tar.bz2"로 압축합니다. 기본 파일 블록 크기가 900k이고 기본 BWT 블록 크기가 900k인 자동 감지된 프로세서 수(또는 자동 감지가 지원되지 않는 경우 2개 프로세서)를 사용합니다. TAR은 "directory_to_compress/" 디렉토리에서 모든 파일을 수집하고 작동할 때 데이터를 pbzip2에 전달합니다.

 

예 5:

pbzip2 -d -m500 myfile.tar.bz2

 

 

이 예는 "myfile.tar.bz2" 파일을 압축 해제된 파일 "myfile.tar"로 압축 해제합니다. 자동 감지된 프로세서 수(또는 자동 감지가 지원되지 않는 경우 프로세서 2개)를 사용합니다. 압축 해제를 위해 최대 500MB의 메모리를 사용합니다. -b, -r 및 -1..-9 스위치는 압축 해제에 유효하지 않습니다.

 

예 6:

pbzip2 -dc myfile.tar.bz2 | tar x

 

 

이 예제는 압축 해제 pbzip2의 출력을 tar로 파이핑하는 "myfile.tar.bz2" 파일의 압축을 풀고 압축을 풉니다.

 

예 7:

pbzip2 -c  myfile.txt.bz2

 

 

이 예제는 표준 입력에서 myfile.txt를 읽어서 myfile.txt.bz2로 리디렉션되는 표준 출력으로 압축합니다.


컴퓨터/노트북/인터넷

IT 컴퓨터 기기를 좋아하는 사람들의 모임방

List of Articles
번호 분류 제목 조회 수 날짜
공지 뉴스 구글 최신 뉴스 file 1455 2024.12.12
HOT글 일반 샤오미 BE6500 라우터 실사용 후기 (Wi-Fi 7 + 2.5G 스위치 기능까지 ㄷㄷ) 4 1019 2025.06.28
공지 🚨(뉴비필독) 전체공지 & 포인트안내 20 28900 2024.11.04
공지 URL만 붙여넣으면 끝! 임베드 기능 23005 2025.01.21
10641 정보 `보안` 차별성 강조하는 애플…이번엔 M1 맥에 보안 최강 - 매일경제 - 매일경제 726 2021.02.21
10640 일반 ? 페어폰? file 63 2022.03.03
10639 일반 ???: RTX 50이 전작보다 전기를 더먹는다고..? file 76 2024.09.07
10638 일반 ???: 핫딜 올려봐~~~ 108 2022.02.09
10637 .2Ghz에 도달한 AMD Ryzen 7 2700X 샘플 포착 126 2018.04.02
10636 일반 .Android 8.0 오레오의 신기술은 어떤것이 있을까 81 2017.08.24
10635 일반 .Android 8.0 오레오의 신기술은 어떤것이 있을까 94 2017.08.24
10634 .exe 파일을 추출 하는 프로그램 2 487 2019.01.25
10633 일반 .exe 파일을 추출 하는 프로그램 495 2023.03.27
10632 정보 'LG V30' 출시 색상 암시? LG전자, 새로운 티저 공개(영상) 99 2017.08.23
10631 일반 '지원 종료' 윈도 서버 2003 사용 기업을 위한 2가지 조언 747 2015.07.20
10630 정보 ‘180억 매출’ 용산 전자업체 (컴퓨리) 파산 file 218 2024.10.21
10629 일반 ‘30TB 벽’ 깬 32TB 하드 등장…소비자용 디스크 시대 저무는 이유 209 2024.10.21
10628 정보 ‘갤럭시S21’을 3만원에?…통신3사, 최대 61만원 불법 지원 - 조선비즈 749 2021.03.01
10627 정보 ‘굿바이 인텔’, 애플 자체 칩셋 탑재 맥북 첫 선 - 국민일보 773 2021.02.21
10626 정보 ‘도둑 시청’ 새 누누티비 문 열었다…OTT 업계 '한숨' 448 2023.06.24
10625 정보 ‘삼성폰 언박싱’ 유튜버의 한탄 “정말 열심히 만들었는데…” [IT선빵!] - 헤럴드경제 뉴스 - 헤럴드경제 1036 2021.03.17
10624 정보 ‘아이폰 위탁생산’ 대만 폭스콘, 전기차 생산 추진 - 동아일보 735 2021.02.22
10623 정보 ‘아이폰12 15만원→갤S21 17만원’ 구매 가격 낮아진다 [IT선빵!] - 헤럴드경제 뉴스 - 헤럴드경제 771 2021.03.17
10622 정보 ‘아이폰12’ 8천만대 공급한다는 애플... 中 만리장성 무사히 넘을까 - 조선비즈 775 2021.02.21
10621 정보 ‘아이폰12’ 분해하니 한국 부품 27%…미국·일본 제치고 1위 - 조선비즈 736 2021.02.21
10620 정보 ‘아이폰13’, ‘노치 디자인·충전 케이블’ 모두 없어질까? 주사율은? - 아주경제 733 2021.03.01
10619 정보 ‘음성SNS’ 인기에 ‘아이폰’ 수요 늘어 - 경향신문 745 2021.02.21
10618 ‘카트라이더 러쉬플러스’, 포르쉐코리아와 e스포츠 제휴 이벤트 진행 19 2021.02.03
10617 정보 ‘클럽하우스’에 ‘번개장터’ 효과?…중고 아이폰8 값 오히려 올랐다 - 중앙일보 - 중앙일보 786 2021.03.01
10616 일반 ‘테라’ 권도형 “싱가포르 있다”더니…현지 사무실 폐쇄 750 2022.12.31
10615 정보 ‘하입비스트’가 확인해본 애플 '맥세이프 듀오 충전기' & '신형 맥북 에어'의 성능은? - HYPEBEAST 720 2021.02.21
10614 일반 "갤럭시S6엣지 플러스, 3000mAh 대용량 배터리 탑재"… 왜? 1083 2015.07.20
10613 정보 “5G는 갤럭시”… 美 다운로드 속도 측정서 아이폰 압도 - 머니S - Money S 993 2021.03.17
10612 정보 “ARM 기반 13인치 맥북 프로·아이맥, 올해 말 나온다” - ZD넷 코리아 734 2021.02.21
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 355 Next
/ 355