gsutil 병렬로 다중 경로 파일 삭제

2394 단어 GCPCloud Storagetech

-m 옵션을 통해 병렬 삭제


gsutil 명령을 사용하여 삭제할 때 삭제할 파일이 많은 경우 -m 옵션을 사용하면 병렬 삭제를 통해 삭제를 고속화할 수 있습니다.
-m
지원하는 작업 (acl ch, acl set,cp, mv, rm, rsync, setmeta) 을 병렬로 실행할 수 있습니다.이 옵션을 사용하면 비교적 빠른 네트워크 연결에서 대량의 파일을 조작할 때 성능을 크게 향상시킬 수 있습니다.
gsutil -m rm "gs://example_bucket/**"
https://cloud.google.com/storage/docs/gsutil/addlhelp/TopLevelCommandLineOptions
그러나 이 옵션을 지정해도 다음처럼 명령을 하나씩 실행하는 데 시간이 걸리기 쉽다.
gsutil -m rm "gs://example_bucket/folder1/**"
gsutil -m rm "gs://example_bucket/folder2/**"
gsutil -m rm "gs://example_bucket/folder3/**"
gsutil -m rm "gs://example_bucket/folder4/**"
gsutil -m rm "gs://example_bucket/folder5/**"

-I 옵션으로 다중 경로 삭제


여러 경로를 동시에 삭제하려는 경우-I 옵션이 유효합니다.
-I Causes gsutil to read the list of objects to remove from stdin. This allows you to run a program that generates the list of objects to remove.
https://cloud.google.com/storage/docs/gsutil/commands/rm -m 조합 옵션을 통해 다중 경로의 파일을 병렬로 삭제할 수 있습니다.
cat << EOS | gsutil -m rm -I
gs://example_bucket/folder1/**
gs://example_bucket/folder2/**
gs://example_bucket/folder3/**
gs://example_bucket/folder4/**
gs://example_bucket/folder5/**
EOS

좋은 웹페이지 즐겨찾기