gsutil 병렬로 다중 경로 파일 삭제
2394 단어 GCPCloud Storagetech
-m 옵션을 통해 병렬 삭제
gsutil 명령을 사용하여 삭제할 때 삭제할 파일이 많은 경우
-m
옵션을 사용하면 병렬 삭제를 통해 삭제를 고속화할 수 있습니다.-m
지원하는 작업 (acl ch, acl set,cp, mv, rm, rsync, setmeta) 을 병렬로 실행할 수 있습니다.이 옵션을 사용하면 비교적 빠른 네트워크 연결에서 대량의 파일을 조작할 때 성능을 크게 향상시킬 수 있습니다.
gsutil -m rm "gs://example_bucket/**"
그러나 이 옵션을 지정해도 다음처럼 명령을 하나씩 실행하는 데 시간이 걸리기 쉽다.
gsutil -m rm "gs://example_bucket/folder1/**"
gsutil -m rm "gs://example_bucket/folder2/**"
gsutil -m rm "gs://example_bucket/folder3/**"
gsutil -m rm "gs://example_bucket/folder4/**"
gsutil -m rm "gs://example_bucket/folder5/**"
-I 옵션으로 다중 경로 삭제
여러 경로를 동시에 삭제하려는 경우
-I
옵션이 유효합니다.-I Causes gsutil to read the list of objects to remove from stdin. This allows you to run a program that generates the list of objects to remove.
-m
조합 옵션을 통해 다중 경로의 파일을 병렬로 삭제할 수 있습니다.cat << EOS | gsutil -m rm -I
gs://example_bucket/folder1/**
gs://example_bucket/folder2/**
gs://example_bucket/folder3/**
gs://example_bucket/folder4/**
gs://example_bucket/folder5/**
EOS
Reference
이 문제에 관하여(gsutil 병렬로 다중 경로 파일 삭제), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다 https://zenn.dev/ptiringo/articles/760036153e8b04텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념 (Collection and Share based on the CC Protocol.)