빅쿼리의 저장소와 백업/복구

저장소 관리

내부적으로 BigQuery는 데이터 웨어하우스 워크로드에 다양한 이점이 있는 Capacitor라는 독점적 열 형식으로 데이터를 저장합니다. BigQuery는 데이터 레이아웃에 대한 심층적인 지식을 활용하여 쿼리 실행을 최적화하는 쿼리 엔진과 함께 발전할 수 있는 독점적 형식을 사용합니다. BigQuery는 쿼리 액세스 패턴을 사용하여 물리적 분할의 최적 개수와 인코딩 방법을 결정합니다.

데이터는 삭제 인코딩을 사용하여 여러 물리적 디스크에 중복 청크를 저장함으로써 내구성을 보장하는 Google의 분산 파일 시스템인 Colossus에 물리적으로 저장됩니다. 또한 데이터는 여러 개의 데이터 센터에 복제됩니다.

제휴 데이터 소스를 사용하여 Cloud Storage, Google 드라이브 또는 Bigtable 등에 저장된 BigQuery 스토리지 외부의 데이터에 대해 BigQuery 쿼리를 실행할 수도 있습니다. 하지만 이러한 소스는 BigQuery 작업에 최적화되어 있지 않으므로 데이터가 BigQuery 스토리지에 저장된 경우보다 성능이 떨어질 수 있습니다.


백업 및 복구

백업 및 가용성 관리는 데이터베이스 관리자에게 항상 복잡하고 비용이 많이 드는 태스크입니다. 추가 라이선스 및 하드웨어 요구가 있으면 비용이 크게 증가할 수 있습니다. BigQuery는 서비스 수준에서 백업 및 재해 복구를 수행합니다. BigQuery를 사용하면 테이블의 전체 변경 내역을 7일 동안 유지 관리함으로써 테이블 데코레이터 또는 FROM 절의 SYSTEM_TIME AS OF를 사용하여 데이터의 시점 스냅샷을 쿼리할 수 있습니다. 백업에서 복구를 요청할 필요 없이 변경 사항을 간편하게 되돌릴 수 있습니다. 테이블이 명시적으로 삭제되면 7일 뒤 해당 내역이 완전히 지워집니다. 또한 cp 명령어는 즉각적인 리전 내 테이블 스냅샷을 제공합니다.

BigQuery 데이터 세트는 리전 또는 멀티 리전일 수 있습니다. us-central1 리전에 있는 데이터 세트와 같은 리전 데이터의 경우 리전 외부에서 데이터 세트 복사본이 유지 관리되지 않습니다. 한 리전 외부에의 백업이 부족할 경우 이것이 비즈니스에 위험을 초래할 수 있다고 고려될 경우에는 BigQuery Data Transfer Service를 사용하여 리전 간 복사본을 만들고 예약할 수 있습니다. 유럽(EU)과 같은 대규모 지리적 영역에 위치한 멀티 리전 데이터 세트의 경우 복사본이 또 다른 Google Cloud 리전에 자동으로 저장됩니다.

리전에 장애가 발생하면 최근 데이터가 일부 손실될 수 있습니다. 자세한 내용은 가용성 및 내구성에 관한 BigQuery 문서를 참조하세요.