Google Cloud｜如何加速数据自动化处理能力？事件驱动传输解决方案很重要！

谷歌云的客户希望利用存储传输服务 （STS） 提供的所有优势实时移动数据 – 调度、重试、校验和、详细信息日志等。 

为了在云存储桶之间顺利地复制数据，新推出的事件驱动传输是一个极其强大的解决方案，帮助您自动化数据传输和处理任务，从而节省时间和资源。

此功能的另一个用例是跨云分析。客户需要将数据从 AWS S3 自动实时复制到 Cloud Storage，以利用 Google Cloud 的分析和机器学习功能。 

引入事件驱动传输 

STS 现在提供对事件驱动传输的预览支持——无服务器实时复制功能，可将副本从 AWS S3 移动到云存储，并在多个云存储桶之间复制数据。

为了执行事件驱动传输，STS 依赖于 Pubsub 和 SQS。客户必须设置事件通知并授予 STS 访问此队列的权限。使用新字段 – “事件流” – 在传输作业中，客户可以指定事件流名称并控制 STS 何时开始和停止侦听来自该流的事件。

创建传输作业后，STS 开始使用来自源的对象更改通知。任何对象更改或上传现在都会触发更改通知，服务会实时根据该通知将对象复制到目的地。

对于在数据新鲜度具有重要业务价值的场景中使用 STS 批量传输的客户来说，这是个好消息：低 RPO 备份、事件驱动分析、实时迁移等。对于批量传输，STS 从工作发现开始——列出源和最低频率为 1 小时的目的地，这对于包含数十亿个对象的桶来说可能很耗时。因此，对于大型存储桶，在源中创建的新对象数小时内不会反映在目标中。相比之下，事件驱动的传输可以在源创建和更改对象后的几分钟内将数据复制到目标。 

通过事件驱动的传输，您只需点击几下即可在存储桶之间设置自动、持续的数据复制。它具有一系列支持功能，包括基于前缀的过滤、处理重试、校验和、通过 Cloud Logging 的详细传输日志以及通过 Cloud Monitoring 的进度跟踪。除了易于设置和使用之外，它还具有高度可扩展性和灵活性，允许在同一项目的存储桶之间、不同项目之间甚至不同云存储区域和大洲之间复制数据。 

配置事件驱动传输

您可以通过三个步骤在 Cloud Storage 存储桶之间创建事件驱动的传输：

• 创建一个 pubsub 订阅来监听 Cloud Storage 存储桶上的变化 
• 为 STS 分配权限以在存储桶之间复制数据并收听此 pubsub 订阅
• 使用事件流配置创建传输作业 

为了进一步简化这一点，这里是如何使用gcloud 命令行工具使用事件驱动传输的演练。 

创建事件通知

首先，为源 Cloud Storage 存储桶创建一个Pub/Sub 通知，并为主题创建一个请求订阅：

将SOURCE_BUCKET_NAME替换为您的源存储桶的名称，将TOPIC_NAME替换为您要创建的主题的名称，将SUBSCRIPTION_ID替换为您要创建的订阅的名称。

STS 将使用此订阅来读取有关源存储桶中对象更改的消息。

分配权限

STS 使用Google 托管服务帐户在 Cloud Storage 存储桶之间执行传输。对于新项目，可以通过调用googleServiceAccounts.get API 来配置此服务帐户。确保分配以下角色或等效权限：

创建传输作业

最后一步，使用 EventStream 配置创建一个事件驱动的传输作业。传输作业根据从源生成的事件通知协调源和目标之间的数据移动，

将SOURCE  _  BUCKET_NAME替换为源存储桶的名称，将 DESTINATION  _  BUCKET  _  NAME 替换为目标存储桶的名称，将 SUBSCRIPTION  _  ID 替换为订阅 ID，格式为 projects  /   /  subscriptions  / 。

这会创建一个传输作业，等待 Pub  /  Sub 订阅的通知，并在收到源 Cloud Storage 存储桶更改通知后的几分钟内复制数据。 

如何开始

STS 事件驱动传输在所有 Google Cloud 区域均可用。执行传输的区域基于源 Cloud Storage 存储分区的区域。使用 Storage Transfer Service 事件驱动传输无需支付额外费用。

相关推荐: 2020年5个热门离岸公司注册地介绍

注册离岸公司和开设离岸银行账户已是企业走出去拓展海外业务的标配，对于需要节税的企业来说低税率的离岸公司能够帮助企业节约税收成本，对于需要打造品牌的企业来说离岸公司能够提升企业的国际地位，对于需要境外融资上市的企业来说离岸架构能够帮助企业快速在境外上市。对于不同…