使用 GCS 分块上传来支持 Go SDK？

我正在尝试使用 gcs writer 上传大文件：

bucketHandle := m.Client.Bucket(bucket)
    objectHandle := bucketHandle.Object(path)
    writer := objectHandle.NewWriter(context.Background())

然后对于大小为 n 的块，我调用 writer.write(mybuffer)。我在集群上看到一些内存不足的异常，并想知道这是否实际上只是将整个文件缓冲到内存中。这个操作的语义是什么，我是否误解了什么？

正确答案

是的，在代码中的每次 Write 调用之后，数据都会刷新到 GCS。 Write 方法返回写入的字节数、遇到的任何错误以及实际写入底层连接的字节数。每个块写入后，数据都会刷新到 GCS，因此客户端消耗的内存量应限制在缓冲区的大小内，在您的实例中，如果您将输入数据分块为 5 MB，则缓冲区的大小为 5 MB块并在循环中使用 Write。