こんにちは、うましです！
今回はCloud Storageへのフォルダのアップロード方法について解説します！
ファイルのアップロード方法は解説記事であふれていますが、
フォルダの構造を保持したままアップロードする方法は少なく、私自身苦戦したので、皆さまのご参考になれば嬉しいです！

・ファイルシステムからCloud Storageにフォルダをアップロードする

・フォルダ構造を保持したままアップロードする

・使用環境：Java1.8.0、Spring

まずは、Cloud Storageの準備です。
Cloud Storageは「Bucket（バケット）」と呼ばれる箱にデータを出し入れできるサービスです。
では、早速Bucketを作っていきましょう。


1.Cloud Storage > バケットの画面から「+作成」ボタンを押下


 

2.必要事項を入力し「作成」ボタンを押下
※本記事のメインではないため詳細は割愛します。

Cloud Storageへのアクセス権を付与します。

本来は、バケットごとへの権限付与や制限をする必要がありますが、

今回は細かいことは一旦忘れてサービスアカウントのアクセスキーを使用します。

1.サービスアカウントの鍵を作成


2.JSONキーを選択し、作成


3.JSONキーをローカルへ保存

※このJSONファイルを使用してCloud Storageへのアクセス認証を行います

では、準備が長かったですが本題のフォルダアップロードに入ります。
以下のような構造のフォルダを例にアップロードします。
hoge1
 └-- hoge1.txt
 └-- hoge2
      └-- hoge2.txt

ざっくりですが、以下の流れで構造を保ったままフォルダをアップロードすることができました。

1. ブラウザからMultipartFile形式でフォルダを受け取る
2. サービスアカウントファイルを使用して認証する
3. MultipartFileをFor文でファイル１つずつアップロード処理を実行

（ファイル１つずつアップロードするならFor文だろ、、なんで苦戦したんだ、、というつっこみは内に留めておいてください。。）

// 変数を宣言
String serviceAccountPath = [JSONファイルのパス];
String bucketName = [アップロード先のバケット名];

// 1.ブラウザからMultipartFile形式でフォルダを受け取る
public static void uploadObject(String serviceAccountPath, List<MultipartFile> multiFiles, String bucketName){

    // 2.サービスアカウントファイルを使用して認証する
    Storage storage = StorageOptions.newBuilder().setCredentials(
                ServiceAccountCredentials.fromStream(
                    new FileInputStream(serviceAccountPath)))
                        .build().getService();

    // 3.MultipartFileをFor文でファイル１つずつアップロード処理を実行
    for(MultipartFile multiFile : multiFiles){

        // 4.アップロード処理を実行
        // マルチパートファイルからinputstreamを取得する
        InputStream inputStream = multiFile.getInputStream();

        // アップロードするファイル名を取得する
        String fileName = multiFile.getOriginalFilename();

        // バケット名とファイル名からBlobInfoを作成する
        BlobInfo blobInfo = BlobInfo.newBuilder(bucketName, fileName).build();

        // WriteChannelをストレージとBlobInfoから作成する
        WriteChannel uploadWriter = storage.writer(blobInfo);

        // アップするデータを細切れにして書き込む
        byte[] buffer = new byte[10 * 1024 * 1024];
        int limit;

        while ((limit = inputStream.read(buffer)) >= 0){
            ByteBuffer byteBuffer = ByteBuffer.wrap(buffer, 0, limit);
            // BlobInfoへinputstreamのコンテンツを書き込む
            uploadWriter.write(byteBuffer);
        }
    }
} ※このままだとメモリが開かれっぱなしなので適宜close()を入れましょう

では動かしていきましょう。

作成したバケットにアップロードされていますね！


フォルダ構成も保持されているのがわかります！

上記のように、コンソール上で確認するとフォルダ構造が保持されて見えますが、
Cloud Storageでは、実はフォルダという概念は存在しません。
hoge1
 └-- hoge1.txt
 └-- hoge2
      └-- hoge2.txt

バケットの中に、2つのオブジェクトが存在するだけです。
hoge1というフォルダは存在せず、文字列「hoge1」がオブジェクト名の一部になるだけです。
hoge1/hoge1.txt
hoge1/hoge2/hoge2.txt
なので、MultipartFileをfor文で回すだけで、フォルダ構造を維持してアップロードできるんですね！

 

ここで注意なのが、オブジェクトとして判定されないため下図のhoge3はアップされないということです。
hoge1
 └-- hoge1.txt
 └-- hoge2
      └-- hoge2.txt
 └-- hoge3



今回はフォルダ構造を保持したままフォルダをアップロードする方法について紹介しました。
いかがでしたでしょうか？
参考になった！わかりにくい！などご感想いただけると嬉しいです！

当社、システムサポートは、Google Cloudの導入・移行・運営支援を行っています。
お手持ちのデータのGoogle Cloud BigQuery移行、データの可視化のご相談は、以下よりお願いいたします。

Google Cloud導入についてのお問い合わせはこちら