Amazon S3 (Simple Storage Service)

Amazon S3とは

Amazon Simple Storage Service (Amazon S3) は、業界をリードするスケーラビリティ、データ可用性、セキュリティ、およびパフォーマンスを提供するオブジェクトストレージサービスです。S3を使用すると、あらゆる量のデータを保存および保護し、データレイク、ウェブサイト、モバイルアプリケーション、バックアップと復元、アーカイブ、エンタープライズアプリケーション、IoTデバイス、ビッグデータ分析など、幅広いユースケースをサポートできます。S3は使いやすいマネジメントコンソール、RESTful APIとSDKを提供し、99.999999999%（11個の9）のデータ耐久性を実現するように設計されています。

Amazon S3の主な特徴

• 高い耐久性と可用性： 99.999999999%（11個の9）のデータ耐久性と99.99%の可用性を提供
• 無制限のスケーラビリティ： 保存できるオブジェクトの数とサイズに実質的な制限がない
• 強力なセキュリティ： 詳細なアクセス制御、暗号化、監査機能
• 柔軟なストレージクラス： アクセス頻度やコスト要件に基づいて選択可能な複数のストレージクラス
• データ管理機能： ライフサイクル管理、バージョニング、クロスリージョンレプリケーション
• クエリインプレース： S3 Select、Athena、Redshiftスペクトラムによるデータの直接クエリ
• イベント通知： S3内のイベントに基づいてワークフローやアラートをトリガー
• パフォーマンスの最適化： マルチパートアップロード、転送アクセラレーション、パーティショニング

Amazon S3の基本概念

Amazon S3の基本的な概念は以下の通りです：

Amazon S3のストレージクラス

S3は様々なユースケースに対応するために複数のストレージクラスを提供しています：

Amazon S3の使用方法

S3は、AWS Management Console、AWS CLI、AWS SDKs、またはRESTful APIを使用して利用できます。

バケットの作成と管理

aws s3 mb s3://my-bucket

aws s3api put-bucket-versioning \
    --bucket my-bucket \
    --versioning-configuration Status=Enabled

aws s3api put-bucket-lifecycle-configuration \
    --bucket my-bucket \
    --lifecycle-configuration file://lifecycle.json

{
  "Rules": [
    {
      "ID": "Move to IA after 30 days, archive after 90 days, delete after 365 days",
      "Status": "Enabled",
      "Prefix": "documents/",
      "Transitions": [
        {
          "Days": 30,
          "StorageClass": "STANDARD_IA"
        },
        {
          "Days": 90,
          "StorageClass": "GLACIER"
        }
      ],
      "Expiration": {
        "Days": 365
      }
    }
  ]
}

オブジェクトの操作

aws s3 cp myfile.txt s3://my-bucket/

aws s3 cp myfile.txt s3://my-bucket/ --sse AES256

aws s3 cp s3://my-bucket/myfile.txt .

aws s3 rm s3://my-bucket/myfile.txt

aws s3 ls s3://my-bucket/

バケットポリシーの設定

aws s3api put-bucket-policy \
    --bucket my-bucket \
    --policy file://policy.json

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "PublicReadGetObject",
      "Effect": "Allow",
      "Principal": "*",
      "Action": "s3:GetObject",
      "Resource": "arn:aws:s3:::my-bucket/*"
    }
  ]
}

静的ウェブサイトホスティング

aws s3 website s3://my-bucket/ \
    --index-document index.html \
    --error-document error.html

aws s3 sync ./website/ s3://my-bucket/ --acl public-read

S3 Selectを使用したデータのクエリ

aws s3api select-object-content \
    --bucket my-bucket \
    --key data.csv \
    --expression "SELECT * FROM s3object s WHERE s.\"Name\" = 'John'" \
    --expression-type 'SQL' \
    --input-serialization '{"CSV": {"FileHeaderInfo": "USE", "FieldDelimiter": ","}}' \
    --output-serialization '{"CSV": {}}' \
    output.csv

Amazon S3のセキュリティ

S3は、データを保護するための多層防御アプローチを提供します：

アクセス管理

• IAMポリシー： ユーザー、グループ、ロールに対するアクセス制御
• バケットポリシー： バケットレベルでのアクセス制御
• ACL（アクセスコントロールリスト）： オブジェクトレベルでのアクセス制御
• アクセスポイント： 共有データセットへのアクセスを管理するための専用アクセスポリシー
• ブロックパブリックアクセス： バケットとオブジェクトへのパブリックアクセスを防止

aws s3api put-public-access-block \
    --bucket my-bucket \
    --public-access-block-configuration "BlockPublicAcls=true,IgnorePublicAcls=true,BlockPublicPolicy=true,RestrictPublicBuckets=true"

データ暗号化

• サーバーサイド暗号化：
  • SSE-S3：Amazon S3が管理する暗号化キー
  • SSE-KMS：AWS Key Management Serviceで管理される暗号化キー
  • SSE-C：顧客提供の暗号化キー
• クライアントサイド暗号化： データをAWSに送信する前に暗号化
• デフォルト暗号化： バケットに保存されるすべてのオブジェクトの自動暗号化

aws s3api put-bucket-encryption \
    --bucket my-bucket \
    --server-side-encryption-configuration '{
      "Rules": [
        {
          "ApplyServerSideEncryptionByDefault": {
            "SSEAlgorithm": "AES256"
          }
        }
      ]
    }'

データ整合性と検証

• チェックサム： データの整合性を検証するためのMD5チェックサム
• オブジェクトロック： 指定した期間または無期限にオブジェクトの削除や上書きを防止

aws s3api put-object-lock-configuration \
    --bucket my-bucket \
    --object-lock-configuration '{
      "ObjectLockEnabled": "Enabled",
      "Rule": {
        "DefaultRetention": {
          "Mode": "COMPLIANCE",
          "Days": 30
        }
      }
    }'

監視とログ記録

• S3アクセスログ： バケットへのリクエストの詳細なログ記録
• AWS CloudTrail： S3 APIコールのログ記録
• イベント通知： S3イベントに基づいて通知を送信

aws s3api put-bucket-logging \
    --bucket my-bucket \
    --bucket-logging-status '{
      "LoggingEnabled": {
        "TargetBucket": "log-bucket",
        "TargetPrefix": "my-bucket-logs/"
      }
    }'

Amazon S3の高度な機能

クロスリージョンレプリケーション（CRR）

CRRは、異なるAWSリージョン間でS3オブジェクトを自動的に非同期でコピーする機能です。これにより、コンプライアンス要件を満たし、レイテンシーを最小化し、運用効率を向上させることができます。

aws s3api put-bucket-replication \
    --bucket my-bucket \
    --replication-configuration '{
      "Role": "arn:aws:iam::123456789012:role/s3-replication-role",
      "Rules": [
        {
          "Status": "Enabled",
          "Priority": 1,
          "DeleteMarkerReplication": { "Status": "Disabled" },
          "Filter": {
            "Prefix": ""
          },
          "Destination": {
            "Bucket": "arn:aws:s3:::destination-bucket",
            "StorageClass": "STANDARD"
          }
        }
      ]
    }'

S3バッチオペレーション

S3バッチオペレーションは、大量のS3オブジェクトに対して一括操作を実行するための機能です。コピー、タグ付け、アクセス制御リストの設定など、様々な操作を実行できます。

aws s3control create-job \
    --account-id 123456789012 \
    --operation '{
      "S3PutObjectTagging": {
        "TagSet": [
          {
            "Key": "status",
            "Value": "archived"
          }
        ]
      }
    }' \
    --report '{
      "Bucket": "arn:aws:s3:::job-report-bucket",
      "Format": "Report_CSV_20180820",
      "Enabled": true,
      "Prefix": "reports/",
      "ReportScope": "AllTasks"
    }' \
    --manifest '{
      "Spec": {
        "Format": "S3BatchOperations_CSV_20180820",
        "Fields": ["Bucket", "Key"]
      },
      "Location": {
        "ObjectArn": "arn:aws:s3:::manifest-bucket/manifest.csv",
        "ETag": "etagvalue"
      }
    }' \
    --priority 10 \
    --role-arn arn:aws:iam::123456789012:role/batch-operations-role

S3オブジェクトラムダ

S3オブジェクトラムダは、S3からデータを取得するときにオンデマンドでオブジェクトを変換するための機能です。画像のリサイズ、ファイル形式の変換、データのリダクションなどを行うことができます。

S3アクセスポイント

S3アクセスポイントは、S3バケット内の共有データセットへのアクセスを管理するための専用アクセスポリシーを持つ名前付きネットワークエンドポイントです。

aws s3control create-access-point \
    --account-id 123456789012 \
    --name my-access-point \
    --bucket my-bucket

S3マルチリージョンアクセスポイント

マルチリージョンアクセスポイントは、複数のAWSリージョンにまたがるS3バケットへのグローバルエンドポイントを提供します。アプリケーションは単一のエンドポイントを使用して、最も低いレイテンシーを持つリージョンからデータにアクセスできます。

Amazon S3のパフォーマンス最適化

S3のパフォーマンスを最適化するためのベストプラクティス：

• リクエストのパフォーマンス：
  • キー名のプレフィックスを分散させてパーティショニングを最適化
  • 高リクエストレートのワークロードにはS3転送アクセラレーションを使用
  • 大きなオブジェクトにはマルチパートアップロードを使用
• データアクセスのパフォーマンス：
  • 頻繁にアクセスされるデータにはCloudFrontを使用
  • S3 Selectを使用してサーバー側でデータをフィルタリング
  • 適切なストレージクラスを選択

# マルチパートアップロードの開始
aws s3api create-multipart-upload \
    --bucket my-bucket \
    --key largefile.dat

# パートのアップロード
aws s3api upload-part \
    --bucket my-bucket \
    --key largefile.dat \
    --part-number 1 \
    --body part1.dat \
    --upload-id upload-id

# マルチパートアップロードの完了
aws s3api complete-multipart-upload \
    --bucket my-bucket \
    --key largefile.dat \
    --upload-id upload-id \
    --multipart-upload '{
      "Parts": [
        {
          "ETag": "etag1",
          "PartNumber": 1
        },
        {
          "ETag": "etag2",
          "PartNumber": 2
        }
      ]
    }'

Amazon S3のコスト最適化

S3のコストを最適化するための戦略：

• ストレージコストの最適化：
  • ライフサイクルポリシーを使用して古いデータを低コストのストレージクラスに移行
  • S3 Intelligent-Tieringを使用してアクセスパターンに基づいて自動的にデータを移行
  • 不要なデータを特定して削除
• データ転送コストの最適化：
  • 同じリージョン内のAWSサービス間の転送を優先
  • CloudFrontを使用して配信コストを削減
  • S3転送アクセラレーションを選択的に使用
• リクエストコストの最適化：
  • 不要なリクエストを最小限に抑える
  • S3 Selectを使用して転送するデータ量を削減
  • バッチオペレーションを使用して大量のオブジェクトを効率的に処理

Amazon S3のユースケース

S3は以下のようなユースケースに適しています：

• バックアップと復元： データのバックアップと災害復旧
• データアーカイブ： 長期保存が必要なデータの低コストアーカイブ
• データレイク： 分析のための構造化および非構造化データの保存
• 静的ウェブサイトホスティング： HTMLファイル、画像、動画などの配信
• コンテンツ配信： CloudFrontと組み合わせたメディアファイルの配信
• モバイルアプリケーション： ユーザー生成コンテンツの保存
• ビッグデータ分析： 分析ツールで処理するデータの保存
• IoTデータストレージ： IoTデバイスから生成されるデータの保存
• ソフトウェア配布： アプリケーションやアップデートの配布

Amazon S3との統合サービス

S3は他のAWSサービスと統合して、より強力なソリューションを構築できます：

CloudFrontとの統合例

aws cloudfront create-distribution \
    --origin-domain-name my-bucket.s3.amazonaws.com \
    --default-root-object index.html

Amazon S3のベストプラクティス

• セキュリティ：
  • デフォルトでパブリックアクセスをブロック
  • 最小権限の原則に従ってアクセス権限を設定
  • すべてのデータを暗号化
  • バージョニングを有効にして偶発的な削除や上書きから保護
  • アクセスログを有効にして監査証跡を維持
• パフォーマンス：
  • キー名のプレフィックスを分散させてパーティショニングを最適化
  • 大きなファイルにはマルチパートアップロードを使用
  • 頻繁にアクセスされるコンテンツにはCloudFrontを使用
  • 転送アクセラレーションを使用して長距離転送を最適化
• コスト最適化：
  • ライフサイクルポリシーを使用して古いデータを低コストのストレージクラスに移行
  • S3 Intelligent-Tieringを使用してアクセスパターンに基づいて自動的にデータを移行
  • 不要なデータを特定して削除
  • S3 Selectを使用して転送するデータ量を削減
• データ管理：
  • 一貫したオブジェクト命名規則を使用
  • メタデータとタグを使用してオブジェクトを分類
  • バージョニングを使用してオブジェクトの履歴を追跡
  • クロスリージョンレプリケーションを使用して地理的冗長性を確保

まとめ

Amazon S3は、業界をリードするスケーラビリティ、データ可用性、セキュリティ、およびパフォーマンスを提供するオブジェクトストレージサービスです。様々なストレージクラス、強力なセキュリティ機能、柔軟なデータ管理機能を備え、幅広いユースケースに対応します。

S3の主な利点は以下の通りです：

• 99.999999999%（11個の9）のデータ耐久性と99.99%の可用性
• 無制限のスケーラビリティと保存できるデータ量に実質的な制限がない
• 包括的なセキュリティ機能と暗号化オプション
• コスト効率の高いストレージクラスとライフサイクル管理
• 他のAWSサービスとの緊密な統合
• 使いやすいマネジメントコンソール、API、SDK

S3を効果的に活用するには、適切なストレージクラスの選択、セキュリティベストプラクティスの適用、パフォーマンス最適化戦略の実装、コスト管理の最適化が重要です。また、他のAWSサービスと組み合わせることで、より強力で柔軟なクラウドソリューションを構築することができます。