re:Invent 2023 で発表されたサービスや機能から個人的に気になったものを紹介していきます。AWS 認定インストラクターのたかやまです。2019年の入社から含め毎年欠かさず書いているシリーズも今年で5回目です。
それでは、後編も張り切っていってみます。
（前編はこちらです）
AWS が昨年の re:Invent から打ち出しているものとして、ゼロ ETL があります。
そもそも、ETL とは、「Extract（抽出）」「Transform（変換）」「Load（書き出し）」というデータウェアハウスや分析基盤などにデータをまとめる際の3つのフェーズの頭文字を取ったものです。
様々なデータソースに保存されている構造化データと非構造化データを抽出し、データフォーマットを統一し、実際のデータ処理（例えばデータ集計や分析、機械学習など）に利用する処理ですが、ゼロ(ZERO)とは何でしょうか？
ゼロ ETL 統合では、対象とするデータベースにデータが書き込まれると、そのまま Redshift などのデータ利用基盤にもデータを複製し、Transform は SQL などで行うという手法を取っています。
参考: AWS 公式「ETL (抽出、変換、ロード) とは何ですか?」
参考: AWS 公式「ゼロ ETL とは何ですか?」
今年の re:Invent では、そうしたゼロ ELT 統合に DynamoDB も対応したということがいくつか発表されました。
参考: AWS 公式「AWS が Amazon DynamoDB と Amazon Redshift のゼロ ETL 統合を発表」
参考: AWS 公式「AWS が Amazon DynamoDB と Amazon OpenSearch Service のゼロ ETL 統合を発表」
参考: AWS 公式「Amazon DynamoDB の Amazon OpenSearch Service とのゼロ ETL 統合が利用可能になりました | Amazon Web Services ブログ」
画像や文章といった非構造化データを数値化してから検索するベクトル検索に DocumentDB や OpenSearch Service Serverless が対応（GA）しました。これにより、機械学習や生成系 AI に対するデータとして簡単にセットアップできますね。
参考: AWS 公式「AWS が Amazon DocumentDB のベクトル検索を発表」
参考: AWS 公式「Amazon OpenSearch Serverless 用ベクトルエンジンの一般提供を開始」
ElastiCache が Memcached と Redis ともにサーバーレスに対応しました。
とくに、Memcached ではマルチ AZ のデータレプリケーションがサポートされるようになったということで、通常の サーバー有り Memcached より遥かに管理が楽になりますね。
参考: AWS 公式「Redis および Memcached 用の Amazon ElastiCache Serverless が利用可能に | Amazon Web Services ブログ」
Aurora データベースで書き込みトランザクションを自動水平スケーリングできる機能が出ました。リードレプリカと併せると、レプリケーション ラグが殆どなくてスケーリングできるとか、最高ですね。まさにリミットレス。
参考: AWS 公式「Amazon Aurora Limitless Database のプレビューが公開 | Amazon Web Services ブログ」
普段、トレーニングでは RDS の選択要件として Db2 とかサポートされていないデータベースでは、泣く泣く EC2 で構築運用しないといけないんですよね～。などとお話していましたが、それも昔のこと。Db2 も RDS で動く時代がついにやってきました。Oracle、SQL Server と同様にそれじゃないといけない機能を使っていたり、既存のアプリケーションをリファクタリングできぬ。という場合に良いですね。注意点として、他のデータベースと違って Db2 のライセンスは自分で持ち込みしかできない（料金に含まれていない。ここが IBM との妥協点だったんでしょうね）です。もっとも、既存の構成を Replatform がメインの利用だと思うので影響はなさそうです。
参考: AWS 公式「Amazon RDS for Db2 の一般提供を発表」
Application Composer は、サーバーレスアプリケーションをビジュアルエディタで繋いで、パラメータを設定するだけで IaC テンプレートやコードベースも作ってくれる素敵なサービスで、ボクも普段からよく使うんですけど、VS Code のアドインとして IDE 内で動作するように。CodeWhisperer もあるし、開発が捗りそうです。
参考: AWS 公式「AWS Application Composer 用の統合開発環境 (IDE) の拡張機能の紹介」
Step Functions Workflow Studio でローコード・ノーコードで Bedrock を利用可能になりますね。
参考: AWS 公式「AWS Step Functions が Amazon Bedrock 向けに最適化された統合の提供を開始」
参考: AWS 公式「Build generative AI apps using AWS Step Functions and Amazon Bedrock」
標準キューでは対応していたデッドレターキューに入ったメッセージを再度処理させることができるリドライブが FIFO キューでも利用できるようになりました。
参考: AWS 公式「Amazon SQS が FIFO デッドレターキューのリドライブのサポートを発表」
参考: AWS 公式「Announcing throughput increase and dead letter queue redrive support for Amazon SQS FIFO queues」
アプリケーションカットで情報を参照する仕組みとして、CloudWatch のアプリけションインサイトや、Systems Manager のアプリケーションマネージャーなどの機能がありましたが、コストやセキュリティ面など様々な情報をアプリケーションという切り口でマネジメントコンソール上で確認できる機能ができました。
参考: AWS 公式「myApplications: 1 か所で AWS のアプリケーションを表示および管理」
参考: AWS 公式「New myApplications in the AWS Management Console simplifies managing your application resources」
直近のログやあまり参照されない情報のログについても、インサイトを得るという観点から情報は複数ソースが存在したほうが良いのは事実ですが、CloudWatch Logs にそういったデータを保存しておくにはコストの面で考える必要がありました。（東京リージョンでは、標準で 0.76 USD/GB）
これまでは、そういった状況ではより安価に保存できる S3 へエクスポートすることが多かったのですが、直近のログも含め確認できる仕組みを作るとなると、あっちいったりこっちいったりすることもありました。
CloudWatch Llogs の低頻度アクセス ログクラスは、ClougWatch Logs Insight など一部の機能が使えて保存コストが半分になるというものですね。
（それでも、S3 よりはすこーし高いの）
参考: AWS 公式「アクセス頻度の低いログ用の新しい Amazon CloudWatch ログクラスを割引価格で提供」
大量のビッグデータを用いた分析や危害学習のモデル作りにおいては、容量無制限かつ低コストのストレージである S3 が利用されることもありますが、遅延がどうしても気になる場合には、EBS HDD スループット最適化を利用することが少なくないです。今回発表された S3 Express One Zone は、そうした大量のデータを最大10倍高速に読み取ってかつ、リクエストコストが標準よりも半分になる Express One Zone は良い選択肢になりそうです。それでも、遅延が気になるならインスタンスストアを使いますね。
保存のコストは標準より遥かにお高いので、長期保存するのではなく、元データはデータレイクである S3 標準に置いておきながらテンポラリで使うほうが良さそうです。
参考: AWS 公式「新しいハイパフォーマンスストレージクラス「Amazon S3 Express One Zone」の発表」
バックアップを用意していたにも関わらず、障害発生時に復元がうまくいかずに焦ること有りませんか？ボクは有りました。復元テスト重要。
これまでも、AWS Backup のイベント通知を CLI で仕込んで SNS 経由で Lambda による復元テストの自動化ができましたが、それを正式に機能として組み込んだ感じですね。
復元されたリソースの自動削除もしてくれるので組み込まない手はないですね。
参考: AWS 公式「AWS Backup で自動復元テストおよび検証が使用可能に」
トレノケートのAWS認定トレーニングでは、AWS社の厳格なテクニカルスキル及びティーチングスキルチェックに合格した認定トレーナーがコースを担当します。AWS初心者向けの研修や、AWS認定資格を目指す人向けの研修をご提供し、皆様のAWS知識修得のサポートをいたします。
・トレノケートのAWS研修（AWS認定トレーニング）はこちら
▼AWS初心者の方は、 AWS Cloud Practitioner Essentials から！
座学中心の研修で、AWSを初めて学ぶ方や、営業などで提案に関わる方におすすめです。
「AWS Certified Cloud Practitioner」資格取得を目指す方の基礎知識修得にも最適です。
→ 詳細・日程はこちらから
▼実践スキルを磨くなら、AWS Technical Essentials で ！
実機演習が中心の研修です。仕事で構築作業を行う方や、シナリオベースの演習を通じて、実際に手を動かしながら各サービスの特徴を学びたい方におすすめのAWS研修です。
→ 詳細・日程はこちらから
いきなりの有償コースに抵抗がある方やまずはお試しをしてみたい方は、トレノケートが実施している無料セミナーがおすすめです。詳細はセミナーページよりご確認ください。
▼無料セミナーの詳細はこちらから
2回に渡って個人的に気になったアップデートをお届けしました。データ活用・生成系 AI・より一層の自動化など様々なキーワードも出てきた re:Invent 2023 ですが、次回はどういった展開になるんでしょうね。楽しみです。待ちきれません。
では、また次回の re:Invent でお会いしましょう