catch-img

AWS re:Invent 2023 で個人的に気になったアップデート(後編)

re:Invent 2023 で発表されたサービスや機能から個人的に気になったものを紹介していきます。AWS 認定インストラクターのたかやまです。2019年の入社から含め毎年欠かさず書いているシリーズも今年で5回目です。

それでは、後編も張り切っていってみます。

(前編はこちらです)

zero-ETL

AWS が昨年の re:Invent から打ち出しているものとして、ゼロ ETL があります。

そもそも、ETL とは、「Extract(抽出)」「Transform(変換)」「Load(書き出し)」というデータウェアハウスや分析基盤などにデータをまとめる際の3つのフェーズの頭文字を取ったものです。

様々なデータソースに保存されている構造化データと非構造化データを抽出し、データフォーマットを統一し、実際のデータ処理(例えばデータ集計や分析、機械学習など)に利用する処理ですが、ゼロ(ZERO)とは何でしょうか?

ゼロ ETL 統合では、対象とするデータベースにデータが書き込まれると、そのまま Redshift などのデータ利用基盤にもデータを複製し、Transform は SQL などで行うという手法を取っています。

参考: AWS 公式「ETL (抽出、変換、ロード) とは何ですか?

参考: AWS 公式「ゼロ ETL とは何ですか?

 

今年の re:Invent では、そうしたゼロ ELT 統合に DynamoDB も対応したということがいくつか発表されました。

参考: AWS 公式「AWS が Amazon DynamoDB と Amazon Redshift のゼロ ETL 統合を発表

参考: AWS 公式「AWS が Amazon DynamoDB と Amazon OpenSearch Service のゼロ ETL 統合を発表

参考: AWS 公式「Amazon DynamoDB の Amazon OpenSearch Service とのゼロ ETL 統合が利用可能になりました | Amazon Web Services ブログ

その他のデータベース関連

ベクトルデータの対応

画像や文章といった非構造化データを数値化してから検索するベクトル検索に DocumentDB や OpenSearch Service Serverless が対応(GA)しました。これにより、機械学習や生成系 AI に対するデータとして簡単にセットアップできますね。

参考: AWS 公式「AWS が Amazon DocumentDB のベクトル検索を発表

参考: AWS 公式「Amazon OpenSearch Serverless 用ベクトルエンジンの一般提供を開始

さらなるサーバレス化

ElastiCache が Memcached と Redis ともにサーバーレスに対応しました。

とくに、Memcached ではマルチ AZ のデータレプリケーションがサポートされるようになったということで、通常の サーバー有り Memcached より遥かに管理が楽になりますね。

参考: AWS 公式「Redis および Memcached 用の Amazon ElastiCache Serverless が利用可能に | Amazon Web Services ブログ

Aurora Limitless Database

Aurora データベースで書き込みトランザクションを自動水平スケーリングできる機能が出ました。リードレプリカと併せると、レプリケーション ラグが殆どなくてスケーリングできるとか、最高ですね。まさにリミットレス。

参考: AWS 公式「Amazon Aurora Limitless Database のプレビューが公開 | Amazon Web Services ブログ

Amazon RDS for Db2

普段、トレーニングでは RDS の選択要件として Db2 とかサポートされていないデータベースでは、泣く泣く EC2 で構築運用しないといけないんですよね~。などとお話していましたが、それも昔のこと。Db2 も RDS で動く時代がついにやってきました。Oracle、SQL Server と同様にそれじゃないといけない機能を使っていたり、既存のアプリケーションをリファクタリングできぬ。という場合に良いですね。注意点として、他のデータベースと違って Db2 のライセンスは自分で持ち込みしかできない(料金に含まれていない。ここが IBM との妥協点だったんでしょうね)です。もっとも、既存の構成を Replatform がメインの利用だと思うので影響はなさそうです。

参考: AWS 公式「Amazon RDS for Db2 の一般提供を発表

開発系

Application Composer が VS Code で動く

Application Composer は、サーバーレスアプリケーションをビジュアルエディタで繋いで、パラメータを設定するだけで IaC テンプレートやコードベースも作ってくれる素敵なサービスで、ボクも普段からよく使うんですけど、VS Code のアドインとして IDE 内で動作するように。CodeWhisperer もあるし、開発が捗りそうです。

参考: AWS 公式「AWS Application Composer 用の統合開発環境 (IDE) の拡張機能の紹介

参考: AWS 公式「IDE extension for AWS Application Composer enhances visual modern applications development with AI-generated IaC

Step Functions から Bedrock を利用可能に

Step Functions Workflow Studio でローコード・ノーコードで Bedrock を利用可能になりますね。

参考: AWS 公式「AWS Step Functions が Amazon Bedrock 向けに最適化された統合の提供を開始

参考: AWS 公式「Build generative AI apps using AWS Step Functions and Amazon Bedrock

その他

SQS FIFO キューのスループット向上とデットレターキューのリドライブ

標準キューでは対応していたデッドレターキューに入ったメッセージを再度処理させることができるリドライブが FIFO キューでも利用できるようになりました。

参考: AWS 公式「Amazon SQS が FIFO デッドレターキューのリドライブのサポートを発表

参考: AWS 公式「Announcing throughput increase and dead letter queue redrive support for Amazon SQS FIFO queues

MyApplication

アプリケーションカットで情報を参照する仕組みとして、CloudWatch のアプリけションインサイトや、Systems Manager のアプリケーションマネージャーなどの機能がありましたが、コストやセキュリティ面など様々な情報をアプリケーションという切り口でマネジメントコンソール上で確認できる機能ができました。

参考: AWS 公式「myApplications: 1 か所で AWS のアプリケーションを表示および管理

参考: AWS 公式「New myApplications in the AWS Management Console simplifies managing your application resources

CloudWatch Logs に低頻度アクセス用のログクラスが追加

直近のログやあまり参照されない情報のログについても、インサイトを得るという観点から情報は複数ソースが存在したほうが良いのは事実ですが、CloudWatch Logs にそういったデータを保存しておくにはコストの面で考える必要がありました。(東京リージョンでは、標準で 0.76 USD/GB)

これまでは、そういった状況ではより安価に保存できる S3 へエクスポートすることが多かったのですが、直近のログも含め確認できる仕組みを作るとなると、あっちいったりこっちいったりすることもありました。

CloudWatch Llogs の低頻度アクセス ログクラスは、ClougWatch Logs Insight など一部の機能が使えて保存コストが半分になるというものですね。

(それでも、S3 よりはすこーし高いの)

参考: AWS 公式「アクセス頻度の低いログ用の新しい Amazon CloudWatch ログクラスを割引価格で提供

S3 Express One Zone

大量のビッグデータを用いた分析や危害学習のモデル作りにおいては、容量無制限かつ低コストのストレージである S3 が利用されることもありますが、遅延がどうしても気になる場合には、EBS HDD スループット最適化を利用することが少なくないです。今回発表された S3 Express One Zone は、そうした大量のデータを最大10倍高速に読み取ってかつ、リクエストコストが標準よりも半分になる Express One Zone は良い選択肢になりそうです。それでも、遅延が気になるならインスタンスストアを使いますね。

保存のコストは標準より遥かにお高いので、長期保存するのではなく、元データはデータレイクである S3 標準に置いておきながらテンポラリで使うほうが良さそうです。

参考: AWS 公式「新しいハイパフォーマンスストレージクラス「Amazon S3 Express One Zone」の発表

AWS Backup で復元テストが自動化できる

バックアップを用意していたにも関わらず、障害発生時に復元がうまくいかずに焦ること有りませんか?ボクは有りました。復元テスト重要。

これまでも、AWS Backup のイベント通知を CLI で仕込んで SNS 経由で Lambda による復元テストの自動化ができましたが、それを正式に機能として組み込んだ感じですね。

復元されたリソースの自動削除もしてくれるので組み込まない手はないですね。

参考: AWS 公式「AWS Backup で自動復元テストおよび検証が使用可能に

 

トレノケートのAWS研修(AWS認定トレーニング)

トレノケートのAWS認定トレーニングでは、AWS社の厳格なテクニカルスキル及びティーチングスキルチェックに合格した認定トレーナーがコースを担当します。AWS初心者向けの研修や、AWS認定資格を目指す人向けの研修をご提供し、皆様のAWS知識修得のサポートをいたします。
トレノケートのAWS研修(AWS認定トレーニング)はこちら


▼AWS初心者の方は、   AWS Cloud Practitioner Essentials から!
座学中心の研修で、AWSを初めて学ぶ方や、営業などで提案に関わる方におすすめです。
「AWS Certified Cloud Practitioner」資格取得を目指す方の基礎知識修得にも最適です。
→ 詳細・日程はこちらから

 

▼実践スキルを磨くなら、AWS Technical Essentials で !
実機演習が中心の研修です。仕事で構築作業を行う方や、シナリオベースの演習を通じて、実際に手を動かしながら各サービスの特徴を学びたい方におすすめのAWS研修です。
→ 詳細・日程はこちらから

 

いきなりの有償コースに抵抗がある方やまずはお試しをしてみたい方は、トレノケートが実施している無料セミナーがおすすめです。詳細はセミナーページよりご確認ください。

▼無料セミナーの詳細はこちらから

まとめ

2回に渡って個人的に気になったアップデートをお届けしました。データ活用・生成系 AI・より一層の自動化など様々なキーワードも出てきた re:Invent 2023 ですが、次回はどういった展開になるんでしょうね。楽しみです。待ちきれません。

では、また次回の re:Invent でお会いしましょう

 

髙山 裕司(たかやま ゆうじ)

トレノケート株式会社 講師。AWS 認定インストラクター。AWS認定ソリューションアーキテクト - アソシエイト / AWS 認定クラウドプラクティショナー。生粋の猫派。

無料ダウンロード

オススメコンテンツ

オススメ記事

プロジェクトマネジメント PMP AWS ビジネススキル Microsoft PMBOKⓇ 田中淳子 IT資格 人材育成 山下光洋 AMA Azure コミュニケーション 人材開発用語集 PMBOK®ガイド入門 クラウド ITスキル 新入社員 横山哲也 人材育成応援ラジオ DX re:Invent セキュリティ PMP試験問題に挑戦 Cisco PMBOKⓇガイド 第6版 試験体験記 AI(人工知能) イベント・セミナー PMBOK®ガイド第6版の変更点 人材開発 CCIE CCNA DX人材育成 テレワーク ネットワーク リモートワーク 研修 GCP PMP(R)試験問題 第6版対応 PMP合格体験記 Windows Server AI人材 AWS_Q&A Active Directory IT人材 IT資格解説 アセスメント キャリア デジタルビジネス ヒューマンスキル リーダーシップ 人気コースランキング 大喜利 部下の育成 PMの心得 グローバル人材 新入社員研修といえば 生成AI IoT OJT reinvent2022 リスキリング CCNP Security Windows PowerShell クリエイティビティ プログラミング 人材トレンド PMP試験対策一問一答 コーチング プロジェクト プロトタイプビルダー 試験対策問題 1on1 AWS_DiscoveryDay AWSトレーニングイベント GCP無料セミナー Google Cloud Google Cloud Platform G検定 ITインフラ oVice アワード クリティカルシンキング サンプル問題 ステークホルダー ダイバーシティ ディープラーニング ワーケーション 自律 試験Tips Linux PMI Power Platform Python Teams Web会議 cybozudays jawsdays2024