2024年12月最初の週にAWS最大のグローバルイベントにして世界最大のクラウドカンファレンス AWS re:Invent 2024 が開催されました。

このブログでは、AWSのCEOマット・ガーマンさんのキーノートをラスベガス現地で目の前で見て感じたことをレポートしています。キーノートの内容そのものを知りたい方はYoutubeで動画が公開されていますのでそちらをご覧ください。

AWS re:Invent 2024 Keynote with Matt Garman

キーノートは朝8:00スタートでした。
7:25に朝食会場にコーヒーを取りに行き、ウォーターボトルに水を満タン入れて、入口で並びました。
良い席を目指してもっと早くから並んでいる方々もたくさんいらっしゃいます。

開始30分前を超えてから並んだのになぜか前の方の席に案内されました。
どうやらリザーブドになってる席が、ある程度の時間から開放されたようです。

席の周辺を自撮り棒で撮ってみました。

オープニング

8:00になりいよいよオープニングです。
「We invent so you can」が繰り返されるオープニングムービーが流れました。
そして最後には今回のテーマメッセージだった「We Invent so you can re:Invent」となりキーノートが始まりました。
私たちは何度も開発できる、開発し続けられる。
とてもわくわくするオープニングでした。

マット・ガーマンCEOが登場しました。
re:Invenrtのキーノートは今年初登壇されていました。
前のほうの席とはいえ、左端の方なのでマットさん本人を肉眼で見続けるのは困難なのでスクリーンで見ていました。

AWSを最初に使い始めた企業はスタートアップが中心でした。
スタートアップ企業はAWSを活用し多くのフィードバックをAWSへ提供しました。
世界一お客様の声に耳を傾ける企業だからお互いに成長していきやすかったのですね。

でも金融事業のお客様はなかなかオンプレミスからクラウドへ移行できなかったと言います。
だからといって、これを諦めずにその分野と向き合ってお客さまのフィードバックを大切にしたことで、AWSはイノベーションに繋げてこられた。
カスタマーオブセッションですね。
自分たちが得意なものを限られた範囲で提供し続けるのではなく、まずはお客様を起点に考えお客様のニーズに基づきどんなサービスを提供するかを考え行動していく。
私が以前の仕事でAWSを検討しはじめたとき、ほかのクラウドよりも移行に強い、オンプレミス同等の制約をクリアしやすいクラウドがAWSだった記憶があります。

今とは違うAWSの懐かしいロゴ。
AWSのコンセプトは2003年からあったとのことです。

それなりにお客様の要望をサポートできるだけのコンセプトではなく、最高にサポートできるものを目指していた。
そのためには一枚岩のような制限が多くなるモノリシックでは実現が難しかった。
そこでたどり着いたのがAWSのメインコンセプトのビルディングブロック。
使う企業はそれぞれのサービスをコンポーネントとして組み合わせることで、それぞれの企業にとって必要な課題解決を実現できる。

AWSにとってセキュリティは最優先。
すべての開発はセキュリティ設計から始まる。
すべての企業がセキュリティを重要視しいてるから当然といえば当然。
AWSにおいてセキュリティは文化の一部であり、データセンター、ハードウェアの設計の時点でセキュリティを最優先に考えて構築している。

コンピューティング

EC2がほんとに大好きなマット・ガーマンさん。
長年に渡ってEC2チームをやってきたとのこと。
まずはコンピューティングカテゴリから。
EC2は126のインスタンスファミリーと850のインスタンスタイプがあるそうです。

改めてグラビトン。
x86に比べて40%のコストパフォーマンス、60%の資源利用効率化を実現。
PinterestはGraviton4により、47%コスト削減、62%の資源利用低減を実現しました。

NVIDIAのインスタンスタイプはGとP。
新たにP6を発表。
生成AIモデル構築などのユースケースに対応。
NVIDIAを使いたいときに使えるのは大きなメリットですよね。

機械学習のトレーニングに特化したトレーニングチップのTrainium。
新しいTrn2インスタンスがリリースされました。

Trn2 Ultra Servers！！
名前がいい！ウルトラとかスーパーとか少年の心を鷲掴みですね。
トレーニングクラスター。
サーバーズなので複数のTrainium2インスタンスを接続してたくさんのTrainium2チップで構成されています。
プレイスメントグループ的な動きをするんですかね。
Claudeモデルのトレーニングにも使われる予定だそうです。

ここでゲストとしてAppleが登壇しました！
AWSのイベントにAppleが登壇するというのがすごく 意外性がありました。
でも、Macインスタンスもあるしパートナーシップはあるんですよね。

機械学習ソリューションにGravitonとInferentiaを使っています。
SafariのLLMツールやSiriとかもAWS上でトレーニングしているとしたら面白いですね。
大きな企業がお互いの利点を活かして協力しあっている。

Trainium3は2025年リリース予定とのことです。
Trainium2の発表後すぐに次のリリースを発表する、これぐらい世界のスピードは圧倒的なんですね。
そしてEC2は毎日1億インスタンス以上新しいインスタンスが起動しているとのこと。恐ろしい。

ストレージ

コンピューティングのセクションが終わって、次はストレージ。
コンピューティングがほぼEC2の話で、次にストレージとくればやはりということでS3のお話でした。

現在、S3には400兆以上のオブジェクトが保存されているとのことです。
数千以上の企業が、1ペタバイト以上のオブジェクト容量を保存に使用しています。

だからこそ、使用している企業はコストを気にしているので、S3は多くの種類のストレージクラスを用意している。
そういえば、2018年の最初ぐらいは標準、低頻度、Glacierの3種類(低冗長化が実際の選択肢除外だったので)だったのが、re:Inventで毎年毎年発表されてきて、今や汎用バケットのストレージクラスだけで倍以上になっています。

Intelligent-TieringではS3を使用しているお客さんが全体で40億ドル以上のコスト削減を実現しています。
私の個人ブログでも画像などの静的コンテンツでIntelligent-Tieringを使用していますが、AWSで最も楽にできるといっても過言ではない、コスト最適化だと思います。

データ分析に最適なApache Parquet形式のファイルが、S3バケットには大量に保存されています。
それらを横断的に処理するためにApache Iceberg形式で効率的に管理、使用されています。

とはいえ、従来のS3バケットはそもそもデータのためだけのストレージサービスではなく、静的サイトの配信やバックアップ、データレイクなど様々な用途向けに作られています。

そこで、Icebergテーブル形式でParquetデータを扱うのに最適化されたS3 Tablesバケットが発表されました。
Icebergテーブルのメンテナンスを自動化したマネージドバケットで、従来のS3バケットに対して3倍のクエリパフォーマンスと10倍の1秒あたりのトランザクション数とのことです。

まさにS3の再発明(re:Invent)ですね。

そしてもう1つの再発明として、S3 Metadataが発表されました。
従来のS3メタデータはオブジェクトに追加できる、オブジェクトを説明するような情報で検索には対応していませんでした。また多くのメタデータを追加するにはアプリケーションからユーザーメタデータとして追加する必要がありました。
メタデータをオブジェクト検索に使用する場合は、メタデータとオブジェクトキーをデータベースなどで管理して検索可能にする必要がありました。

新機能のS3 MetadataはS3 Tablesバケットで有効にできて、自動でいつつかのメタデータが追加されて、Athenaでクエリ可能になりました。

データベース

ストレージセクションが終わりまして、次にデータベースの解説が始まりました。
私も最初にRDSに出会ったときには、これまでのデータベース構築のためだけの検証作業やバージョンアップのための作業はいったい何だったのだろうと思いました。
こんなに簡単に数クリックで構築できて、関連するものも含めてのバージョンアップ作業そのものはこちらで行わなくて良いです。

リレーショナルデータベースが主流だけど、実際にAmazonで発生しているデータベーストランザクションの70%は単純なキーバリュークエリだったとのこと。リレーショナルデータベースはそのためだけには必要ありませんでした。これによりDynamoDBの誕生に繋がったそうです。

現状に疑問を持ち、調べて試して改善することは、世界を変えますね。

どんな現場でも先人たちは素晴らしい仕事をしてきたと思います。
でも、それはその時の最適解であって、今の最適ではないかもしれません。
今はもっといい選択肢があるのに、それを見逃したまま、過去の成功にとらわれることで、新しいニーズとの乖離を生みます。

だから常に現在のやり方に疑問を持って、調べて試して改善する。
「あるべき論」は論じゃなくてあるべき姿なんだから、目指せばいいです。
「落としどころ」は目指したところを諦める場所なんだから、落とさなくていいです。

そんなことを思ったエピソードでした。

単純なキーバリュークエリにはDynamoDBが対応できます。
もちろん、単純ではない複雑なクエリや整合性にはリレーショナルデータベースが適しています。
ほかにもグラフ、時系列、ドキュメントなどさまざまな目的特化型データベース(Purpose Built Database)サービスが提供されました。
Amazon Auroraは10周年を迎えました。
MySQLとPostgreSQLに互換性があり、高性能、低コスト、Serverless、Limitless Database、ベクトルなど多機能なリレーショナルデーベース。

ユーザーのニーズはマルチリージョン、強い整合性、読み書き両方で低いレイテンシー。
これらのトレードオフとも思われる要件を、ORではなくANDにするにはどうするかを考えた。

ロックして他のリージョンの書き込みを待つのは時間がかかりすぎる。
そこで並列化して高速な書き込みを可能にして、マイクロ秒単位の精度を持つAmazon Time Syncサービスにより効力な一貫性を実現した。

マルチリージョンでの強力な整合性と低レイテンシーの読み取りと書き込みを可能したAmazon Aurora DSQLが発表されました。
現在はPostgreSQL互換性があります。

そして以前からあった機能のDynamoDBグローバルテーブルにも、強い整合性が追加されました。
マルチマスターなリージョンをまたいだレプリケーションテーブルでしたが、結果、整合性のみでした。

これにより、SQLとNoSQLの両方でマルチリージョン、強力な整合性、低レイテンシーが実現することになりました。すごい👏！

AI

200年以上の歴史を持つ金融企業のJPMorgan Chaseさんが、ゲストとして登壇されました。
住宅や教育などのローン提供や企業取引などで毎日10兆ドルの決済処理をされています。

44,000人以上のソフトウェアエンジニアが6,000以上のアプリケーションを運用して1エクサバイトにデータを管理されている。

Chase.comというアプリケーションでは、3つのマルチリージョンアクティブアクティブでEKSを運用し、2つのリージョンで障害があっても継続可能な運用を実現している。

5,000人以上がAmazon SageMakerを使用してMLOpsを実現している。Bedrockは検討開始ステータス。
銀行アドバイザーはアイデア創出に、コンタクトセンターは通話記録の要約に、旅行代理店エージェントは旅程の作成に、開発者はコード生成などにAIを使っている。
いたるところでAIが活用されています。

生成AIは、あらゆる業界、あらゆるすべてのアプリケーションにとって必須のコアなビルディングブロックになっていく。
そしてそのブロックにAmazon Bedrockが簡単に使用できるというのは、本当にそうですね。
セキュリティ、コスト、モニタリング、自動化など必要なサービスがすでにAWSに揃っていて、その中に生成AIのためのブロックとして組み込んでいけます。

製薬会社Genetechさんの事例では、膨大な論文データなどからの検索を生成AIにより効率化された。
RAGですね。
何週間もかかっていた調査が数分で完了するようになった。

生成AIの基盤モデルへのニーズとして、高速、高い能力、専門性があります。
速度と能力の両方を満たすために、Model Distillation(モデル蒸留)と呼ばれる、モデルに専門性を持たせて小型化する手法があります。
Model Distillationを実行するにはMLの専門家によるMLOpsの構築、管理、データ管理、パラメータチューニングなどが必要です。
Amazon Bedrock Model Distillationが発表されました。これらの作業をマネージドでより簡単に自動的に実行されます。
新機能はこれまでにもできたものを、簡単にできたり、確実にできたり、できる人を増やしたりといった課題解決がされているものが多いですね。

Bedrock Automated Reasoning checksが発表されました。
モデルが誤った回答をするハルシネーションを防ぐために、回答の正確性を自動でチェックします。
自動推論チェックがユーザーの入力に対しての回答の正確性をチェックして、正確であると確認が取れた場合のみ回答を送信します。
生成された回答が正確ではないと判定した場合は、別のプロンプトを提案したり違う回答を提供します。

Bedorckエージェントによって適切なタスクアクションが実行されるようになりました。
単体のタスクを誰かにアサインして実行してもらうようなことです。

次のニーズは、複数の異なるエージェントを並行実行して、複雑なタスクを実行することです。
エージェントが独立してバラバラに動くのではなく、同じ部門やプロジェクトのメ ンバーがそれぞれの役割を果たしながら同じゴールに向かうように、情報を共有して相互作用することも必要です。

そこで、Amazon Bedrock multi-agent collaborationsが発表されました。
スーパーバイザーエージェントにより、それぞれのエージェントたちを順次実行や並列実行や情報のやり取りなどを調整して、必要なタスクが実行されます。

プロジェクトリーダーや課長のような存在ですね。

Bedrockのサブ機能がどんどん充実してきましたね。
1つのモデルに特化してないから汎用で開発が柔軟にできるし、サービス側でさまざまな進化が発生して、それをアプリケーション側を作り変えることなく吸収できるので、技術の進化に追従しやすいです。

アンディ・ジャシーさんがAWSの最大顧客のAmazonとして、クラウドの生みの親として、AWS re:Inventに帰ってきました！！
AmazonでのさまざまなシーンでのAI活用について解説されました。

お客様が問い合わせが必要になったとき、多くのお客様はセルフサービス方式を好みます。私はそうですね。電話での問い合わせや連絡待ちよりも、自分で操作して解決できるほうがありがたいです。
数年前までのチャットボットはルールベースのAIだったので、回答を得るまでに多くのやり取りが発生していました。これもいろんなサイトで見かけますが、ルールベースのAIで欲しい結果にたどり着くことが、私の経験ではあまりありません。
Amazonでは数年前に生成AIを使ってチャットボットを再構築している。人間のオペレーターと同様の対応ができていて、素早く結果にたどり着き顧客満足度が向上している。

商品仕訳を機械がもくもくとやってるのすごいですね。
さっきから全然人が動画に出てこない。
ロボットアームのSparrowにも生成AIが搭載されている。
どの商品を扱うべきかを見分けて、材質や大きさに応じて持ち方を判断して、どこに置けばよいかを知っている。
これにより処理時間の短縮とコストの削減につながる。

ショッピングエージェントのRufus、日本のamazaon.co.jpアプリでも使えるようになりましたね。
お店にいる店員さんのように相談に乗ってくれて、提案をしてくれます。
購入履歴などをもとにパーソナライズもされているようなので、お買い物アシスタントとして良いですね。
私みたいにリアル店舗の店員さんには気を使ってしまうタイプの場合、オンラインAIだと本来の目的を果たしやすい効果もありそうです。
慣れてきて気の合う店員さんに出会えても転職してしまうこともありますが、Rufusだとそれもないと。

Rufusに聞いてみたら私の書籍を紹介してくれました。
私のアカウントなので忖度してくれているのかもしれません。

この後、Alexaについて少し触れていましたが、2025年2月にはAlexaプラスが発表されましたね。
生成AIを活用した音声エージェントとして、生活に約に立ってくれそうです。
日本語対応が楽しみですね。

写真から商品にたどり着けるAmazon Lensや、洋服のサイズを推奨してくれるSizingなどを紹介されていました。
最近だと、AI関係ないですがドライバーにチップあげられる機能もいい機能ですね。

これらのAIアプリケーションをAmazon社内で開発する際には、多様なモデルを選択しているそうです。
当初はみんなClaudeを使うんじゃないかと思っていたら、蓋を開けてみたらそれぞれのモデルを使い分けていたと。
AIモデル開発が盛んになってきたときにTensorFlowが代表的なAIフレームワークになると思われていた、そう感じていたのが、今やPyTorchの人気のほうが高くなった。
このように目的に応じて多様な選択肢の中から、選んで使ってフィードバックしてさらに進化していくと話されてました。

そしてそこでAmazon Nova！
Bedrockから使用できる生成AIモデルです。
Novaはほかのモデルと比較してもコストパフォーマンスがよく低価格で利用できます。
この日からMicro、Lite、Proが一般提供開始で選択可能となっていました。

画像生成はAmazon Nova Canvasがあります。
この数か月後、Titan Text、Titan Image Generatorのサポート終了が発表されました。
これからはNovaを使用していくということですね。
既存のアプリケーションの向き先を変えなければ。

動画生成はAmazon Nova Reelが発表されました！
6秒の動画生成が可能で、数か月以内に2分間も可能になるとのことです。
どれぐらいのコストで実現できるか楽しみです。

続いてSpeech to Speech、Any to Anyというマルチモーダルな対応モデルを予定しているそうです。
ここまで一気に発表されたので、 「今日の選択は明日の選択とは違う」ということを改めて突きつけられたような気がしました。

そして、マットさんに戻ってAI関連の刺激的な発表が続きます。
Amazon Q Developerが、ユニットテスト、ドキュメンテーション、レビュー対応を発表しました！
ドキュメンテーションの " /doc" を試してみましたが、簡単にReadme.mdを作成してくれました。
コードを書いてからコードを説明するドキュメントを書く、15年前によくやってた作業ですが、これを効率化できるんですよね。すごいです！
まだなかったときに辛い仕事を経験してると、技術のメリットに、サービスの価値がすごくあることに気づけます。
当たり前に使う時代が来ても、なぜそれが便利なのか、ないとどうなるのかを考えながら使っていきたいです。
そうすると実は使わなくてもいいものを使ってたり、やらなくていい作業をしていたりということに気づけるはずです。

GitLab Duo with Amazon Qが発表されました。
GitLabの統合開発環境のDuoにQが搭載されました。
GirLabとはもっともっと統合を進めて、マネージドサービス出してほしいです。
私は以前はGitLabをセルフホスティングで使ってました。

すでにQ Developerには、Javaのバージョンアップグレードのためのコード変換支援機能があります。
そこに新たに大きく3つの移行支援機能がリリースされました。
.NET アプリケーションをLinuxベースのアプリケーションへリファクタリングする機能です。

VMwareベースの設計をクラウドネイティブに変換。
アプリケーションの依存関係を自動的に特定して、移行計画を作成。

メインフレームは移行サポートとして、コード分析、移行計画作成などをするためのエージェント。
COBOLを解析してドキュメントの作成支援。

Q DeveloperがCloudWatchデータやCloudTrailのログを確認して、問題を特定する機能が発表されました。
異常検出、問題の根本追跡、修正の提案などを行い、環境全体のサポートをしてくれます。

インシデント管理といえばPagerDutyですね。
今回のre:Invent期間中、ラスベガスの街中あちこちでPagerDutyの広告を見ました。
トラックの壁面にあったり、看板やホテルのサイネージなどなどたくさんありました。

PagerDuty Advanceでは、BedrockからClaudeを使用してSlackチャットボットがインシデントに対しての質問に答え、問題解決のための提案も行う。Bedrock Guardrailsも活用している。
そしてAmazon Qとの統合も発表されていました。

Amazon Q Buisinessは企業の内部データを活用してタスクを加速する生成AIアシスタント。
Q Business from Teams、ServiceNow、Salesforce、Gmail、Sharepointなどのデータをインデックス化します。

QuickSightでAmazon Qを使用したデータ可視化のレコメンド機能は以前からありましたが、新たにAmazon Q BusinessのデータとQuiclSightの統合機能が発表されました。
BIで分析しながら、関連する社内データにもアクセスして、さらにインサイトへ正確で迅速にたどり着くことができます。

ISV(Independent Software Vendor、独立系ソフトウェアベンダー)がQ IndexにアクセスできるAPIセットが発表されました。
QuickSightのようにQ Indexとさまざまなソフトウェアの統合も可能になります。
MiroやZoom、Asanaがすでに統合を進めているそうです。

Q Appsによって日常業務の効率化もできます。
またQがワークフローを構築による業務自動化もサポートするようになります。
バックオフィス向けにはAmazon Q Businessをフル活用するのが良さそうですね。

パーパスビルトアナリティクス。
目的に沿って作られた分析サービスたち。
データウェアハウスのRedshift、データ処理はEMR、ETL処理のGlue、検索はOpenSearch、ストリーミングはKinesis、BIはQuickSightなど。
そしてSageMakerではデータを活用してMLワークロードやML分析なども。

データ分析と機械学習は個別に使用するものでもなく統合するべきとの声が多くあるとのこと。
データの管理にはAmazon DataZoneが使用できる。
というこで、次世代SageMakerが発表されました。
データ収集、分析とも統合されます。
その一環としてAmazon SageMaker Unified Studioも発表されました。

データベースサービスだけでなくサードパーティサービス向けのゼロETLも発表されました。

Amazon SageMaker Lakehouseの発表。
S3データレイクだけでなく、すべてのデータに対しての統合インターフェース。
データレイクとデータウェアハウスが重なったような言葉ですね。
データがどこに保存されているかに関係なく、分析、処理、検索が行えます。
そして、これらの発表により今までのSageMakerはSageMaker AIとなりました。

We invent so you can reinvent

AWSは常に再発明する。私たちはその発明されたブロックを組み合わせて発明できる。
今日の最新は明日のレガシーかもしれません。
毎日毎日もっともっといいやり方が生まれていきます。
ブロックを組み合わせる開発さえもやらなくていい、新しいブロックも出てきます。
常にイノベーションが加速するなかで、私たちは最適な選択を追い続けなければいけないと改めて感じました。