AWS 認定インストラクターのたかやまです。今回も、3年連続現地で re:Invent してきました。
今月の 月間 AWS では、re:Invent 特集号として、re:Invent 2024 で発表された様々な内容から個人的に気になったものをまとめてみました。
目次[非表示]
久保玉井さんが、Amazon Nova を使ったワークショップに参加したレポートを公開しています。わたしも実際に現地のワークショップに参加して使ってみましたが、ワークショップになかったプロンプトを使って生成した画像についてもかなり質の良いものができていて、ワクワクが止まりませんでした。
Amazon Bedrock で利用できる基盤モデルを Marketplace から導入可能になりました。
これまでも、様々な FM や LLM を利用できましたけど、一気に選択肢の幅が広がりますね。特定業界や規模向けのものもあるので楽しみですね。
インテリジェントプロンプトルーティングは、同じ基盤モデルを利用している前提で、与えられたプロンプトの複雑さを解釈して自動的に利用するモデルを切り替えてくれるという。コストが最大30％削減できる可能性があるってのはすごいですね。
プロンプトキャッシュは、その名の通りよく使われるプロンプトをキャッシュしておくことで低レイテンシーを実現するもののようですね。
まだ、プレビューなので早く GA になってほしいですね。
グラフ情報では、情報同士の関係性を扱うことができるので、ナレッジベースによってより精度の高い結果を返せそうですね。
もともとは、今年の春先に Neptune と連動した GraphRAG の仕組みを作れるようになったものをそのまま、ナレッジベースでも使えるようにしたもの。というところなんですかね。
ナレッジベースのデータストアとして構造化データ（RDB）を対象にすることができるようになりました。
自然言語からSQLに変換するという試み自体は、QuickSight Q でもやってましたけど、生成 AI をもとに良い感じのクエリに変換して実行することができそうです。
現状は、Redshift と Sagemaker Lakehouse しか対応していませんが、ナレッジベースということを考えれば、そこまで対応してくれてれば十分とも。
あいまいな日本語でもできるようになったら正直すごすぎる。
Bedrock Guardrails で望ましくない画像を検出することもできるようになったようです。
これまでは、テキストしか対応していなかったので、画像に関してはデータソース側である程度対応しておかなければ行けなかったものが Bedrock 側で吸収できそうですね。
AI エージェントにタスクをお願いして処理してもらうことができます。しかし、複雑なタスクは簡単な作業に分解し、いくつもの AI エージェントを組み合わせるのは面倒です。
そこで、マルチエージェントコラボレーション機能の登場です。サブエージェントを管理しながらマルチステップなタスクを攻略する素敵な機能です。
この機能は、プレビューです。
まだ、一般利用できるものではないようですが。
説明を見る限り、現状のワークロードの分析と EC2 をベースとした移行タスクを生成 AI で対応してくれるようですね。VMWare だけではなく .Net やメインフレームからの移行でも利用できるようですね。
Amazon Q Developer transformation capabilities は、現在パブリックプレビューとなっています。
Amazon Q Developer がそれをお手伝いしてくれる様になる機能がバージニア北部リージョンでプレビュー中です。
Amazon Q Developer がいよいよユニットテストのコードやドキュメントも作成してくれるようになりました。
実際にユニットテストの作成を依頼してみましたけど、コードを解析して必要なテストを生成してもらえました。
テスト駆動開発においては、仕様からテストコードの作成を行ったうえで、コード開発するという手順にはなりますが、テストのヌケモレを補完してカバレッジ率を向上させることができますね。
また、テストエラーのセルフデバッグも行ってくれる優秀なエージェントのようです。
自社のソフトウェアに生成 AI を利用した機能を付けたい、付けている。という企業は増えていますが、それぞれのソフトウェア内に限られたナレッジを利用するので、複数のソフトウェアを利用している場合には、どうしてもソフトウェア間の移動や情報伝達の手間があります。
これでは、ユーザー体験としても良くないですよね。
今回発表された Amazon Q Business の機能では、Amazon Q をハブとして各ソフトウェアは情報を Amazon Q インデックスに統合することができるようになるようです。
生成 AI を利用して業務を効率化したい。ただのチャットボットではこれは難しいです。実際の業務はいくつものタスクと条件や判断の組み合わせです。
昔から、人々はこうした業務をこなすべくワークフローを作って対応していました。
今回発表されたのは自然言語で記述することでワークフローを自動的に生成する Amazon Q Business の機能です
自然言語で行けるということは、Speech to Text を利用すれば、会話の内容から自動的にワークフローを作成して、エージェントたちに処理をさせる未来が見えてきますね。
いろいろなことをアシストしてくれる Amazon Q Developer ですが、Cost Explorer と連携して、自然言語によるコスト分析もできるようになりました。
Amazon SageMaker といえば、機械学習モデルの作成やトレーニング、データ処理などを簡単な操作で行えるものから、コードを書いてゴリゴリに実施するものまで、様々なサービスを提供しており、派生サービス数もかなりの数に上ります。
今回発表された Amazon SageMaker Unified Studio は、機械学習のモデル開発以外にも、データ処理や管理、SQL 分析、生成 AI アプリケーション開発など様々な機能を統合するまさにユニファイドなスタジオのようです。
データレイクとデータウェアハウスを統合的に利用してデータ処理をおこなう仕組みとしてデータレイクハウスという仕組みが出てきています。
非構造化データやあらゆる場所から生み出される列志向データと、大規模な構造化データを一元的に利用して AI/ML で利用することやデータ分析に活用できますね。
AWS Trainium の第2世代である、Trn2 が GA になりました。来年には、第3世代が出ることも併せて発表されました。
最大で 120TB の NVMe 内蔵ストレージが利用できる I7ie インスタンスが登場しました。
データ分析や機械学習などで高速かつ大量のデータを処理しないといけない場合に有効ですね。
I8g インスタンスは、最新の SSD と Graviron プロセッサーを利用できるストレージ最適化インスタンスタイプです。
I7ie をはじめとして、ストレージ最適化インスタンスの増強が目立ちます。
2023 年の re:Invent で NVIDIA の超高速 GPU である H200 を搭載したインスタンスタイプとして、P5e インスタンスが発表されましたが、今回の発表ではそこにさらに高速ネットワークを備えた P5en インスタンスが追加されました。
高速に GPU で処理できるにしても、大量のネットワークトラフィックがボトルネックになるケースが考えられるので、その対応ですね。
S3 Tables や、Redshift、Apache Iceberg に対応した様々なデータを扱えるようになるようですね。
Amazon S3 を利用したデータレイクの構築が当たり前のように利用され、AI/ML やデータ分析のワークロードで利用されています。しかし、小粒なデータではファイルアクセスのパフォーマンスが悪くなることも懸念としてありました。
昨年の re:Invent では、こうしたデータアクセスに対する解決策として、Amazon S3 Express One Zone が発表されていましたが、今回の re:Invent では、Apache Iceberg に最適化されたストレージとして Amazon S3 Tables が発表されました。
Apache Iceberg は、列志向など表形式データを扱う標準 API なので、様々なデータソースとの連携もしやすく、Apache Spark や Amazon EMR、Athena などのクエリエンジンでも採用されています。
データレイクから特定のデータを抽出する作業は思いの外大変な作業を伴います。
オブジェクトには、メタデータやタグを付与することでオブジェクトの中身を確認しなくてもどういったデータなのかを意味付けする仕組みはあります。
しかし、現時点では、それぞれのオブジェクトのメタデータを一つずつ確認することになるため、全件調査などできません。
一般的には、プレフィックスなどを利用して事前にデータの分類を行っておき、調査対象のデータを絞り込んでからメタデータを確認する。という手順を取っているケースが多いと思います。
今回発表された機能では、Amazon S3 Tables にメタデータを保存することで検索可能なメタデータを実現しています。
S3 をベースにしたストレージアプリケーションを構築した経験はありますか？わたしはあります。
フロントエンドから直接 S3 API を利用してオブジェクトの一覧を取得し、ファイル一覧を表示するアプリケーションです。
Storage Browser for Amazon S3 を利用すると、S3 のブラウザー機能がコンポーネントとして提供されます。便利。
これまでも、大量のデータを AWS に送付する際には AWS Snowball Edge を利用した物理転送の手段はありました。
Snowball は、物理ストレージデバイスが自社拠点のデータセンターに配送されてくるので、LAN 経由でデータをコピーしてから AWS に送り返すことでデータの転送を実現していました。
今回発表されたのは、物理的なデータ転送拠点になります。日本にはまだありませんが、ストレージデバイスを持ち込みで転送できる仕組みのようです。
AWS グローバルネットワークに直接流し込みができるようですね。すごい。
AWS Transfer Family は、既存のファイル転送プロトコルを利用して Amazon S3 にアクセスが可能になるため、既存の FTP ソフトウェアを利用することができるというサービスです。
今回の発表では、いよいよアプリすら用意しなくても、Web アプリで利用可能になるというものですね。
アプリのベースは、Storage Browser for Amazon S3 ですかね。
アップロードして保存されたオブジェクトが正しく送信したデータと同じであることを確認するためには、アップロード前に計算しておいたチェックサムとアップロードしたオブジェクトのチェックサムを比較するというロジックが必要でした。
今回の発表では、AWS SDK を使ってクライアントサイドで自動的にチェックすることができるようになった。ということですね。
異種間データベース移行を行う場合、DMS や SCT を利用してスキーマ変換を行うことが必要です。
大規模なデータベースではなかなか骨の折れる作業でした。今回の発表は、スキーマ変換作業を生成 AI がサポートしてくれるようになるというものですね。
Amazon MemoryDB がマルチリージョンに対応してマルチリージョン・マスターマスター構成が取れるようになったということですね。
今年の re:Invent の CEO キーノートの中でも目玉の一つだと思います。（大目玉は Amazon Nova でしたけど）
マルチリージョン対応マルチアクティブなサーバーレス分散 SQL データベースです。
SQL データベースの問題は、スケールアウトによる性能向上と強い整合性の維持が難しかったという点にありますが、Amazon Aurora は、3 つの AZ に合計 6 個のストレージを利用した 1 つのクラスターボリュームを利用することでリージョン内においてはマルチ AZ かつ強い整合性のある DB クラスターを作ることができていました。
Amazon Aurora DSQL は、マルチリージョンにおいてもマルチマスタークラスターが作成できるようになりました。普段は、他社サービスと比較をしない AWS が Google Cloud の Cloud Spanner との性能比較をしていたのが印象的でした。
AWS データセンター内の OCI 管理下のインフラストラクチャ上で Oracle Database サービスにアクセスすることができる。という、言葉からは何を行っているのかよくわからない状態のサービスがプレビューになりました。
これまでも、Oracle データベースは、RDS で利用可能でしたが、RAC 構成の環境はサポートされていませんでした。
Oracle Database@AWS では、OCI を利用することで RAC もサポートされるようです。
AWS Clean Room は、取り扱うデータを共有コピーしあうのではなく、適切なコントロール下でソースデータを移動したりコピーすることなくパートナーとやり取りできるというサービスです。
今回の発表は、データソースとして Amazon S3 だけではなく、Snowflake と Athena が追加されたということですね。
もともと、Amazon EKS のコンテナ環境にインサイト分析する機能が 2023年にリリースされていましたが、今回の発表では、Amazon ECS でも利用できるようになったようです。
組織の中で統一したポリシーのもとに統制の効いたリソース管理をする。多くの企業で求められている要素ですね。
これまでも、AWS Config によるリソースの監視や、CloudFormation による IaC でリソース作成をすることにより統制を維持することは行われていましたし、Control Tower による Landing Zone 作成を利用している企業は少なくないと思います。
今回の発表では、そもそも統制の効いたリソース設定や作成をできるようにルールをあらかじめ用意しておくと、そのルールが自動的にリソースに適用される。という機能のようですね。
管理統制の負担が減りますかね。
Amazon EKS は、Kubernetes クラスター管理を行うコントロールプレーンをマネージドサービスで提供してくれるサービスですが、EKS Auto Mode を利用することで、最適なインスタンスの選択やスケール、コスト最適化などを自動化できるようです。面倒な管理作業が減りそうですね。
CloudWatch と OpenSearch Service が Zero-ETL で連携できるようになったようです。
CloudWatch から直接 OpenSearch Service のダッシュボードで分析できるので効率上がりそうです。
CloudWatch の Insights シリーズに、Database Insights が追加されました。
データベースインスタンスの状態から、CPU ロードなど一元的にデータベース視点で確認できます。
VMWare の Broadcom による買収によって、AWS における VMWare はどうなるのかと思っていましたが、VPC 内で VMWare Cloud Foundation を実行するということで対応してくようです。
こちらは一部のユーザーに対するプレビューです。
今回の re:Invent は、Amazon SageMaker や Amazon Q 関係の発表が多かった印象です。その中でも、個人的に気になったキーワードが Apache Iceberg です。
大量のデータを利用して機械学習モデルの開発をしていくときに、あちこちに散らばった個別のデータでは扱いにくいので、統一的な API を利用していくことになりますが、その答えの一つがこれではないでしょうか。
今回ご紹介した発表内容や、惜しくも紹介しきれなかった発表などを含め、各地の企業の皆様と振り返る Trainocate Roadshow がスタートします。 皆様の近くに立ち寄った際には、ぜひご参加ください！。
ではまた、2025年の re:Invent でお会いしましょう。
トレノケートのAWS認定トレーニングでは、AWS社の厳格なテクニカルスキル及びティーチングスキルチェックに合格した認定トレーナーがコースを担当します。AWS初心者向けの研修や、AWS認定資格を目指す人向けの研修をご提供し、皆様のAWS知識修得のサポートをいたします。
・トレノケートのAWS研修（AWS認定トレーニング）はこちら
▼AWS初心者の方は、 AWS Cloud Practitioner Essentials から！
座学中心の研修で、AWSを初めて学ぶ方や、営業などで提案に関わる方におすすめです。
「AWS Certified Cloud Practitioner」資格取得を目指す方の基礎知識修得にも最適です。
→ 詳細・日程はこちらから
▼実践スキルを磨くなら、AWS Technical Essentials で ！
実機演習が中心の研修です。仕事で構築作業を行う方や、シナリオベースの演習を通じて、実際に手を動かしながら各サービスの特徴を学びたい方におすすめのAWS研修です。
→ 詳細・日程はこちらから
いきなりの有償コースに抵抗がある方やまずはお試しをしてみたい方は、トレノケートが実施している無料セミナーがおすすめです。詳細はセミナーページよりご確認ください。
▼無料セミナーの詳細はこちらから