AWS LambdaとS3を使用したデータ処理におけるデータサイズと転送速度のベンチマーク

Lambdaを使用したAIモデルの推論とデータ前処理について

当社では、AWS Lambdaを利用して、AIモデルの推論やデータセットの前処理を行うケースがあります。
特に、データサイズが大きい場合は、LambdaからS3に配置したデータを取得することが一般的です。
このような場合、S3からデータを取得する際のデータサイズとLambdaのRAMメモリスペックの組み合わせによって、転送速度が変化することがあります。

今回、そのような状況において、どのように転送結果が変化するかをベンチマークを用いて検証しました。

LambdaのスペックとS3上データのサイズとの組み合わせによるデータ転送速度の性能比較

データ転送速度の性能比較の結果と考察

表、グラフで記された検証結果から、
ファイルのサイズに関わらず、LambdaのRAMメモリ容量を1024MBまで増加させると転送時間が大幅に改善されることが確認されました。

最小設定の128MBと第四段階設定の1024MBを比較すると、転送時間が約75%短縮されることが明らかになり、
メモリ容量が転送速度を最適化する上で重要であることが示されました。

ただし、1024MBを超えるメモリ容量を設定しても、転送時間の短縮は見られませんでした。
これは、1024MBのメモリ容量が転送速度を最適化するのに十分であり、
この点を超えてメモリ容量を増やしても、大きな改善は見込めないことを示しています。

ただ、注意すべき点として、LambdaのRAMメモリ容量を大きく設定する場合、相応に料金が掛かることになります。

その為、実際のLambda処理時間を測り、料金計算表と照らし合わせながら適切にメモリ設定を行うことが重要です。

Tweet