¿Cuáles son algunos consejos, trucos y errores al usar Amazon S3?

Answer 1

Al usar S3 para almacenar muchos archivos y / o acceder a ellos de forma intensiva, debe consultar la tasa de solicitud y las consideraciones de rendimiento y otros materiales.

Un aspecto es que el nombre del objeto es, de hecho, una forma de indexar ese archivo, como una clave HBase. Por lo tanto, es bueno entender y usar los nombres sabiamente generados, el prefijo con un hash consistente (salado) y otras técnicas de dispersión.

Te hacen pruebas de rendimiento. No haga una lista de grupos completos, filtre los archivos de la manera correcta, utilizando un solo nombre para obtener un solo archivo, por ejemplo. El uso de la función de filtros de archivos de aws client es una locura, filtran las cosas en el lado del cliente, no en el lado S3, por lo que efectivamente se descargan todos los archivos o nombres de archivos del cubo, y el filtrado se realiza en el lado del cliente, al menos en alguna versión lo hizo.

AWS tiene muchos servicios, y solo para la persistencia, tiene algunos almacenes de objetos, bases de datos, sistemas de archivos y otros: use la herramienta adecuada para el trabajo correcto.

Answer 2

Los cubos de S3 no pueden tratar / múltiples caracteres de barra en sus “rutas de acceso”. S3 en realidad no tiene directorios o carpetas, sino que solo almacena objetos y las barras diagonales en ellos. Las herramientas como la consola web y la línea de comandos aws s3 simplemente falsifican las carpetas.

Esta falsificación no funciona cuando se accede a los depósitos de S3 a través de HTTP. Si bien las barras diagonales repetidas, como la // b, funcionan con servidores web como Apache HTTP Server o nginx que se asignan a un sistema de archivos, S3, por otro lado, no puede usarlos.