- 授权协议: Apache
- 开发语言: Java
- 操作系统: 跨平台
- 软件首页: https://github.com/Netflix/s3mper
- 软件文档: http://techblog.netflix.com/2014/01/s3mper-consistency-in-cloud.html
软件介绍
S3mper 是通过一致的,二级索引对亚马逊 S3 索引做额外的一致性检查。
S3mper 利用面向方面编程和 AspectJ 实现来引导 Hadoop 文件系统实现(主要是实现 NativeS3FileSystem),和额外的逻辑,进行反复的二次索引的一致性检查。
二级索引默认使用 DynamoDB,因为它的服务提供速度,一致性和可用性的保证。轻量级的表模式设计速度非常快,不会影响文件系统的性能。
表结构:
| Hash Key: path | Range Key: file | epoch | deleted | dir | linkPath | linkFile |
|---|---|---|---|---|---|---|
| //<bucket>/<path> | <filename> | <timestamp> | <flag> | <flag> | N/A | N/A |
| epoch[^2] | <timestamp+entropy> | N/A | N/A | N/A | //<bucket>/<path> | <filename> |
