分享照片是Facebook上最风行的的功能之一。截至目前，用户已经上传逾越15亿张照片，这使得Facebook成为最年夜的照片同享网站。对每一个上传的照片，Facebook都生成并存储四个年夜小不合的图像，从而转化为共60亿张照片，总容量逾越1.5PB。目前以每周220万新照片的速度增长，相当于每周要额外增加25TB存储。在岑岭期每秒需要传输55万照片。这些数字对Facebook的照片存储根本设施的一个重年夜的挑战。
旧的 NFS 照片架构
老的照片系统架构分以下几个层：
- 上传层领受用户上传的照片并保存在 NFS 存储层。
- 照片办事层领受 HTTP 请求并从 NFS 存储层输出照片。
- NFS存储层成立在商业存储系统之上。
因为每张照片都以文件形式伶仃存储，这样庞年夜的照片量致使很是庞年夜的元数据范围，逾越了 NFS 存储层的缓存上限，致使每次请求上传都包含多次I/O操作。庞年夜的元数据成为整个照片架构的瓶颈。这就是为什么 Facebook 主要依赖 CDN 的原因。为体会决这些问题，他们做了两项优化：
因为每张照片都以文件形式伶仃存储，年夜量为目录及文件在NFS 存储层上产生了年夜量的元数据，这个范围的元数据量远远逾越了逾越了NFS 存储层的缓存上限，致使每次招聘请求会上传都包含多次I/O操作。庞年夜的元数据成为整个照片架构的瓶颈。这就是为什么 Facebook主要依赖 CDN 的原因。为体会决这些问题，他们做了两项优化：
- Cachr: 一个缓存办事器，缓存 Facebook 的小尺寸用户资料照片。
- NFS文件句柄缓存：摆设在照片输出层，以下降 NFS 存储层的元数据开消。
新的 Haystack 照片架构
新的照片架构将输出层和存储层归并为一个物理层，成立在一个基于HTTP 的照片办事器上，照片存储在一个叫做haystack 的对象库，以消除照片读取操作中不需要的元数据开消。新架构中，I/O 操作只针对真正的照片数据（而不是文件系统元数据）。haystack 可以细分为以下几个功能层：
- HTTP 办事器
- 照片存储
- Haystack 对象存储
- 文件系统
- 存储空间
在下面的介绍中，我们会对上述的每个功能层做详细的讲述。
存储空间
Haystack 摆设在商业存储刀片办事器上，典型配置为一个2U的办事器，包含：
- 两个4核CPU
- 16GB – 32GB 内存
- 硬件 RAID，含256-512M NVRAM 高速缓存
- 逾越12个1TB SATA 硬盘
每个刀片办事器提供年夜约10TB的存储能力，使用了硬件 RAID-6, RAID 6在保持低本钱的根本上实现了很好的性能和冗余。欠安的写性能可以通过RAID节制器和NVRAM缓存回写解决，写由于读取年夜多是随机的，NVRAM缓存是完全用于写入的。
文件系统
Haystack 对象库是成立在10TB容量的单一文件系统之上。
图片读取请求需要在读取系统挪用这些文件的位置偏移，可是为了执行读取操作，文件系统必须先找到实际物理卷上的数据。文件系统中的每个文件都被一个叫做inode布局标识。inode包含了一个磁盘上逻辑文件偏移和物理区块偏移的映射。在使用的特殊类型文件系统时年夜文件块映射可能相昔时夜。
基于文件系统的区块为给个逻辑区块和年夜文件保存映射。这些信息通常不适合保存在inode的缓存中，而是存储在在间接地址块。所以在读取文件的时候必须依照特定的流程。这里可以多个是间接地址块，所以一个读取会产生多个I/O取决于是否间接地址块被缓存。
该系统只为持续范围的区块保持映射。一个持续的年夜文件的块映射可以只由一个范围的标识，这样是适应inode的系统需求的。可是，如果该文件是一个被切割的不持续的块的话，他的块地图可能很是的年夜。以上可以通过文件系统主动为年夜的物理文件分派年夜块的空间来削减碎片。
目前使用的文件系统为XFS，一个很年夜水平提供高效的文件预分派系统。
Haystack 对象存储
Haystack 是一个简单的日志布局（只能追加），存储着其内部数据对象的指针。一个 Haystack 包含两个文件，包含指针和索引。下面的图片将描述haystack存储文件的布局：
