nginx性能改进一例[海量静态文件]
本文研究的是在海量静态文件下，如何提高nginx的处理能力。在静态文件数量不是很多的情况下，nginx处理静态文件的能力极快，但是在海量的静态文件下，nginx的处理能力就不那么乐观，怎么提高nginx处理能力呢，当然从系统角度，可以mount时对文件系统加noatime，以及采用目录hash，再结合url rewrite等方式，可以适当的提高点性能，我这里介绍的是，通过将静态文件存在leveldb的方式。
先说一下测试的环境，戴尔R710普通服务器，7200转的普通硬盘，没有做raid。拿了55万张图片，41G去尽可能模拟海量图片的情形，当然这个量级与一般公司的量级还差的太远，这里只测试，压力工具用siege。
命令：siege -c 100 -b -i -r 100 -f /tmp/urlll
文件系统下nginx压力测试：
这个能力会让我们对nginx很失望，每秒约处理163个请求，平均每个请求耗时0.6s，吞吐不到12MB。问题不再于nginx，在于系统文件系统的io瓶颈，linux文件系统基于树状设计，加上硬盘本身的缺陷，使得文件系统的随机io不高，当文件数量不多，加上系统的cache，感觉不明显，但文件数量上一个量级，文件系统的io将迅速成为系统中最大的瓶颈。
怎样去弥补文件系统自身的io不足，提高nginx的静态处理能力，我一直在思考这个问题，现在nosql很火，我一直设想如是将数据全部存在nosql里面，避免通过文件系统去查找文件，是否会提高nginx的处理能力呢，我把上面测试的41G的558397图片全部存入google的leveldb中，编写一个nginx的leveldb模块，让nginx请求直接去查询leveldb，再用上面同样的方式去随机测试，得到如下数据。
leveldb下nginx压力测试：
与上面的性能数据相比，每秒的处理能力由163提高到了380，平均每个request耗时由0.6s降到了0.25s，吞吐由12MB提高到了27MB。总体至少提高了近2~3倍的处理能力。如果数据量级更大的话，我估计性能提升的倍数更高。
我把我编写的nginx模块的hander部分贴出来，没有做任何优化和请求头过滤。
编译确保nginx正常链接到leveldb
有兴趣的朋友可以继续研究有没有更好的方法，欢迎交流。
补充一下采用目录hash+url rewrite的测试结果，回答一下下面一个热心朋友的疑问。在这里北游谢谢热心的朋友参与和讨论，我将保证每个人的提问我都必回，谈谈我的看法，也听听别人的看法，希望以此认识更多的朋友，共同成长。在这里要感谢开源中国社区给我们提供了一个这样的交流讨论平台。
我这里图片的命名，都是数字组成，为了让每个目录尽可能的分配均匀，我这里分二级目录去hash,第一级用文件名的第2位和第3位组成，第二级目录名用第4位第5位第6位组成，这样分成2层目录，第一层100个目录，第2层1000个目录，平均每个目录约55个文件。
我这里图片的命名，都是数字组成，为了让每个目录尽可能的分配均匀，我这里分二级目录去hash,第一级用文件名的第2位和第3位组成，第二级目录名用第4位第5位第6位组成，这样分成2层目录，第一层100个目录，第2层1000个目录，平均每个目录约55个文件。
先准备环境，如图：
nginx的rewrite配置如图：
同样用bin/siege -c 100 -b -i -r 100 -f /tmp/urlll，测试结果如下:
数据我就不分析说了，与leveldb方式差距太大了。
请问一下，libleveldb.so.1 是如何添加进去的啊，我这边编译的时候都没有看到这个模块，求教，这个问题可能很弱，但是不懂
ngx_addon_name=ngx_http_leveldb_module
HTTP_MODULES="$HTTP_MODULES ngx_http_leveldb_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS $ngx_addon_dir/ngx_http_leveldb_module.c"
NGX_ADDON_DEPS="$NGX_ADDON_DEPS $ngx_addon_dir/leveldb/*.h"
CORE_LIBS="$CORE_LIBS -lleveldb"
CFLAGS="$CFLAGS --std=c99 -Isrc"
