gearman应用-分布式图库系统设计

PS:现有图库系统通过rsync将图片同步到存储上。用户上传图片后,不能做到实时访问(图片要经过网络传输后才能落地)。另外老的系统为每张用户图片存储多种规格,网页改版后还需要重新裁切新规格,造成存储的浪费。多种规格的小图片占用系统大量inode,甚至inode先于磁盘空间被耗尽,剩余空间不能使用。

Gearman分布式任务处理系统(六)持久化存储

PS:对于队列持久化的问题,是一个值得考虑的问题。持久化必然影响高性能。gearman支持后台工作任务的持久化,支持drizzle、mysql、memcached的持久化。对于client提交的background job,Job server除了将其放在内存队列中进行派发之外,还会将其持久化到外部的持久化队列中。一旦Job server发生问题重启,外部持久化队列中的background job将会被恢复到内存中,参与Job server新的派发当中。这保证了已提交未执行的background job不会由于Job server发生异常而丢失。并且我测试发现如果开启了持久化,那么后台工作任务会先将工作任务写到持久化介质,然后在入内存队列,再执行。非后台工作任务,由于client与job server是保持长连接的状态,如果工作任务执行异常,client可以灵活处理,所以无须持久化。

Gearman分布式任务处理系统(五)通信协议

PS:Gearman工作在TCP上,默认端口为4730,client与job server、worker与job server的通信都基于此tcp的socket连接。client是工作任务的发起者,worker是可以注册处理函数的工作任务执行者,job server为工作的调度者。

Gearman-PHP扩展源码编译

PS:Gearman-PHP扩展源码编译过程

Gearman分布式任务处理系统(四)Gearmand源码编译

PS:Gearmand源码编译过程

Gearman分布式任务处理系统(三)分布式负载均衡架构

PS:对于分布式网络环境或者有大量任务的应用,Gearman(Client -> Job Server -> Worker)的通信方式,为开发者搭建分布式负载均衡架构,实现高效稳定的负载均衡处理能力提供了有利的保障。

Gearman分布式任务处理系统(二)Gearman工作流程细解

PS:Gearman内部 Client,Job Server,Worker之间TCP协议的工作流程细解。

Gearman分布式任务处理系统(一)简介和工作原理

PS:对于在分布式网络环境中有大量计算任务的应用,如何有效的分布任务并且利用服务器的计算资源成为现代计算环境最大的挑战之一,Gearman程序框架可以让您轻松地将任务分布到网络中的其他机器节点。