分布式异步任务队列 Celery + rabbitmq (or redis )

当我们需要处理一些比较耗时的任务时,我们就需要考虑启用“异步”这个概念。
比如以下两种情况:

一,频繁读写
比如说,现在你一条“微博”,如果是使用 push 的机制,那则需要将这条“微博”告知所有关注你的人。
(这里是假设。实际的微博是使用推拉结合的方式)
关注你的人是100,则 insert 100次。
假如你是个大V,关注你的人有100000人,则需要 insert 100000次。
如果使用同步的方式,那恭喜你,你发完一条微博,这个时间够你喝杯咖啡了。

二,使用“不可靠”的服务
这里的不可靠,指的并不是它不能使用,而是指它不稳定。
当你调用第三方的短信接口,app push接口,无法预计调用接口的时间,这次调用,可能使用0.01s,但下次则变成3s。
这在生产环境是完全可能发生的。高并发,网络异常都可能造成这种情况。

如果这个任务不需要及时返回结果,那我们就可以将这些任务丢给后台去处理,某些实时性要求比较高的任务,还是只能同步进行。
常规的使用场景:短信服务、图片处理服务、群发email、第三方接口调用。 继续阅读分布式异步任务队列 Celery + rabbitmq (or redis )

python 2.7 + django 环境配置。

首先,安装python 2.7.4 。 (可能linux服务器已经自带python2.4~4.6环境,我们做版本共存)

安装过程,可能提示一些包没有安装。比如 gcc automake 之类的。
我们先安装必备的一些东西,我这是centos 6.3的系统。

下载最新的 python 2.7.4 进行安装。

安装完python,建议安装easy_install 和 pip。

同时安装easy_install 和 pip 是因为 pip的管理功能更强大 。比如安装 PIL 时会提示错误。

安装 django

安装 PIL

#pip install PIL 这样是安装不了PIL的, 64位 系统的问题。
使用源码安装

可能会提示以下错误

修改setup.py:

Tengine (基于nginx) 开源WEB服务器 安装指南

tengine

简介

Tengine是由淘宝网发起的Web服务器项目。它在Nginx的基础上,针对大访问量网站的需求,添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。

从2011年12月开始,Tengine成为一个开源项目,Tengine团队在积极地开发和维护着它。Tengine团队的核心成员来自于淘宝、搜狗等互联网企业。Tengine是社区合作的成果,我们欢迎大家参与其中,贡献自己的力量。

当前Tengine的版本是:1.4.4
MD5: b5c75bca115e62f8ce0fafc37382e272

1. 安装 Tengine 。

在终端执行以下命令:

如果安装成功,就会出现:

Tengine version: Tengine/1.4.4 (nginx/1.2.7)

这说明你的Tengine 版本是1.4.4.它是基于 nginx1.2.7 构建的。

新浪SAE的elfinder文件管理器。

前端使用的是elfinder的界面和js,原先是没有中文的,自己做了一下zh_ch的翻译。
后端的PHP基本都重写了,自己写了一个SAE不支持本地I/O读写,只能用storage处理。

文件管理器FOR SAE 猛击这里试试

实现功能:
1.上传文件。
2.文件预览。
3.添加/删除/重命名文件。
4.添加/删除/重命名文件夹。(SAE的storage不是基于目录的,只是看起来很像目录结构,现在重命名非常麻烦,需要遍历该“目录”的所有文件,读取,写入另外的文件名,然后删除旧文件。不清楚微盘这样的存储是怎么实现重命名的)

未实现功能:
1.图片缩略图。
2.整合到elRTE编辑器。(JS需要修改,无法将图片引入编辑器。DEMO,使用demo/demo登录)

新年总结,还有附一个YII框架部署到 新浪 SAE 平台.

最近这段时间比较忙,忙着换工作,忙着自我提高.
也许人比较浮躁,什么东西都想折腾一下.结果到现在一个能拿得出手的东西都没有..
哈哈.
去年(前年?)发布过yiicms1.0,后来有些朋友跟我提及用yiicms做了二次开发,挺感慨的.
因为后来,YIICMS偷偷做了改版,后台用了独飞那个dwzinterface扩展,基于dwz的jquery的js框架,UI上是美观了点.
但是作为一个程序员,还是觉得1.0版本的yiicms界面比较简洁,速度也够快,没有那么多js.
之前由于某种原因,把google code上的托管的yiicms删掉了,有空会把两个版本再放回去.

差点忘记说了,还有个yiisns,也是以前在练yii的时候折腾出来的有亲爹没娘养的东西,现在人人都去搞微薄,搞团购去了.

年前的时候,研究了一下nodejs,看一下palm的webos开发(现在,palm被HP收购了,自己拿着的手机也可以说是HP,不怕被人说是山寨货=_=).
原来雄心勃勃想折腾一个飞信,唉… 后来在google上找到一个python的pyfetion又翻了翻代码. 什么都没做.

最近又看了几本关于产品经理的书,有王坚的<<结网>>, 苏杰的<<人人都是产品经理>>,又爱上了研究产品,把写文档当成一种乐趣.
有空的时候还上上”褪墨”,找一些关于GTD的资料,职业规划,习惯养成的东西.
=================================================================

http://yiis.sinaapp.com/

配置检查 http://yiicms.sinaapp.com/yii1.1/requirements/
BLOG DEMO

新浪的SAE,之前也稍微关注了一下,但那时候有”两个不支持”,这个也不支持,那个也不支持.
不过,随着技术的越来越完善,很多东西也能够很方便的迁移过去. 比如YII的框架,折腾了几天,终于弄出个可以运行的BLOG DEMO了.

由于数据安全性等原因,SAE不支持本地写入文件.但是SAE提供了Tmpfs临时文件和Wrapper两种方式来解决这个问题.

SAE对I/O处理做了限制,说一下遇到的几点问题,
1.YII的assets机制,现在这部分是保存在Storage中,查了不少文档,调用SAE的类来COPY文件
2.protect/runtime, 这部分保存为Tmpfs.
3.cache,稍微改了一下CMemcache,使用SAE的memcache_init();

这里面,还有许多性能问题,有待解决.有空再继续.

关于PDO::__construct()的[2002] 非法的参数 (trying to connect via unix://)

最近使用YII 框架做项目,在windows下测试ok,上到服务器发现bug一大堆,于是在电脑上装了个ubuntu.保持工作环境一致。
用的是xampp(在linux叫lampp)。
于是问题来了,抛出错误

解决方法,在db config中,将mysql的host从localhost改为127.0.0.1
‘connectionString’=>’mysql:host=127.0.0.1;dbname=school’,
//’connectionString’=>’mysql:host=localhost;dbname=school’,

题外话,ubuntu9.10,登录界面做得很酷

UTF-8编码问题总结:HTML,PHP,MYSQL,JS,FLASH

一个网站如果需要国际化,就需要将编码从GB2312转成UTF-8,其中有很多的问题需要注意,如果没有转换彻底,将会有很多的编码问题出现!
主要有五个方面:
一、HTML页面转UTF-8编码问题
1.在后,前加入一行:

顺序不能错,一定要在之间有中文字符的话,显示的标题有可能是乱码!
2.html文件编码问题:
点击编辑器的菜单:“文件”->“另存为”,可以看到当前文件的编码,确保文件编码为:UTF-8,如果是ANSI,需要将编码改成:UTF-8。
3.HTML文件头BOM问题:
将文件从其他的编码转换成UTF-8编码时,有时候会在文件的最开始加上一个BOM标签,在个BOM标签可能会导致浏览器在显示中文的时候出现乱码。
删除这个BOM标签的方法:
1.可以用Dreamweaver打开文件,并重新保存,即可以去除BOM标签!
2.可以用EditPlus打开文件,并在菜单“首选项”->“文件”->”UTF-8标识”,设置为:“总是删除签名”,然后保存文件,即可以去除BOM标签!
4.WEB服务器UTF-8编码问题:
如果你按以上所列的步骤做了,还是有中文乱码问题,请检查你的所使用的WEB服务器的编码问题如果你使用的是Apache,请将配置文件里的:charset 设成:utf-8(这里仅列出方法,具体格式请参考apache的配置文件)如果你使用的是Nginx,请将nginx.conf里的:charset 设成 utf-8,具体找到 “charset gb2312;”或者类似的语句,改成:“charset utf-8;”。

二、PHP页面转UTF-8编码
1.在代码开始出加入一行:
header("Content-Type: text/html;charset=utf-8");
2.PHP文件编码问题点击编辑器的菜单:“文件”->“另存为”,可以看到当前文件的编码,确保文件编码为:UTF-8,如果是ANSI,需要将编码改成:UTF-8。
3.PHP文件头BOM问题:
PHP文件一定不可以有BOM标签否则,会出现session不能使用的情况,并有类似的提示:
Warning: session_start() [function.session-start]: Cannot send session cache limiter – headers already sent这是因为,在执行session_start() 的时候,整个页面不能有输出,但是当由于前PHP页面存在BOM标签,PHP把这个BOM标签当成是输出了,所以就出错了!
所以PHP页面一定要删除BOM标签删除这个BOM标签的方法:
1.可以用Dreamweaver打开文件,并重新保存,即可以去除BOM标签!
2.可以用EditPlus打开文件,并在菜单“首选项”->“文件”->”UTF-8标识”,设置为:“总是删除签名”,然后保存文件,即可以去除BOM标签!
4.PHP以附件形式保存文件的时候,UTF-8编码问题:
PHP以附件形式保存文件,文件名必须是GB2312编码,否则,如果文件名中有中文的话,将是显示乱码:
如果你的PHP本身是UTF-8编码格式的文件,需要将文件名变量由UTF-8转成GB2312:
iconv(“UTF-8”, “GB2312”, “$filename”);
5.截断显示文章标题时,出现乱码或者“?”问号的问题:
一般文章标题很长的时候,会显示一部分标题,会对文章标题进行截断,由于一个UTF-8编码格式的中文字符会占用3个字符宽度,截取标题的时候,有时会只截取到一个中文字符的1个字符或2字符宽度,没截取完整,将出现乱码或“?”问号的情况,用下面的函数截取标题,就不会有问题:
PHP代码

三、MYSQL数据库使用UTF-8编码的问题
1.用phpmyadmin创建数据库和数据表创建数据库的时候,请将“整理”设置为:“utf8_general_ci”
或执行语句:
CREATE DATABASE dbname DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci;创建数据表的时候:如果是该字段是存放中文的话,则需要将“整理”设置为:“utf8_general_ci”,如果该字段是存放英文或数字的话,默认就可以了。
相应的SQL语句,例如:
CREATE TABLE test (id INT NOT NULL ,name VARCHAR( 10 ) CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL ,PRIMARY KEY ( id )) ENGINE = MYISAM ;
2.用PHP读写数据库在连接数据库之后:
$connection = mysql_connect($host_name, $host_user, $host_pass);加入两行:
mysql_query(“set character set ‘utf8′”);//读库mysql_query(“set names ‘utf8′”);//写库就可以正常的读写MYSQL数据库了。

四、JS相关的UTF-8编码问题
1.JS读Cookie的中文乱码问题PHP写cookie的时候需要将中文字符进行escape编码,否则JS读到cookie中的中文字符将是乱码。
但php本身没有escape函数,我们新写一个escape函数:

PHP代码

JS读cookie的时候,用unescape解码,然后就解决cookie中有中文乱码的问题了。
2.外部JS文件UTF-8编码问题当一个HTML页面或则PHP页面包含一个外部的JS文件时,如果HTML页面或则PHP页面是UTF-8编码格式的文件,外部的JS文件同样要转成UTF-8的文件,否则将出现,没有包含不成功,调用函数时没有反应的情况。
点击编辑器的菜单:“文件”->“另存为”,可以看到当前文件的编码,确保文件编码为:UTF-8,如果是ANSI,需要将编码改成:UTF-8。

五、FLASH相关的UTF-8编码问题FLASH内部对所有字符串,默认都是以UTF-8处理
1.FLASH读文普通本文件(txt,html)要将文本文件的编码存为UTF-8点击编辑器的菜单:“文件”->“另存为”,可以看到当前文件的编码,确保文件编码为:UTF-8,如果是ANSI,需要将编码改成:UTF-8。
2.FLASH读XML文件要将XML文件的编码存为UTF-8点击编辑器的菜单:“文件”->“另存为”,可以看到当前文件的编码,确保文件编码为:UTF-8,如果是ANSI,需要将编码改成:UTF-8。
在XML第1行写:

3.FLASH读PHP返回数据如果PHP编码本身是UTF-8的,直接echo就可以了如果PHP编码本身是GB2312的,可以将PHP转存成 UTF-8编码格式的文件,直接echo就可以了如果PHP编码本身是GB2312的,而且不允许改文件的编码格式,用下面的语句将字符串转换成UTF- 8的编码格式$new_str = iconv(“GB2312”, “UTF-8”, “$str”);再echo就可以了
4.FLASH读数据库(MYSQL)的数据FLASH要通过PHP读取数据库中的数据PHP本身的编码不重要,关键是如果数据库的编码是GB2312的话,需要用下面的语句将字符串转换成UTF-8的编码格式$new_str = iconv(“GB2312”, “UTF-8”, “$str”);
5.FLASH通过PHP写数据一句话,FLASH传过来的字符串是UTF-8格式的,要转换成相应的编码格式,再操作(写文件、写数据库、直接显示等等)还是用iconv函数转换
6.FLASH使用本地编码(理论上不推荐使用)如果想让FLASH不使用UTF-8编码,而是使用本地编码对于中国大陆地区而言,本地编码是GB2312或GBKAS程序内,可以添加以下代码:
System.useCodepage = true;那么FLASH内所有字符都是使用GB2312的编码了所有导入到FLASH或者从FLASH导出的数据,都应该做相应的编码转换因为使用本地编码,会造成使用繁体中文地区的用户产生乱码,所以不推荐使用

php 导出csv,解决乱码

有空再写废话….

(译文)40个迹象表明你还是PHP菜鸟

原文:http://reinholdweber.com/?p=19
英文版权归Reinhold    Weber所有,中译文作者yangyang(aka    davidkoree)。双语版可用于非商业传播,但须注明英文版作者、版权信息,以及中译文作者。翻译水平有限,请广大PHPer指正。

40个迹象表明你还是PHP菜鸟

我愿意把本文归入我的“编程糗事”系列。尽管在正规大学课程中,接触到软件工程、企业级软件架构和数据库设计,但我还是时不时地体会到下述事实带给我的“罪恶”感,当然,都是我的主观感受,并且面向Eclipse

你是PHP菜鸟,如果你:

1. 不会利用如phpDoc这样的工具来恰当地注释你的代码
2. 对优秀的集成开发环境如Zend StudioEclipse PDT视而不见
3. 从未用过任何形式的版本控制系统,如Subclipse
4. 不采用某种编码与命名标准,以及通用约定,不能在项目开发周期里贯彻落实
5. 不使用统一开发方式
6. 不转换(或)也不验证某些输入或SQL查询串(译注:参考PHP相关函数
7. 不在编码之前彻底规划你的程序
8. 不使用测试驱动开发
9. 不在错误开启状态下进行编码和测试(译注:参考PHP函数error_reporting
10. 对调试器的好处视而不见
11. 不重构你的代码
12. 不使用类似MVC模式把程序的不同层次划分开
13. 不知道这些概念:KISS, DRY, MVC, OOP, REST
14. 不用return而是直接在你的函数或类中输出(echo/print)内容
15. 对单元测试或通用测试的优点视而不见
16. 总是返回硬编码的HTML,却不返回纯粹的数据,字符串,或对象
17. 总是对“消息”和“配置参数”进行硬编码
18. 不对SQL查询语句做优化
19. 不使用__autoload(译注:参考PHP手册相关描述
20. 不允许智能错误处理(译注:参考PEAR的ErrorStack
21. 使用$_GET替代$_POST来做具有破坏性的传递操作
22. 不知道怎么利用正则表达式
23. 从未听说过SQL注入或跨站脚本
24. 不允许简易配置,也不允许类的构造函数接受参数传递而后执行set/get方法,或运行时的常量定义
25. 不理解面向对象编程(OOP)的优势和劣势
26. 不视情形大小而滥用OOP
27. 自认为实现可复用的软件一定等于/需要让你的代码遵循OOP
28. 不利用智能缺省值
29. 没有单一的配置文件
30. 不想暴露文件源码,却用.inc后缀名取代了.php
31. 不使用数据库抽象层
32. 不能保持DRY作风,即不重复自己,如果你总是在复制粘贴一些东西,说明你设计得很差劲
33. 没有实现让一个函数/类/方法只做一件事,也不能组合利用它们
34. 没能尝试OOP的特长,如抽象类、接口、多态、继承,访问控制修饰符(译注:如public, private, protected)
35. 不用现有的设计模式优化你的程序体系设计
36. 不允许你的用户在你拥有很多文件或目录的情况下定义基础目录
37. 污染了名称空间,比如用常见字符串命名你的库函数
38. 使用数据库表时不使用表前缀
39. 不使用统一的模板引擎
40. 不关注已有的PHP开发框架,懒于探索;其实先进的开发理念和美妙代码就蕴含其中。

译注:另有马永占翻译版本《PHP程序员的40点陋习》,简洁并配有译者注释。

广告统计

1.跳转页面.点击广告后先跳到此页面.URL是带一个参数的.进行记录ip,时间,推广员ID

2.统计.在每天00:01分运行一次统计函数