太阳是黑色的

很有意思的事情，我在百度空间发表的文章，在短暂被导入到豆瓣个人首页后被迅速删除。虽然文章本身没有任何不符合规定的地方，但是我猜想编辑不太清楚我文章的价值导向，于是删除总该是没有太多坏处的。

我管这种行为叫“媒体的自我审查”。很明显，这里并没有一个统一的审查模式和标准。百度有百度的关键字列表，豆瓣则有豆瓣自有的规则。遗憾的是，究竟什么才是最“权威”的审查标准，则不得而知。也就是，什么内容能够发布，什么信息不能发布，虽然总体上有一定的模糊的界限，但是具体到单个内容实体，则没有一个统一的公开的标准。

有一次，罗永浩在报道某个事件的时候，所有人原以为他所主办的网站会被关掉，于是大家担惊受怕，甚至到了罗永浩在下午下班之前还打电话到有关部门去询问，结果是网站也没有因为报道相关内容被关闭（当然，后来关闭可能是因为上面的言论越来越过火）。罗永浩于是总结，很多媒体删除信息或者不予发表信息，并不是能够确认哪些信息是不能发布，而是走了极端，在没有任何外界介入的情况下，就“阉割”了自己。最后其实成为了，媒体在揣测政府的尺度，甚至成为了政府尺度的先行者。

不过仔细考虑下来，媒体的自我审查，自我阉割却不仅仅是限于政府尺度。比方说，最近美国媒体大篇幅反复报道关于圣诞节的未遂炸机事件。尽管事情的内幕报道的并不多，每天也就是基本上重复着同样的话语，但是这丝毫没有影响媒体关于新闻的选择。这种选择，“自我审查”是背后的利益集团，是商业竞争带来。

再比如，德国日本常年对华进行援助，怎么援助的，国内报道并不多，有人说是因为援助的面太大，并且项目分散，单个项目的金额比较少，所以不太容易能够引起注意。然而，一旦别人宣布停止援助了，所有的媒体就开始大肆渲染了。

自我审查有时候是一支比“强制审查”更严厉的剑。长期下去，广大公众接受的信息就带有了明显的片面性。同时，媒体则没有为一个更加开放信息空间做出自己应有的努力。

Language Model是Information Retrieval领域最近10年左右发展起来的一个新的模型，相比于旧的Vector Space Model和传统的概率模型，Language Model有更好的理论基础。

此书是在Language Model领域活跃的华裔科学家ChengXiang Zhai所写，非常浅显易懂。其中不乏一些在论文中没法出现的基础例子。

唯一需要提醒的是，Language Model有很多的研究分支，ChengXiang Zhai很明显比较侧重于其自己的研究。

其另外两个类似的文章也值得一读：

1. ChengXiang Zhai, Statistical Language Models for Information Retrieval: A Critical Review, Foundations and Trends in Information Retrieval, Vol. 2, No. 3 (2008), pages 137-215, doi:10.1561/1500000008.

2.ChengXiang Zhai and John Lafferty, A risk minimization framework for information retrieval , Information Processing and Management ( IP &M ), 42(1), Jan. 2006. pages 31-55.（这个不是他的博士论文，而是一个更新的版本）

基于好几篇文章写的总结，如果需要PDF的版本，请与我联系。

点击这里（英文）

后面可能会谈一些implementation的技巧。

最近在新闻里面经常听到“international community”这个词语。比如，希拉里希望“international community”能够一起来解决也门受到基地组织影响这一事件；比如，美国为伊朗设置的核问题检查的最后期限过去后，“international community”是不是该对伊朗进行新一轮的制裁；再比如，英国首相希望“international community”一起为也门的未来把把脉。当然，也如我昨天说的一样，有人也希望“international community”去制裁中国。

所有这些提及“international community”的国家和人群都有一个很显著的特点，那就是从来不打算提及我们真正的“国际社会实体”——“United Nations”（联合国）。因为在这些人眼里，联合国仅仅是一个橡皮图章，甚至可能连橡皮图章都不如。“international community”只是一个来推行自己国家意识的托词和伪装。今天这个community背后的是你英国美国，明天这个community背后的是NATO，后天这个背后就变成了IMF，根据不同的需要，这个community能够方便地为自己的行为找到接口。于是，以前我们老说帝国主义国家是霸权主义和强权政治，我们老说美国施行单边主义，其实我们没有理解别人。因为在他们看来，每一次行动，都是international community的又一次出发。所以可以想象，没有哪一次鸡鸣狗盗之举不是在international community的大框架下来进行的。然而，这个community也有脆弱的另一面，比如，除了美国和英国这两家组成的community如此惶惶不可终日，关闭了在也门的大使馆，又有谁把自己的大使馆弄成一个堡垒呢？

这几天，因为未遂的恐怖袭击，美国的主流媒体一下就把目光聚集在了一个可能很多人以前从未听说过的国家，也门。然而不管这些人对也门了解多少，态度却是统一的，那就是你也门政府如果不把自己的问题解决，如果你也门政府还要想拿西方的援助，那么你最好配合我们international community；如果你自己的事情做不好，那么对不起，international community可要替你做了。（可以参看BBC的报道）怎么替你做，伊拉克、阿富汗就是例子。

当然，其实我们也不必要这么较真，因为community，自然也可以理解成一小群人，臭味相投，呆在一起，干些事情。没有必要，也没有义务向大多数人负责。所以，既然这样，大家也就心知肚明了。

Akmal Shaikh,  英国公民，因为“贩毒”，上个月在中国被处以极刑。在这篇文章里，我不想去讨论司法和政治问题。我只是想说一说我个人在看到一些英国人和英国媒体的反应后，所产生的一些感触。

在Facebook上，有一个当初为Akmal请愿的群, 从其被枪决以后则变成了诸多人来表达对Akmal进行人文关怀的场所。这个群已经有了8000多人，并且也有越来越多的人加入。单看这里面很多人的留言，你会觉得Akmal是一个什么样的人呢？正义、幽默、有意思，对家庭和朋友都热情达理，并且还对世界的和平充满的向往（有人说，Akmal到中国的原因之一就是想推广一首宣传和平的自创歌曲）。另一方面，中国政府则被描绘成为“愚昧、粗鲁、双手沾满了鲜血的共产主义政权”，其人民则是未开化的、被洗脑了的一群没有资格和英国人争辩的下等人。在这样一个充满了情感和“正义”的群里，如果有人稍加怀疑Akmal，如果有人稍微为中国政府的抉择辩护，则马上被人围攻为“异类”。同时，一些以抵制中国产品和驱逐中国的外交人员为目的群组很容易就吸引了不少人的注意力。

这些人很明显大多数没有到过中国，不会中文，甚至缺乏对中国最起码的认识。于是，无知成为了这些人在思想上、道德上偏见的基础。实际上，我们如果不去评价这些人观点的对错，而去观察这些人的行为，就会觉得这些语气、态度和做法都似曾相识。披着文明外衣下的种族歧视和唯我独尊与口口声声的善良和人权同时交错发展，让人觉得无法理解但又合乎情理。从这些人的表现我们可以得出一个结论，那就是世界远非那么简单，一方是先进，一方是落后。来自18世纪和19世纪殖民者的嘴脸从来就没有消失过。实际上，在最近的哥本哈根气候大会后，英国人恼羞成怒，发出了“中国劫持了哥本哈根协议”的吼声。当然，这种愤怒不是来自于正义，而是和Akmal事件一样，来自于盘里的那块被动了的奶酪。

所以，Akmal是不是一个毒贩其实不重要，他2002年因为什么事情而远走波兰也显得无足轻重。因为他是一个英国人，高贵的文明人，就已经足够让其在通向天堂的路上占据了自己的位置。于是，人们记起的是一个热爱生活的巴基斯坦后裔在12月的一天死在了极权的中国。