今日热议主题
来源：solidot
新浪微博是中国最大最流行的微博平台，注册用户据说达到了五亿，基本上每个中国网民都注册了一个帐号。不同于西方的Twitter，新浪微博必须承担起审查任务。休斯顿莱斯大学的研究人员收集了数百万帖子，分析和识别新浪微博审查员（或者叫微博小秘书）的规模和删贴速度。论文（PDF）发表在预印本网站arxiv上。研究人员观察到，三成的删贴活动发生在发帖后5到10分钟内，九成的删贴发生在24小时内。假设新浪微博的一个审查员平均每分钟能阅读50个帖子，那么扫描每分钟涌入的7万新帖子新浪需要有1400人同时工作，假设他们每天工作8小时，那么需要有4200人才能满足审查需要。
鉴于微博API的限制，研究人员主要跟踪了最可能会发敏感帖子的敏感用户组。从2012年7月20日到9月8日，研究人员利用API以每分钟一次的频率搜索3500位用户的时间线，以每四秒一次的频率搜索公共时间线。由于新浪微博不支持匿名查询，所以他们利用Tor隐藏IP后创建虚假用户帐号。他们共收集了238万用户时间线帖子，删贴率是12.75%。考虑到新浪需要处理的大数据集规模，发帖后5到10分钟的删贴峰值，尤其是考虑到删贴无法完全用自动方式处理，新浪是如何做到迅速发现和删除敏感帖子？研究人员提出了六个假说：
1.新浪微博有一个监视关键词列表，审查员将会浏览包含这些关键词的帖子决定是否删除。
2.微博有针对性的监视频繁发敏感帖子的用户。
3.在发现一个敏感帖子之后，审查员可以追溯所有相关的转贴，可以一次性的全部删除。
4.通过关键词搜索，微博删除了追溯的帖子导致了特定关键词在短时间内出现删除峰值。
5.审查员工作是分布式的，相对独立，其中部分人可能是兼职。
6.删贴速度与主题有关，根据主题的敏感度删除速度存在差异。研究人员利用自然语言处理技术进行删贴主题分析，发现某些热门主题帖子比另外一些主题更快被删除（如图所示），如群交、北京暴雨死亡人数和司法独立等都在极端时间内删除了。
研究人员总结了微博的过滤机制，其中主动过滤机制包括：显式过滤，微博通知发贴人他们的帖子内容违反了内容政策（但有些时候用户并不清楚到底是因为什么敏感词受阻）；隐式过滤，微博需要在手动审查帖子后才会允许帖子上线；伪装发帖成功，其他用户看不到这位用户的帖子。
新浪微博是中国最大最流行的微博平台，注册用户据说达到了五亿，基本上每个中国网民都注册了一个帐号。不同于西方的Twitter，新浪微博必须承担起审查任务。休斯顿莱斯大学的研究人员收集了数百万帖子，分析和识别新浪微博审查员（或者叫微博小秘书）的规模和删贴速度。论文（PDF）发表在预印本网站arxiv上。研究人员观察到，三成的删贴活动发生在发帖后5到10分钟内，九成的删贴发生在24小时内。假设新浪微博的一个审查员平均每分钟能阅读50个帖子，那么扫描每分钟涌入的7万新帖子新浪需要有1400人同时工作，假设他们每天工作8小时，那么需要有4200人才能满足审查需要。
鉴于微博API的限制，研究人员主要跟踪了最可能会发敏感帖子的敏感用户组。从2012年7月20日到9月8日，研究人员利用API以每分钟一次的频率搜索3500位用户的时间线，以每四秒一次的频率搜索公共时间线。由于新浪微博不支持匿名查询，所以他们利用Tor隐藏IP后创建虚假用户帐号。他们共收集了238万用户时间线帖子，删贴率是12.75%。考虑到新浪需要处理的大数据集规模，发帖后5到10分钟的删贴峰值，尤其是考虑到删贴无法完全用自动方式处理，新浪是如何做到迅速发现和删除敏感帖子？研究人员提出了六个假说：
1.新浪微博有一个监视关键词列表，审查员将会浏览包含这些关键词的帖子决定是否删除。
2.微博有针对性的监视频繁发敏感帖子的用户。
3.在发现一个敏感帖子之后，审查员可以追溯所有相关的转贴，可以一次性的全部删除。
4.通过关键词搜索，微博删除了追溯的帖子导致了特定关键词在短时间内出现删除峰值。
5.审查员工作是分布式的，相对独立，其中部分人可能是兼职。
6.删贴速度与主题有关，根据主题的敏感度删除速度存在差异。研究人员利用自然语言处理技术进行删贴主题分析，发现某些热门主题帖子比另外一些主题更快被删除（如图所示），如群交、北京暴雨死亡人数和司法独立等都在极端时间内删除了。
研究人员总结了微博的过滤机制，其中主动过滤机制包括：显式过滤，微博通知发贴人他们的帖子内容违反了内容政策（但有些时候用户并不清楚到底是因为什么敏感词受阻）；隐式过滤，微博需要在手动审查帖子后才会允许帖子上线；伪装发帖成功，其他用户看不到这位用户的帖子。
