删除霉霉的「蛇形」表情，使用 AI 过滤器的 Instagram 正成为社交平台的样本

本文作者为 Nicholas Thompson，摄影 Art Streiber，由王宇欣、张震、藤子编译 ，来源为 Wired，发布于机器之能（微信公众号：almosthuman2017），转载请联系 [email protected]。

全球最大网络视频交流会 VidCon，俗称网红节，每年一届，从 2010 年正式举办。作为盛产网红的圣地，Instagram 是网红节的重要参与者。

在 2016 年的 VidCon 上，Instagram 的 CEO Kevin Systrom 与 Instagram 上的明星谈笑风生，彼此合影留念。

暗地里，Systrom 做了一个决定，他决心清理互联网污池。Insta­gram 本应是展现自我、表达喜悦的地方。如果用户的推文下尽是嘲弄、骚扰、侮辱性评论，谁会想要表达自己呢？

这位 33 岁的 CEO 用 Instagram 的小视频制作应用 Boomerang 拍了一条小视频，并分享到 Instagram 上。在这条视频中，他蹲在一些名流中间，大约二十名年轻人不断摇摆、彼此微笑，热情洋溢。在视频的右下角，一位年轻女性剧烈地挥舞着双手，晃动着身躯，看起来就像要敲开鸡蛋，制作牛奶酥一样。

这条推文让 Systrom 体会到了互联网的污池，推文下起初只是心形表情、「Hoooooo」和「So fun!」之类的评论。然而，就像网络上通常发生的那样，整件事慢慢变味儿，网友开始关注右下角的年轻女性，污言碎语接踵而来——「别合拢双腿，张开它们，宝贝！」、「她丈夫一定被戴了绿帽子了」、「去到窗边，跳下去」。很多评论都包含一个西瓜表情，这些表情随着内容的不同，有不同的意义，如种族歧视、性别歧视等。

这些近期兴起的另类右翼（alt-right）不断地宣称「迷因（meme）很重要」。

在该条推文的评论里，有一条链接连接到一个阿拉伯语的文字页面，上面讲述着如何在迪拜发家致富。另一个用户则要求 Systrom 关注他的账号—「Follback @kevin」。还有一些用户则开始就 Insta­gram 以推文相关性而非其时间顺序推送订阅发表反馈：「我们要按照时序来看推文！」

一

Systrom 高高瘦瘦，谦逊儒雅，他与人握手时，友好而平静。如今，他是亿万富翁，却没有其他亿万富翁的作风——没有游艇；没有去最初所在的州访问；没有签署保密协议的前合伙人。

Systrom 的个人 Instagram 账户上都是狗、咖啡、自行车以及一些笑嘻嘻的名人。几年前，Valleywag 形容他的声音为「好像在念讣告一般生硬而又单调」，但是从那以后，他就变得伶俐多了。如果他失败了，他的批评者会说，他就是个笨蛋，因为他和联合创始人 Mike Krieger，过早地把 Instagram 卖给 Facebook。他们从斯坦福毕业，几年后创办 Instagram，之后很快步入正轨。他们从交易中获得 10 亿美元。如果当初拒绝 Facebook 抛出的橄榄枝，现在 Instagram 大约值 170 亿美元。

Systrom 为自己有着不错的名声，而颇感自豪，他认为这是 Instagram 关键的一部分。2010 年，推出 Instagram 时，他和 Krieger 删除不好的评论。他们还实施了被 Systrom 称为「铲除巨魔」的行动—他们甚至亲自屏蔽一些用户。Systrom 说，Krieger 永远都面带微笑，十分和善，他的妻子是他见过的最好的人，因而他努力向妻子看齐，希望自己在他人眼中永远都是阳光的人。

因此，当 Systrom 从 VidCon 回到位于门罗公园的 Instagram 总部时，他宣布 Instagram 将成为社交媒体的乌托邦：网络上的一片净土。独立日前，他在 Instagram 分享一张新的照片，一些不错的自制饼干。

「像你母亲一样丰满的面包」@streamlinedude 在下面评论说。@Juliamezi 补充，「如果你停止阅读，你会死去」，随后奇怪地补充，「如果你不把这个推在 20 张照片中间的话，我要一辈子都和你睡觉。」

二

传统智慧搭建的技术平台现在已不再具有中立性。他们的设计和架构鼓励某种特定的行为，他们的算法甚至在更大程度上控制我们。我们也许感觉是自己在掌控自己的船，但平台是河，算法则是水流。

作为一个拥有 7 亿用户服务的 CEO，Systrom 意识到他就像是仁慈的独裁者，他的国家比美国大两倍。

他所作的决定影响所有的用户——一些是缺乏安全感的青少年，一些是适应能力很好的成年人，一些是广告商，一些则是流行歌手，他们不断受到各种邪恶因素的侵扰。

在 2016 年 7 月中旬，就在 VidCon 之后，Systrom 遭遇一场大灾难。不知道为什么，一周内，Taylor Swift 在与 Calvin Harris、Katy Perry、和 Kim Kardashian 的网上战争中败下阵来。Swift 被指责背信弃义，很快，她的回复看起来就像是国家动物园的爬行馆一样。她的推文全是蛇的表情：蛇与蛇堆积在一起、按照数字排序的蛇、蛇与猪交替出现。突然，蛇消失了。很快 Swift 的推文回到了原来的方式：充满各种她与她的漂亮朋友身着泳装的照片，评论也全在夸赞 Swift 及其好友的美貌。

这不是一次偶然。在之前的几周内，Systrom 和他的团队默默地搭建了一个过滤器，可以自动删除用户回复中的特殊字符和表情。Swift 的蛇表情则成为了首个测试样例。9 月，Systrom 公开推出这一功能。用户可以点击按钮「隐藏不当评论」，该功能将屏蔽一系列公司选择的单词，其中包括种族侮辱和类似妓女之类的字眼。用户同样可以自行在其中添加关键词甚至表情，比如，蛇的表情。

Instagram 的工程师只是刚刚开始。10 月，Instagram 发布了系列工具，大致模仿一些可能会发生的事情，比如一个非常理解你的高中辅导员非法入侵了你的手机。如果你打出自杀这个词，就会弹出一个小方框，写到「如果你正在经历困难的事情，我们很乐意帮助你」。接下来的屏幕则提供了支持，包括防自杀专线热线。2 个月后，也就是 2016 年 12 月，公司允许用户可以关掉任何指定推文的评论区。有时候人们只想独自说些话，并不想与别人讨论。

怀疑者可能认为这些改变本质上还是对商业有利。广告商们喜欢在满是正面言论的地方花钱，名人们则喜欢人们无法嘲弄他们的地方。年轻人在感觉到安全的情况下或者如果父母没有让他们放下手机，他们会将其账户公开。

然而，只要与 Instagram 的人讨论，无论是 Systrom，还是下面的员工，你都会感到这是一场发自内心的运动，而并非只存在于表面。Instagram 公共政策负责人，Nicky Jackson Colaco 表示，在社交媒体的浪潮下，她的孩子以及许多年轻人第一次接触的社交媒体都是 Insta­gram。「我们想要一个不同的世界」，她说。

三

如果 Instagram 想要构建这样一个世界，则不能仅仅以技术手段进行修正，比如自动删除蛇表情。因此，工程师开始了更复杂的工作。

在互联网上，从逻辑中分离无意义的信息一直以来都是人类的任务。但由于人工智能的出现，机器越来越擅长这样的工作。

去年六月，Systrom 参加 VidCon 活动期间，Facebook 宣称构建了一个工具来帮助计算机解析语言。该系统被称为 DeepText，它是基于单词嵌入的机器学习概念。当系统遇见了一个新的单词，它会尝试从相近词中推理其意思。如果西瓜的表情总是跟随右翼的迷因（meme）一起出现，则其中包含某种意蕴。分类引擎分析越多的数据，它就能变得越聪明。与我们一样的是，它需要时间学习；与我们不同的是，在一行中读到绿帽这个单词 72 次时，它并不会感到疲惫或是抑郁。

可以将 DeepText 看做一个被抹除了全部记忆的成人大脑，现在它将会全身心投入到你分配的任何与语言相关的任务。事实上，Facebook 有一个「冰室」里面放满了这样的大脑，公司将这些全部给予其工程师团队。一些被训练识别 Messenger 用户是否需要出租车；另一些被训练引导人们在 Marketplace 上售卖自行车。

（「我们想做的就是，我们想要一个不同的世界。」
Instagram 的公共政策负责人 Nicky Jackson Colaco 说。）

在了解 DeepText 之后，Systrom 意识到他的工程师可以训练 DeepText 来抵挡 Instagram 上的垃圾信息。不过，就像孩子学习语言一样，首先要做的就是人类对 DeepText 进行训练。因此，Systrom 搭建了一个团队对平台中海量的垃圾信息进行分类。

他们将评论标为垃圾信息和非垃圾信息两种，将其馈送给 DeepText。当 DeepText 在区分垃圾信息方面有了较高的准确度，获得工程师的认可之后，Instagram 在去年十月默默地发布了这款产品。

然而，Systrom 产生了一个更为复杂的想法：如果 Instagram 可以使用 DeepText 过滤刻薄的评论呢？忘了 succs 和互相关注（follback）吧。人工智能（AI）能够学习过滤更多含义不明确的内容吗？「去窗边 take a big L E A P out of it」这句话绝对是充满恶意的，但它却没有包含任何恶意的词汇。「别合拢，张开双腿，宝贝」这句话非常粗鲁。但是计算机可以识别吗？「面包像你母亲一样丰满」非常粗鲁，不知所云。但是这句话同样可以出自一个真正品尝过你母亲做的德国饼干的发小口中。

其他的社交媒体公司致力于过滤垃圾信息，但是 Insta­gram 使整个平台更加友好的新计划显然具有更远大的抱负。Systrom 告诉他的团队要奋勇前行。

四

Instagram 是一个初创公司，只有 500 名员工，大概一个员工对应一千五百万活跃的用户。同样，训练机器使其变得友好的团队也很小。去年六月，20 名员工中，一半使用立式办公桌，一半使用坐式办公桌，周围则是散落的一箱箱的消毒湿巾。每个人看起来都很年轻；团队的成员也很多元。带有头巾的女士在身着 Tim Lincecum 球衣的白人旁。他们的工作就是细细阅读评论并判断其是否符合 Instagram 的社区规范。

Instagram 在 2012 年首次起草了这份规范，尽管只有 1,200 词的简易版本对公众开放，但对于社交媒体平台起到了类似宪法的作用。（简单点说：请时刻保持尊重，注意着装）。然而，评判人可以接触到更多、更核心的规范，他们使用这些规范决定哪些内容违规，哪些没有。他们都至少会说两门语言，他们已经分析了超过 200 万条评论，每一条评论至少被审查过两次。

在处理大多数具有攻击性的词汇时，其中细微的差别至关重要。「如果你使用黑人词汇（N-word）来侮辱别人，这在我们的平台是不被允许的」，Instagram 的数据运营部主任 James Mitchell 说，其负责评判人的管理工作。「有一种例外是，你以自我指涉的方式使用词汇或者以自己的故事或者经历来反抗歧视」。

评判人将数据分类后，经过分类的 4/5 的文本都被馈送给 DeepText。机器学习所有的评论，寻找数据中的所有模式，好的分类与不好的分类进行比对。最终，Instagram 的工程师，与 DeepText 联手，基于推文的内容和其他特性，比如作者和评论者之间的关系，共同制定规则，以分辨负面的评论。公司同样使用一种度量—工程师内部称其为因果数（karma score），用来捕捉用户历史推文的质量。将制定的规则在没有被馈送给 DeepText 的那 1/5 的数据上进行测试，查看机器与人类评估的匹配度。

人类充满了偏见和矛盾，计算机却没有感情。但是机器仅仅是一些构建在其内部的规则而已。

机器给每个评论打分，分数在 0 到 1 之间—以 0.41 和 0.89 为界限—这是 Instagram 的一种可信度评判机制，用来判断评论是具有攻击性的还是不合适。分数越高，说明评论越糟糕，超越某一界限值，评论则被删除。Instagram 调整了系统，使其误检率只有 1%，这意味着 1% 由机器删除的评论交由人类评判后，可能会得出不一样的结论。

有时，使用机器就像是一种解决问题的最纯粹的道路。人们充满了偏见和矛盾，计算机则没有感情。但是机器仅仅是一些构建在其内部的规则而已。今年早些时候，文本分析公司 Luminoso 的首席科学家，Rob Speer 基于文字嵌入构建了一种算法尝试理解推文文本的情绪。他将算法应用于餐厅的评论，奇怪地发现，墨西哥餐馆似乎做的很糟糕。这使他非常疑惑，对数据进行了深度的探究。人们喜欢墨西哥的食物，但是系统假定他们不喜欢。最终，他发现了问题所在：「原因就在于系统通过网络上的阅读来学习『墨西哥』这个单词」，他写到。在互联网上，墨西哥这个单词经常与非法这个词汇有联系，对于算法来说，这意味着墨西哥是不好的东西。

当我告诉 Systrom 这个故事的时候，他很快回应到，「这太糟了」。然后他指出，他的评级不会基于这样的算法；他们会基于其人类评判人的判断。但是也许评判人会在某种情况下出现偏见呢？如果穿着 Tim Lincecum 球衣的那个家伙确实对一些针对高个子女性负面的事情敏感而对针对矮个子女性不敏感呢？如果他认为迷因很重要这个话题十分讨厌呢？或者允许出现呢？在那个房间所累积的偏见，随着在其 MacBooks 上的点击，将会造成过滤器的偏见，这将会对世界上 7 亿人产生影响。

该产品于去年六月首次推出，至今为止用户们的反馈似乎相当积极。事实上极少有人注意到，这个过滤器并不完美。它是有问题的，比如，在文化差异下，不同的词意味着不同的事情。它终止了所有使用 fag 这个单词的句子，即使它们很明显地与英国关于香烟的俚语有关。当「You need to check your BMI index」这句话来自于新的账号而不是一个经过验证的账号时，它终止了这句话。在分辨 Kanye West 的歌词时，它同样出现了问题。当经受测试时，「For my southside niggas that know me best / I feel like me and Taylor still might have sex / Why, I made that bitch famous」这段话的每一行都被屏蔽了。这些话并没有出格的地方，然而，Kanye 有更多自创的侮辱性句子比如「You left your fridge open / somebody just took a sandwich」。

Instagram 面临的一个巨大的风险在于过滤器可能会慢慢地改变平台的前景。当然，Instagram 大部分是图片，但是如果真正的争论或者有想法的批判开始出现的越来越少了呢？最好的想法可不总是积极而友好的。正如经常说的那样，Instagram 不能独立于手机而存在。Steve Jobs 同样也说过一些过激话，可能也会被过滤器所屏蔽。Systrom 想要创建的世界，可能不仅仅让人感到舒适，也可能是被净化过的世界。它也许会像是，迪士尼乐园。

当他去年六月发布产品时，Systrom 发布了一张由字母组成的心的形状的图片，并解释了他所做的事情。大部分反应是正面的，大家对此都纷纷表示支持。「这也太棒了啊啊啊！！！」、「太好了」、「感谢！」、「棒极了！」

但是一些批判性的评论并未被过滤器所过滤。人们有一次抱怨其非时间顺序的时间线。其他人仅仅认为整件事情很奇怪。但是一些读者，包括 @futures­trader，提出了中肯的忧虑：「我确实同意 IG 和 社会媒体已经沦为的恶意言论的污池，但是我希望我们不会因为一些不同意的评论和想法而沿着审查这条线越走越远」。

（James Mitchell，Instagram 的内容运营主任
管理一个内部评判者团队，该团队已经分析了超过两百万条评论）

五

在硅谷的检查线 — 不管它是什么 — 是扭曲的，或者至少是模糊不清的。政府的权利有宪法限制着来审查人们，但是私人的平台却没有。还有，自由言论的想法在硅谷一直以来都是核心问题。黑客道德准则，早期计算机编程人员信奉的宽松准则，为信息的自由流动明码标价。

2009 年，Facebook 公开宣布其任务是「使世界更加开放，互相连接」。同一年，伊朗的反绿色革命被简单地成为 Twitter 革命。「我们想要使网络上的想法最大化，我们一直相信更多的发言就是更好的发言」，Twitter 初创团队的一员，Jason Goldman 告诉我。2012 年，公司的一个领导层将平台称为「言论自由党派的言论自由的羽翼」。

现在那一段在 Twitter 的公司生活就像是天真的理想主义的时光：那些不明白性别歧视或者甚至是法西斯主义深浅的年轻人的作品，隐藏在人们的账号中。那时，号召言论自由的是那些想要打倒独裁政权的人们。现在它们来自于那些要求诉说种族歧视的事物的人们，并且不能称他们为种族歧视者。

然后，言论自由的观念在运营互联网的公司中被改变了。Facebook 在其消息递送（News Feed）出现错误后——某种意义上，言论自由·-也许帮助了 Donald Trump 的选举。也许不是巧合，公司在今年六月改变了其使命宣言。现在 Facebook 想要「给人们力量构建社区，并使世界更紧密」。最初的使命宣言模仿了 James Madison。这个则模仿了可口可乐的广告。

对于 Systrom 来说，这在简单不过：言论自由不意味着低俗推文的自由。他的网络不是一个公共的场所，而是一个人们可以选择是否使用的平台。当被问及这件事时，他会反问到，「言论自由是否只对部分人公平」？Jackson Colaco 更加尖锐地发表了类似观点。「如果平台的风气很差，导致人们甚至不想发表评论，他们就不会想要分享观点，事实上，你已经在威胁思想的表达」。

然而，她的评论引发了一个新问题：你如何能准确的知道什么时候限制言论才能帮助更好地发表言论？什么时候偏多什么时候偏少？这些问题都不好回答，Systrom 无视了这些问题并指出，Instagram 真的只是以最糟糕的那些评论为目标。「我们是在谈论更低的 5%。就像真的糟糕的东西。我不认为我们可以涉足灰色领域的任何一个部分」。

十年前，Tristan Harris 和 Mike Krieger 都在斯坦福著名的劝说科技实验室学习，他们在此学到了科技塑造行为的方法。他们两个一起开发了一款名为发送阳光（Send the Sunshine）的应用程序 — 这是 Instagram 现在正在研究的绘儿乐素描的原始版本。该应用程序可以促使在阳光充足的地方的朋友向天气阴沉地方的朋友发送照片。

Harris 在 Google 工作了几年，现在他在运营一个被称为美好时光（Time Well Spent）的非盈利项目，他发动了对抗社交媒体的战争。他选择的武器是：长篇报道。他开始获得广泛关注是源于大西洋月刊（The Atlantic）对他的报道，该杂志称他为「硅谷最有良知的人」。经 60 Minutes 报道，Sam Harris 采访后，他的声望与日俱增。「他们做的任何事情都是提升参与度」，他告诉我，提到了一些科技巨头。「你可以用上瘾代替参与，但它们的意思是一样的」。

Harris 与一个名为时光（Moment）的应用程序合作，该程序统计了人们花费在其手机上别的应用程序的总时间，并询问他们是否对其使用感到满意。99% 的人对谷歌日历（Google Calendar）感到很满意，96% 的人愿意把时间花费在 Waze 上。然而，大于一半的用户对其花费在 Instagram 上的时间感到不满，差不多每天 54 分钟。Facebook 做的更糟了 — 这是让人使用起来感觉第三差的应用程序，跟随在 Grindr 和 Candy Crush Saga 之后。

六

我在采访中提及 Harris 时，Systrom 笑了笑然后在我提出问题之前说，「我笑仅仅因为，任何人想要设计一些东西都是为了恶意地使人上瘾的想法有点牵强。我们试图为人们解决问题，如果这意味着他们喜欢使用该产品，我认为我们完成工作完成的不错」。

两位斯坦福的同学在一件真正重要的事情上达成了基本一致：人们使用科技的方法可能非常不健康。然而，Harris 想要公司「停止为了参与度而劫持人们的思想」。Systrom 想要这种参与包含更多的快乐。

在去年六月推出评论过滤器后，他开始从事一个相关的任务：提升用户反馈中的高质量评论。Systrom 没有明确说他将如何计算质量（quality），但是该变化大概会像，公司基于相关性而非时序对主要的反馈进行再分级时那样。其主要思想是对被称为模仿效果（mimicry effect）的加速。当人们看到其他人再说一些不错的事情时，他们也会说一些不错的事情。只关注头巾和 Lincecum 球衣的人很快会把他们的注意力放在一些新的地方。

Systrom 远大的抱负不仅仅是修复 Instagram。他的首要目标是彻底清理他运营的平台。但是，在这个我们全国对话日渐黑暗的时间，他同样想告诉大家那些荼毒网络的部分并非是不可避免的。「也许应该首先对其他公司发出这样的信号，然后开展创建安全和包容性的社区的国内和国际对话，这不仅仅为了我们的孩子而是为了我们的朋友和家庭」，他说，「我认为这会成功的」。

当被问及他的最终目标是否是使 Instagram 变得更好，或者是一种不易察觉的方式使人类变得更好时，他表示反对：「我确实认为它只是使互联网变得更好」。

一个更加平静、友善的网络就是更好的网络吗？也许吧。充满过滤的 Instagram，不会击倒专政。也许它将不会那么有趣。看到 Swift 完美的夏日晚会被一个绿色的蛇的表情打断确实很有意思。并且，找出互联网应该更加刻薄的论据很困难，尤其是在 Trump 执政期间，尤其是在该服务被众多的年轻人使用的情况下。

在七月中旬产品被推出后，在 Instagram 遭受悲剧时，该观点也许很快会被证实。Systrom 的好朋友，公司的高级设计师 Joy-Vincent Niemantsverdriet 死于一场游泳事故。Systrom 情绪失控在员工会议上痛哭。Instagram 是一个看起来比我们实际生活的世界好很多的理想乡。但是世界总有方法突破我们建造在自己周围的屏障。不到一个星期，Systrom 就发了一篇对他前同事的悼辞：「JV 支持 IG 所代表的一切。他支持工艺，不求回报的善待别人，通过好奇心观察世界」。

不论是否因为过滤器，还是因为人类的感同身受，在最初的几天，即使在网上，对这篇悼辞也没有任何的批判或者玩笑。有的仅仅是同情、悲伤甚至是理解——没有人让他停下来。