这个来自中国的知识提取引擎,看起来比百度还好用一丢丢
本文来自微信公众号「硅星人」(ID:guixingren123),作者杜晨,爱范儿经授权发布。
1
作为文字工作者,我每天都在跟搜索引擎打交道。
比如在写 Facebook 的财报新闻时,Google 可以告诉我它的实时股价、市值、近期高低点等非常有用的信息。
但其实,还有另一个工具比 Google 更好用,那就是 Wolfram Alpha。它比 Google 更进一步,可以用结构化的方式直接列出我可能需要的知识。
举个最简单的例子:我家带宽是 75Mbps (9.375MB/s),要下载一个 100GB 的文件需要多久?我可以直接用自然语言询问,Wolfram Alpha 不仅会告诉我答案,还会写出公式:
它不仅是一个数学工具,还是一个很好的知识聚合工具。比如最近电影《小丑》很火,如果我想写关于它的文章,上 Wolfram Alpha 一搜就能找到大量细节,包括并不限于影片信息、排名和票房等。
准确来讲,Wolfram Alpha 并非一个搜索引擎。它的官方定义叫做「计算式知识引擎」,可以用来回答那些没有公开答案,但是计算一下即可得到的问题。而且,它用结构化的方式去展现答案,而不是像搜索引擎那样,把链接一条一条列出来。
接下来介绍今天文章的主角:Magi,一个最近几天在我的技术圈朋友中间小有名气的工具。
Magi(网址 https://magi.com)看起来也像是一个搜索引擎:
但是只要玩上一次,就会发现,它和你印象中的所有搜索引擎都大不相同。
当我用它搜索词条「易烊千玺」时,得到了下面的结果。
首先,答案提供了对易烊千玺的几个关键描述,如「TFBOYS 的成员」、「00 后国民偶像代表」等。紧接着,它列出了关于词条主人的几乎全部的重要属性,包括由他出生年月、参演的影视作品、发表的音乐专辑等。
答案的结构化展现方式,和 Wolfram Alpha 颇有类似。
▲ 甚至连千纸鹤(易烊千玺粉丝代称)的应援色都答了出来
更有趣的是,magi.com 还答出了易烊千玺的几个近义项,比如他的昵称、代称和他所养的宠物等等。
有时候,Magi 还能给出一些令我忍俊不禁的结果……
输入了一下「新世纪福音战士」。答案的描述中有「业界有名的劳模」……
又搜了一下小岛秀夫,答案里的「专长」一项我也是醉了……
接下来搜了一下富坚义博。
可能因为职业生涯中大部分时间都在拖稿,magi.com 告诉我富坚的业余爱好是「画画漫画」……
当然,大部分时候 magi.com 给出的答案还是比较靠谱的。
搜索到的答案,每一条都会用以绿、黄、红三种颜色表示其可信度从高到低;在答案的右侧则会提供几条链接,用鼠标划过它们即可看到,答案是从哪个/哪几个具体的来源学习到的:
你会注意到,magi.com 的结果中,答案在正下方,链接跑到了右边,跟主流搜索引擎的用户界面完全是反的。
这就是 Magi 和主流搜索引擎最大的区别所在:链接对于它不是结果,答案才是。
这是因为 Magi 并非搜索引擎(尽管具有一些搜索引擎的功能)。它实际上是一个基于机器学习的知识引擎,能够检索和提取任何领域自然语言文本,将其中的知识提取出来,形成结构化的数据。
说得简单一点:
我们都知道,互联网上有着大量的,基于文本的信息,当中蕴藏着许多的知识。然而,计算机读不懂互联网上大部分的信息,因为这些信息往往不是以「性别:男」、「国籍:中国」这样的结构化形态,而是以自然语言的形态出现的。
比如,「埃菲尔铁塔的高度」是一个入门级的问题,因为早已有人整理出了正确的答案,写在维基百科和旅游网站上;但是想知道「埃菲尔铁塔的第二节电梯线路有多长」,就很难在搜索引擎上查到准确信息了。这是因为很少有人会把这些细节的数据,以结构化的方式记录在互联网上。
这就是 Magi 想要解决的问题:从开放领域的纯文本当中提取知识,并让其可解析、检索和溯源。
2
Magi 来自中国团队 Peak Labs,创始人季逸超在开发者圈子内也小有名气。2011 年,还在北大附中读书期间,他就独自完成了猛犸浏览器 iOS 的开发。次年,他只用两天时间就完成了 Rasgueado,第一个支持划动手势控制光标位置的 iOS 输入法。
2012 年,季逸超创办了自己的公司,继续推动浏览器和输入法项目。目前,Peak Labs 主要精力都放在 Magi 项目上,专注于背后的技术,以及相关商业产品的开发。
▲ 中间:季逸超
Peak Labs 并没有计划将 Magi 和 Google、百度之类的主流搜索引擎相提并论。把 Magi 做成一个「搜索引擎」,主要是为了让公众有机会能够体验它背后的技术,感受它能够提供的价值。
即便如此,看起来很像搜索引擎的 magi.com,实力还是不容小觑。事实上,为了这个示范性质的产品,Peak Labs 并没有选择小聪明的方式,从其他搜索引擎抓取结果,而是从零开发了一套互联网搜索引擎。
「我们的结果的摘要比一般的搜索引擎都长,是的,我们是故意为之。这足以证明我们的结果不可能来自其他搜索引擎,」季逸超在官网上写道。
根据用户输入问题、关键词和表达式的不同,magi.com 可以用不同的方式来呈现答案——具体的呈现方式也展现了 Magi 系统的能力。
比如,输入「打车软件公司」,Magi 系统可以把它知道的所有手机叫车公司,以「集合」的方式列在答案里。
而在百度上,得到的结果如下。可以看到百度的知识图谱也提供了类似的结果,只是看起来有四、五年没有更新过了:
再比如,如果输入「八角 大料」,Magi 系统会发现这两个关键词其实是同一个东西,它就会以「断言」的形式给出答案。
如下图,magi.com 告诉我,八角和大料是「近义项」,是「又称」、「也称」的关系。
Magi 系统可以 24 小时不间断地进行学习。它的时效性也还算不错,Peak Labs 宣称实时新闻当中的知识,Magi 只需要 5 分钟就可以掌握,而且还可以采纳新的信息源进行交叉验证,实现自动纠错。
如果你在 magi.com 的首页停留一会,就能看到它当前正在学习的链接:
除了自主开发的全网规模搜索引擎以外,Peak Labs 还开发了基于注意力机制的神经信息提取系统,不依赖无界面浏览器的分布式抓取系统(爬虫程序 MagiBot),以及支持混合处理 170 多种语言的自然语言管道。
这四者结合在一起,才是 Magi 系统的全貌。
作为 EVA 粉,这里不得不打断一下:Magi 以及它的四个子系统,名称全部来自《新世纪福音战士》(EVA 本身取材自圣经等其他西方宗教经典),而且命名里也有彩蛋:
- Magi(三贤者,多个系统组成的超级计算机)
- 搜索引擎 Ramiel(雷天使)
- 神经信息提取系统 Ireul(恐怖天使,拥有学习和进化能力)
- 自然语言处理管道 Arael(鸟天使)
- 爬虫程序 Matarael(雨之天使,外貌像蜘蛛)
Peak Labs 在官网指出,目前的 Magi 技术还没有完全成熟。
确实如此。目前通过 magi.com 可以观察到一些问题,比如很多可以在主流搜索引擎中轻易找到的答案,magi.com 给不出来(通常是因为它还没有学到)。
比如搜索「世界上最富有的人」时,我想要的是 Magi 能告诉我当前谁最富有,但它只能告诉我最富有的那一群人:
比如消歧义的把控,容易导致答案混乱(这一点季逸超自己在知乎上 [1]也有所提到):
▲ 隔壁老王不大可能是你的亲戚
再比如,碰到一些实在太「复杂」的词条,magi.com 就凌乱了……
不过正如前面提到,这个搜索引擎并不是 Peak Labs 的最终产品——他们的真正目的,是借助搜索引擎背后 Magi 系统的力量,提供企业级的服务。
Peak Labs 的官网指出,他们希望未来的 Magi 系统能够成为「知识领域的 ImageNet」。它已经展示出的开放领域信息提取能力,可以应用到企业客户所在的细分领域内,变成一个更加强大的信息抽取系统,让每一个领域、每一家企业都可以轻松地打造属于自己的知识图谱。
「也许在不远的未来,伴随着整个行业的进步,Magi 所构建的包容万事万物的结构化网络,将成为通向可解释人工智能的基石。」Peak Lab 的网站这样写道。
——希望这个愿景能够实现。(就算实现不了也没关系啊!拿 magi.com 搜些奇怪的东西,还是能得到不少笑料的……)
如果你对 Magi 的技术细节感兴趣,可以到 Peak Labs 网站进一步了解。季逸超在知乎的回答也做了更加详尽的阐述。
[1] 季逸超在知乎问题《如何评价 Peak Labs 出品的 2019 版 Magi 搜索引擎?》的回答 https://www.zhihu.com/question/354059866/answer/881655371
除了部分截图,其他均来自 Peak Labs 网站和前述知乎回答。