「地表最快」AI 芯片发布,哈佛辍学的本科生挑战英伟达
在谈到 AI、大模型、算力等关键词时,如果要提及硬件产品,很多人应该会不假思索的说出英伟达。
一位华尔街分析师曾如此评论到:
人工智能领域正在进行一场战争,而英伟达是唯一的军火商。
的确,在 AI 时代下,英伟达的地位是独特又难以撼动的。但现在,有一位勇者准备正式挑战这一局面。
2022 年,Gavin Uberti 和 Chris Zhu 创立了 Etched.ai。他们从一开始就获得了包括 Ebay 前 CEO Devin Wenig 在内的 536 万美元的种子轮投资。
在刚刚宣布融资 1.2 亿美元后,Etched 又发布了目前的最快的 AI 芯片 —— Sohu。
此 Sohu 非彼搜狐,它号称可以在毫秒级别的时间里处理数千个单词。每秒能处理超过 50 万个 tokens,运行 Llama 70B 模型。
什么概念呢?这就相当于可以在两秒内写完《圣经》,或者一年写 15 万亿个 tokens。
据 Etched 官网介绍,Sohu 在硬件层面上集成了 Transformer 架构,是首个专为 Transformer 模型设计的专用芯片(ASIC)。
正是这种专用性,才为 Sohu 带来了性能的巨大提升。相较于英伟达 H100,Sohu 的推理速度相提升了 8 至 10 倍。
一个搭载八片 Sohu 芯片的服务器,可以取代整整 160 个英伟达 H100 GPU。
对于编程场景,Sohu 可以通过蒙特卡洛树搜索,并行相应数百个结果,给出最优秀的答案。
无论是语音助手还是智能客服,Sohu 都能做到在几毫秒内分析数千个单词。
并且 Sohu 还支持多重推测解码,可以以极快的速度实时生成新的内容。
作为全球首款 Transformer 专用集成电路(ASIC)芯片,每张 Sohu 芯片只有一个核心,使用了台积电 4nm 制造工艺,并配有 144GB HBM3E 高带宽内存。
相比英伟达的下一代 Blackwell(B200)GPU,Sohu 的速度提高了一个量级,价格也会更加便宜。
短短两年时间,Etched 从零开始成长到现在这番模样,实在是一个「奇迹」。
Chris Zhu 是一名华裔,他和 Gavin Uberti 一起创立了 Etched,二人也都有着丰富的背景。
Gavin Uberti 和 Chris Zhu 都曾就读于哈佛大学,度过了一段本科生活。后来出于一些原因,他们选择休学一年,并在 OctoAI 找到了一份实习工作。
当时二人的工作内容,主要是负责 ApacheTVM 开源编译器和微内核开发。但在实习时,他们发现 Arm 的指令集中的一些设计十分低效,使得他们的工作效率很差。
Gavin Uberti 说到:「这个问题无法解决,每次工作时我都得面对这个问题,这让我和 Chris 觉得我们必须做得更好。」
在思考如何解决这个问题时,他们突然发现可以利用这个思路来设计一款 AI 加速芯片。
于是两人便选择了从哈佛辍学,创办了一家专注于 LLM 的 AI 芯片初创公司 —— Etched。
在 Gavin Uberti 看来,通用公版设计无法带来获得突破性的性能提升,所以他们才研发 Transformer 架构下的专用加速芯片。
Gavin Uberti 曾说:
必须在单一架构上下大力气,让芯片处理 AI 任务,目标太大了,必须要针对更具体的任务来设计芯片…… 我们认为英伟达最终会这么做。
目前主流的 AI 产品如 ChatGPT、Claude、Gemini 和 Sora 等,都是基于 Transformer 架构驱动的。
作为全球首款 Transformer ASIC 芯片,再配上如此亮眼的成绩,Etched 自然也是吸引了一大波关注。
6 月 25 日,Etched 宣布完成 1.2 亿美元的 A 轮融资。这次融资由纽约风投机构 Primary Venture Partners 和 Positive Sum Ventures 共同领投。
其天使投资人阵容也十分强大,包括风险投资家 Peter Thiel、GitHub 首席执行官 Thomas Dohmke、自动驾驶公司 Cruise 的联合创始人 Kyle Vogt, 以及 Quora 的联合创始人 Charlie Cheever,
在 2022 年创立之初,Etched 就看中了 Transformer 将会占据主导地位的未来。Gavin Uberti 表示,「我们正在人工智能领域下最大的赌注。」
如果我们赌对了,Sohu 将改变世界。这就是我们敢于下注的原因。