Sheng Xu's Blog

此刻，我正盘腿靠在爱丁堡古堡入口的墙边，下午四点的阳光有些刺眼，街对面是悉尼老乡Shirina在唱着抒情歌，熙熙攘攘的人群中不时投来奇怪的目光，或许认为蓬头垢面的我端着个macbook，也是个街头表演艺术家。 国内回来后的这四个月，发生了太多事，现在想想都有些难以置信。从五月底被喊进会议室，猝不及防的被通知外派开始，命运的齿轮似乎就开始转动。刚搬到一起的挚友永久回国，两人小组在 Anthropic / Annapurna 之间两头跑打两份工，在SF城里租了个小studio第一次零距离体验这座城市… 幸运的是，变动带来迷茫的同时，更多是成长。六月初，我和好友Serina被公司”租借“到了我们最重要的客户Anthropic，优化Claude系列模型在Trainium芯片上的性能。Ant 真的是我理想中的公司，像乌托邦，人人都为了同一个利他的使命而奋斗，每个精分的领域都有世界最顶尖的人才可以请教，一切决策从第一性原理出发，高效透明，互帮互助，没有政治和内斗。原来世界级的团队是这样的！原来我们的芯片上限这么高，但软件栈还有这么多可以提升的地方！工作之余，总觉得有学不完的东西，常常看到一些精妙的设计而忍不住拍手叫好。尽管我的使命是留在Annapurna把芯片做好，但我愿意把Ant推荐给任何相信AGI，向往纯粹的小伙伴。 过了两个月没日没夜的生活，临时决定这周溜出来看看子扬念叨许久的fringe festival。昨天，最后一刻赶上了前往Scottish Highland的大巴，司机是一个穿着基尔特裙的爱尔兰老头 Ally（没错，只有在苏格兰才能见到穿着短裙大腿纹满身的猛男，还有长裙飘飘的兵哥哥），直接让我坐到了他的副驾。Ally 在学校研究的欧洲史，后来作为新闻记者走遍了世界各地，现在半退休回老家开大巴当导游。我边吃着Haggis Pie边津津有味的听着苏格兰中世纪的爱恨情仇还有英式地狱冷笑话。听说我从SF来之后，他邪魅一笑，“so you work on AI?” 原来他还是一位忠实的deepseek用户，每天都问ai奇奇怪怪的问题：如果Mary Queen of Scots的第一任老公没死，欧洲史会有何不同？莱克星顿的枪声是杜恩手枪吗？他喜欢ai的客观公正，喜欢ai的积极、不扼杀想法，喜欢ai能找出相隔几十年的历史事件之间的关联。他笑着说，历史证明，每当一个新的技术到来，人们总是高估短期的影响，低估长期的影响。聊着聊着，后排来自世界各地的乘客们也讲起了ai在他们生活中的点点滴滴，不过他们都用ChatGPT，我自然是兜售了一圈Claude。第一次在硅谷外真切体会到ai在或大或小的改变人们的生活，与有荣焉的感到了强烈的使命感。 写着写着，Shirina已经唱完了最后一首歌，墙对面换成了一位叫Luke的钢琴疗愈师。街头的表演就是这样，你方唱罢我登场。听着琴声，我不禁想到，随着ai的崛起，世界上将诞生两个新兴产业：一是人工智能，取代的是脑力劳动；二是机器人，取代的是体力劳动。这几个月，我一直在思考，有了AGI(通用人工智能)后的世界会是怎么样的？常看到观点说，AI会取代掉人类的工作，很多人会丢掉饭碗，他们的人生也将失去意义。原本这也是我最大的担忧，但这趟旅程让我有了新的想法。 我长时间生活在美国和东亚的文化中，发现这两国的文化有惊人的相似之处。在美国和东亚的语境中，生产力是核心的价值体系，效率优先。无论人还是事，高效的永远是更好的。小时候学习的是深圳速度，长大后体验的是硅谷裁员和升职焦虑。”I have to be the best at everything, produce a ton of value, and earn a lot.” 可欧洲的文化不同，他们laid back，不紧不慢的生活工作方式常常被调侃。或许是因为高福利和生计不愁，或许是因为文化，欧洲人做事常常不只是为了生计或者”出人头地“，而是出自热爱而去追求内在修行。“I just want to do what I love, and continue to become better at…

刚回深圳就大病了一场。两天前还在湾仔海滨长廊，看清晨还没睡醒的摩天轮，巴士站台上盘旋的麻雀，路旁已经盛开的黄花风铃木；两天后就躺在床上一蹶不振，从白天睡到黑夜，从黑夜又睡到白天。这场一天一夜的梦，好像洗脱了几个月来身上堆积的一切压力，焦虑，和不安。黎明的第一缕阳光照进房间时，我觉得我又满血复活了。哈哈哈，又到了复盘人生的时候。 本以为感恩节假后工作的节奏会平缓下来。确实是想多了。AWS Trainium2 芯片的发布，deepseek 等新模型的出现，更多的大客户… 我们对于英伟达的追赶似乎进入了白热化的阶段。Neuron Kernel Interface (简称 NKI，也就是我们自己的 CUDA）的发布也让编译器团队的定位发生了巨变 – 从此，我们将一手支持全自动化优化，一手支持用户自定义的优化。 亚马逊也是不惜投入，从公司内外调来了各路高手，光是我们小小的编译器团队，就来了8位 principal engineer，个个身怀绝技。芯片设计团队和硬件团队也是众星云集。每天和这些学术界业界浸淫几十年的大牛一起工作，就像是有了十几个office hour 24小时向我敞开的老师，常常一句点拨或者血泪经验就能拨云见雾。感觉自己像小鱼儿，如饥似渴的向师傅们取经。我们终于是正规军了。 感到幸运的同时也感觉到了压力。如何把我们软件生态链的用户体验做到稳定，透明，可控，这是一项巨大的课题，也是补上我们和英伟达差距的最大一块拼图。于是上个月，在编译器团队的关键转型期，我开始给团队起草 tenets (信条)。 什么是 tenets? 亚马逊官方的解释是，tenets 是帮助团队在关键决策上达成共识的指南针，是深刻融入日常思考过程的信条。上了节内部学习的课程后，我就兴致冲冲的写了十几条。结果被大领导批的狗血淋头，因为我写的又臭又长且全是废话。“tenet必须要有张力”，他说。比如如果一条tenet是，我每天要睡够8小时，另一条tenet是我要好好搞事业，那凌晨2点项目还没干完的时候，是睡觉还是继续干活呢？ 经过了十几个版本的迭代和反复的修改，99字的六条tenets终于完成了。这可能是我人生中写过的最艰难的99字了。这是一次醍醐灌顶的经历。我看到了过去几年发展中我们饮鸩止渴的方向性错误，也重新思考了我们的产品定位。 回国的飞机上，我突发奇想，能不能给自己的人生也制定一套 tenets 呢？在此记录，仅供一乐。 1. Prioritize growth, even at the cost of short-term gains（成长第一，允许“吃亏”） 雷军说，对抗焦虑和迷茫的最好的解药，是成长。无论世界如何变化，时代怎么变迁，自己每天一点一滴扎扎实实的成长，才是最真实可靠的。我有几个很好的朋友，ta们总是承担的多一点，总是比别人付出的多一些， 看似是“吃亏”了，但我知道ta们其实收获了成长。同样的，年轻的时候多失败几次多遇些挫折，看似是走了弯路，实则比起一帆风顺收获了更多。我时常鞭策自己，要多走出自己的舒适区去尝试和体验新的事，才不会让自己的成长停滞。 最近读了一本很喜欢的讲心理咨询的书，叫 The Road Less Traveled。里面说到，真正爱一个人，是去滋养ta的灵魂成长（The will to extend one’s self for the purpose of…

半年前在人间蒸笼的罗马，半年后在冰天雪地的阿拉斯加，掐指一算，又到了总结人生的时候。 我们一大早搭上开往 fairbanks 的极光列车，十二个小时的旅程，列车员在站台上报备着车厢，一瞬间把我拉回了小时候最爱的 polar express。一个小男孩和他的伙伴，在圣诞前夕登上了前往北极的列车。 这是一辆只能坐着在马桶里尿尿的列车。列车长通过广播一点点讲着阿拉斯加的故事。讲到在denali深处的无人区里住着一个儿童画家，她和她的大白狗狗靠着每周六途经的列车补给物资。讲到这里小镇的镇长是一只击败了三个人的猫。 子扬在我身边已经睡熟了，手里是一本读了一半的禅与摩托车维修艺术，是本好书。感恩节的阿拉斯加，游客稀稀拉拉的，都是归乡的旅人。也许只有我们这种四海为家的游子，才会在这团聚的时节出来游山玩水吧。 这么多年过去了，心中的北极可曾变过？ 这半年，忙忙碌碌，忙着搞事业，忙着强身健体，忙着写niw，忙着招人，忙着见证朋友们的各种幸福，忙着学这学那。脑子习惯了从睁眼开始就像陀螺一样飞速运转，吃饭开车的时候都停不下来。作为上级的钦定牛马，每周80小时干了两个月，上一次这样的沉浸式体验好像还是本科写操作系统的时候（disclaimer: 我们组wlb还不错的，不是所有人都像我这么卷）。有一天，偶然抬头发现公司楼下的枫树已经染红了，才意识到入秋了。好像每天都只看着前方和脚下的路，忘了抬头看看树，看看云，看看路两边的风景。人总会向往自己缺失的东西吧，所以这半年最爱看的剧是去有风的地方，我欣赏谢之遥，喜欢他的洒脱，羡慕他们生活的扎实感。 好在我还保持了两个好习惯。一曰格物，去问gpt每件事背后的道理。二曰自省，每天和notion一起反省自己又做了哪些蠢事情。 三天后的12月2号，annapurna新的芯片就要正式发布啦。过去半年一切的努力都将尘埃落定，而新的征程，更重要的责任又即将开始。敬请期待 AWS re:Invent 2024，Trainium2。 这半年又有几件收获，在此记录一下。 1. 怎么带好一个团队 对我而言，当我学会了放下所有ego，就获得了成长的超能力！这是一种”founder mindset – 创始人的心态”。不用去争抢任何功劳，不用去纠结好点子是谁最先提出的，而是以把Trainium做大做强为己任，与各个组的人交流合作。我发现我的接触面和格局自然而然就打开了。有更多的人愿意来找我讨论各种问题，而每一次讨论都是一次吸收归纳好的信息和学习决策的机会。放下了ego，就会发现每个大佬和同事身上闪闪发光的点，每天跟他们在一起，学习他们的思考方式，交流方式，和执行方式。 特别喜欢 Five dysfunctions of a team 这本书。在读这本书之前，我开的组会无聊透了，每次都是我絮絮叨叨，一个个轮番“拷问”组里同事的进度如何。而自从改成了组员们轮流分享自己的项目，边分享边请大家问问题，组会就从一种煎熬变成了一件值得期待的事情，每周都能学到新的东西。随着大家对整套系统的理解愈加深刻，就能在讨论中提出质疑和健康的辩论，遇到难点就能停下来集思广益。 我发现帮助新来的同事，最有效的办法就是pair debugging，直播带着ta体验我日常经历的痛苦，解释每一份奇怪逻辑背后的历史遗留原因。每一位新同事都会带来一份新视角，是一次新的启发。而从定义清晰的小任务开始，一步步的分配更模糊更困难的问题，直到一天能把整个复杂的模块交给ta，这其中的成就感不亚于自己解决一件大难题。能建立一个互相信任的，高效的，相互扶持的团队，是一件多么美好的事啊，想想就觉得充满了能量。最近组里又来了几个超棒的年轻人，接下来一年可以大干一场了！ 2. 如何沟通 这几个月，跟着我的role model，R，近距离的观察他怎么带着一个几百人的团队破风前行。 有一天下午，我对另外一个组的沟通不足有所不满，直接闯进了R的办公室。日理万机的R停下了手中的事，先请我坐下，耐心的一条条听我说明白了问题的关键。然后他表示理解，安抚我的情绪并强调了我们所处的独一无二的历史机遇 – we are all working to deliver this amazing product that will be on all our track records。接下来一碗水端平，帮另一边说话，they…

罗马的教皇和深圳的马化腾的共同点是什么？ 他们现在应该都很热。 被四季如春的湾区宠坏的我，只觉得今年走过最长的路，就是6月罗马的石子路。35度的石子路。这第一天citywalk，就在广场上见证了伟大的意大利队欧洲杯出局。看得出来今天罗马人心情一般，遂决定溜回酒店。 不知不觉半年又过去了，又到了总结人生的时候 🙂 Life 我最近在努力做一个快乐的好人。 什么是好人？我不知道。但自从懂事以来，我好像一直学习的都是怎么做一个厉害的人，或是有趣的人。小时候还有济世救民为天地立心的情怀，读着武侠小说就想做个大侠，长大后耳濡目染的都是人善被人欺，等价交换，人要为自己而活。老好人和滥好人都变成了贬义词。 我好像背离了初心。现在的我，算不上一个好人。我性子有些急，嘴巴有点利，情商有点钝，是一个德行不足的人。这一年来，我每天反思的都是怎么精进自我，而很少思考怎么帮助他人。 在飞机上读《了凡四训》，心有所感。 “从前种种，譬如昨日死；从后种种，譬如今日生；此义理再生之身。夫血肉之身，尚然有数，义理之身，岂不能格天！” 虽然我过去犯下了不少过错，有时候对同事和父母不耐烦，有时候忙起来就冷落了朋友，有时候私下里乱吹牛逼口出狂言，但是以今日作为界限，诚心改过，行善积德，也犹未迟也。 毕竟我们自己对自己的认知和相信，是来源于自己做的每一件事情的。比如运动多了，我就是一个健康的运动的人；读书多了，我就是一个有文化的喜欢学习的人；干成事情多了，我就是一个行动家；做的好事多了，我就是一个好人。 我要在湾区开始修仙了（真是一个修行宝地呢）。修仙的第一步就是积累福报，从每天做好事开始。了凡四训的功过格里面说，“济一人饥”可以准一功，所以每天吃不饱的小伙伴们可以来找我，我请你吃chipotle。 那什么又是快乐呢？我也不知道。愤怒，伤心，和焦虑，这些情绪一出现我就知道了。只有快乐，很多当下觉得普通甚至辛苦的生活片段，回看的时候才觉得是珍贵，幸福，和有成就感的。 我是一个从小没怎么受过快乐教育的人。从小我被教的都不是如何开心快乐，而是如何做得更高更快更强，如何达成一个一个的目标，人生就像打卡节点一样。如果套用头脑特工队2里面的情绪，我似乎是anxiety和pride主导的，而joy被总是被抛在了脑后。 感谢有人教会了我，看到天上的彩虹，路边的花儿，晨间的鸟叫，朋友的小心意，也能很快乐。这对于一个INTJ来说真的挺难的。我专门在notion里面开了一栏记录“每天的快乐碎片“。几周后发现，记下的还是”游泳又学会了一个新姿势“，”猫猫又减了半斤“，“推荐信终于写完了”这些小成就，而不是捕捉到的生活中快乐的瞬间。 所以这是一个钝感的男孩，从零开始，学着感知生活的故事。 另外，记忆真的是个大漏勺。时间不仅会美化一切，还会把痛苦的回忆（熬夜赶project）变成快乐的（我怎么这么优秀）。这鼓励着我去尝试去做很多看起来困难的麻烦的事，因为不论酸甜苦辣，它们以后都会变成珍贵的回忆。 祝我修行成功。 事业 英伟达突破三万亿市值了。肉眼可见的感觉到，这个领域卷了起来，之前两年一发的芯片也变成了一年一发。 不过不夸张的说，Annapurna Labs 真的在蒸蒸日上:) 虽然还不能比肩英伟达，但是这一年来我们逐渐站稳了业界老二的宝座，和TPU一时瑜亮。这对于人数不到别人十分之一的我们来说，是个了不起的成就。能明显感觉到整个亚麻高层对此的紧迫感，从各个团队抽调强者和资源，短短半年Annapurna就扩招了将近一倍（还在疯狂扩招中）。 我们的mission是打破英伟达的垄断，democratize AI for everyone。所以我们一切都是对标英伟达，从自己设计芯片，自己设计整套软件栈（从编译器，深度学习框架，运行环境，到我们自己的CUDA），自己设计片间互联系统，互联芯片，和数据中心的交通算法，自己部署服务器。这套完整的技术栈加上和AWS强大的基建和用户基础，是我们和英伟达叫板的最大底气。 现在的差距在哪呢，其实硬件上很多方面我们已经不输甚至超过英伟达了，当然ASIC和GPU的底层设计思路差别很大不好直接比较。英伟达的护城河还是它基于CUDA的一套完整生态系统，是全世界那些基于CUDA写的库，是世界上成千上万习惯用CUDA来设计模型和优化算法的聪明人。 总结了一下，我们芯片现在干不过英伟达，还是因为我这块的工作没做好，任重而道远。啥时候软件做好做成熟了，用户体验打磨到最佳了，才是能真正华山论剑的时候。 （对不起，又打了个招人广告） 而处在这一切暴风雨中心的男人，我们Trainium的总指挥，那个永远精神矍铄的男人，那个默默扛下一切的男人，是一个让我发自内心敬重的人，无论是做事还是做人。 我曾经疑惑的问他，我未来该走什么样的路，并列举了团队里好几位我钦佩的大佬作为学习对象。他跟我说，他们都不是你，你也不是他们，你要走的只能是自己独一无二的路，一条深耕技术但又不忘沟通的路。必须在depth and breadth之间找到平衡，缺一不可。depth是静下心来屏蔽干扰去为团队解决最大的技术难题。breadth是横跨几个技术栈协调不同团队一起去做出项目。而最重要的是，无论做什么，都能从中获得快乐和成就感。 这一年来，我也从一个管理小白，被赶驴上架的学习如何带领一个小团队。在此期间我犯了很多错误，踩了很多坑，也让团队走了一些弯路。在此中总结了几点经验教训以供参考。 我一开始最大的毛病就是micromanagement。啥都想自己上。不仅一个一个小任务的派活，还事无巨细的过问，甚至越俎代庖帮别人写设计文档。这不仅影响了同事的积极性和创造力，也让我焦头烂额无暇兼顾自己的项目。其实一个团队要scale，最重要的就是ownership和delegation。每个人对待自己own的模块就像自己的孩子一样，从头设计打磨，主动的去思考怎么改进，主动的给自己派活，在这期间收获成长。而我需要做的，只是把正确的活给正确的人，把项目定义明确，然后时时跟进和做好模块间的串联沟通即可。慢慢学会发自内心的信任和仰仗同事们，是我学到的最大一课。 2. Tech lead 最重要的技能是开坑 基于上面这一点，最重要的就是给团队里的每个人找到合适的模块和大方向。当我碌碌终日，忘记为团队思考新的方向的时候，我们就容易陷入在现有框架内拆东墙补西墙的节奏，每天又忙又累却没有解决本质问题。而每个开出的新坑，一个新的优化或功能，就像一个新世界一样，为团队注入生机和活力。新坑往往在技术上有很大的困难，这时候就需要tech lead身先士卒去搭出初版的POC(概念验证)。这个过程最好是和后面会主导这个项目的同事一起，pair coding为最佳。另外，tech lead必须要提前思考过程中会遇到的绊脚石和难关，这样新坑才不会是坑人的坑。 3. 怎么跨团队的推进项目 跨团队的项目就像异地恋一样，推进的难度不是高了一点半点。然而芯片领域因为多个技术栈紧密结合，大的项目往往都是跨团队的。这里很重要的一课是，学会说他人的语言。我做的编译器，说的是编译器语，上层的同事们说的是模型框架语，底层的硬件大哥们说的是硬件语，互相沟通起来就是大眼瞪小眼，你说你的我说我的。其实每个团队都有自己不为外人道的技术难题（这个看起来这么简单为什么做不了？），也有自己不同的优先级和大方向。只有虚心学习和请教对方的语言，了解他们的痛点和难处，对方团队才会正眼看我。这时候才能结合以上“销售”自己的项目，定义清楚分工，在细节上达成妥协。可能这就是”对齐颗粒度“吧。 4. 第一性原理（first principles thinking） 第一性原理，指的是抛开现有的框架，从问题本身和基础的底层原理出发，重新通过推导来构建一个系统，以及发现真正突破的关键。…

飞机在JFK的雨夜中起飞，我的纽约三个月限时体验卡结束了。十月初才刚刚housewarming完的小屋，现在人走楼空了。一人一猫一大一小两个箱子来，一人一猫一大一小两个箱子走。 高中和大学时作为游客对纽约有偏见，觉得脏乱差，觉得让人难以呼吸。这次住进hudson yards，曼哈顿的心脏，我却get到了这座城市。 我喜欢我惟吾德馨的小公寓，喜欢大亚麻在中城的五个没有香蕉的办公楼，喜欢每晚加着加着班就晕倒在的沙发，毛毯和玩偶，喜欢清晨hudson river旁的阳光和跑者们，喜欢深夜开往法拉盛的空无一人的LIRR，喜欢健身房出门左拐的西府小吃，喜欢地铁口风雨无阻拉小提琴的老爷爷。 其实我的纽约生活和湾区有很大不同吗？好像也没有。初到NYC时热衷于各种丰富的活动，演出展览球赛歌剧探店。一个月后的周末活动又回到了熟悉的剧本杀打牌看电影踢球。不过在纽约，人和人的距离真的很近，好像走几分钟搭个地铁，就随时能到朋友家串门。 哦，倒是开发了一个新的爱好，citywalk。用双脚丈量世界。穿上小黑鞋，点上apple watch，戴上耳机，谁都不爱。穿过人群，穿过路两旁的人和风景，放飞思绪，常常能收获灵感和好心情。曼哈顿和巴黎的每个区真的都美的不一样，不同的季节和白天黄昏夜晚也都有别样的风情。 住着住着，我发现真正住进我心里的，是这座城市的生机和包容。每天从公寓推门出来，看着人行道上形形色色熙熙攘攘的人们，吸上一口大曼哈顿的新鲜空气，全身就由内而外充满了电，和对新的一天的期冀。有种活着的感觉。而深宵挑灯夜战时，看着窗外灯火通明的大楼和路上仍坚持营业的小贩和流浪汉们，就有种整座城陪着我加班的感觉。仿佛能听见这座城市的脉搏和心跳。 是的，在纽约，似乎活成什么样都是被允许的。你若是走在路上突然开始猪叫外加跳一曲disco，纽约客也只会见怪不怪。你想当艺术家，环保斗士，金融渣男，苦逼学生，或者我这样的加班狗，纽约都可以满足你。 在巴黎，我又一年一度的见到了我勇敢的朋友Echo，她边在伦敦巴黎探索生活，边追逐着读经济博士造福世界的梦想。我们聊到了人生课题。小的时候，总以为人生就是一道选择题。社会，家长，和老师把选项递到我们面前，我们只需在自己力所能及的范围内做选择。学校，按着排行榜和学区来选。补习班，看看其他孩子都在上些什么。爱好，看看学校里现在流行篮球还是悠悠球。价值观，看看知乎和微博怎么说。从小到大，自己真能为自己做的重要决定用手指都能数的出来。毕竟在我10岁时，我爸就为我规划好了荔园到深外到深中到清华的宏伟蓝图，尽管后来中道崩殂了。我很感恩我爸，但是回想我的成长轨迹，往往只是在一条为我规划好的道路上，努力多考那么5分10分。虽然我小小的叛逆了一下，去了美高。又小小的叛逆了一下，放弃了金融而选择了计算机，但这些仍然是没有什么风险的热门选项。 就算走出学校了，也有不少人继续做着选择题。从抛出橄榄枝的公司中选个体面的工资不错的最好压力不大的工作（找不到还可以转码），搞搞绿卡身份或是大城市户口，按照圈子公认的标准恋爱相亲，结婚生娃，然后带着孩子开始下一个选择题的循环。毕竟做选择题总是轻松的。ABC很明确，每个选项都是无数前人走过的路踩过的坑，他们的经验供我们参考。 可是，我是谁？对我最重要的是什么？我喜欢什么？擅长什么？ 我现在觉得，选择题，是这个社会最大的谎言。哪有什么选择题。人，生而自由。We forge our own paths and destiny. 无论贫富贵贱，我们都有决定自己人生道路的权利。 人生是一道填空题！至少，我希望我的人生是一道填空题。人生的选项是无穷无尽的。有很多选项我们看不到，是因为我们的认识水平和思维高度还不够。就比如我若是带着今天的认知穿越回中学时，我将会做出的选择开辟的道路，一定是当时的我无法想象的。还有很多选项我们本来看得到，但却被现实的束缚屏蔽。 最初醒悟时，内心是恐慌的。因为相比有标准答案的选择题，填空题太难做了。没有人能告诉你对或者错，每个人填上的空都不同。 那么，该怎么办呢？我浅显的想法是从本质出发。想清楚对自己最重要的事（无论是梦想，准则，健康，家人，朋友，还是快乐），观察总结这个世间的底层逻辑和客观规律。结合规律，以及自己真正想要的，对自己最重要的事，来填上这个空！ 或许你的答案是去太平洋的小岛上做一个艺术家，或许答案是去巴黎学甜点开一家自己的餐厅，或许答案是去解码人体DNA探寻生命的最终奥义，或许… 而我，经过多次citywalk的思考，越来越坚定，我现在所处的团队就是目前世界上我最想呆的地方。 Annapurna Labs 起飞了。我们的芯片，Trainium 和 Inferentia 起飞了。随着人工智能崛起的浪潮，我们成为了英伟达在AI芯片这个核心战场中最大的挑战者。我们正面击败了Google TPU，签下了在市场上所能获得的最大客户，OpenAI最大的竞争对手Anthropic。前二十的AI独角兽大公司，近半都成为了我们的客户。亚麻内部的全部AI相关service，都在往我们的芯片上迁移中。还有世界最强云端CPU Graviton 4的发布。2024年对我们将是决定性的一年。 阴差阳错，我发现自己竟位于暴风的中心！随着今年团队的飞速扩张，许多之前敢想不敢做的项目都提上了日程，我也从仅仅负责编译器中的几大优化模块，慢慢成长到参与多个跨团队软硬件结合大项目的设计。从底层芯片和内存的细节，一路学到上层模型的最新优化手段。虽然都才只学了皮毛，但看待芯片，编译器，和优化的角度已经完全不同了。 我也从一个只会低头写码的愣头青，开始恶补管理学书籍，学着带一个五六人的小团队。对我而言，最大的区别就是mentality shift。不再优先考虑自己的产出，而是学习怎么最大化团队的产出：怎么align top priorities，怎么才能让大家做他们既擅长又能收获成长的项目，怎么break down complicated tasks into actionable milestones，怎么推进跨团队项目。这些都是我的知识盲区，但被赶鸭子上架不得不学。好在身旁有好些现成的，不吝赐教的成功案例。 那天跟Anthropic的朋友聊。他说我们活在最好的时代，时代给了我们这些平凡的人能够影响世界未来的机遇。工程师的影响力从未这么大过。可这个机会或许转瞬即逝，留给我们做贡献的窗口，这个 window of contribution 或许并不长（虽然业内争议仍然很大，但根据最乐观的估计，2030年左右各方面全面超越人类的AGI就会到来）。所以要minimize regret。 以上，现在每天的工作就是怀着对人类未来忐忑的心情，疯狂的为AI的未来添砖加瓦。我也意识到必须回到我亲爱的湾区，回到这场风暴的中心，和我的战友们并肩作战。 总结一下纽约的这三个月呢，就是网球技术和加班实力有所长进，poker和升级一如既往的菜，走路走瘦了五公斤，最后一周告别巡演又吃回来了一半。 就是折腾。可怜的嘟嘟也跟着我一起折腾，变得更加见多识广了。回到湾区，该静下心来深耕事业，经营生活了。希望自己能找到内心的安宁

正好距离上次落笔总结已经半年了。这半年经历了许多，体会了许多，成长了许多，值得在此记录下来。 这半年，我悟到最重要的道理，是人生在于体验。体验阳光空气和小草，体验用双脚丈量世界的自由，体验发明和创造的快乐，体验没吃过的美食。也体验生活的酸甜苦辣，世事无常。在每一刻用心体验，然后感悟，学习，成长。就算碰壁，痛苦，那也活得真实，对得起自己。喜欢 Build 这本书中的一句话（这本书太棒了），The only failure in your twenties is inaction. The rest is trial and error. 从4月回到湾区后，我最大的感受，就是人生渐渐过成了两点一线。上班，下班，睡觉。偶尔上上这个课那个课，再偶尔和朋友聚聚。如果用字母形容我的生活，那就是ABCABCABC，偶尔加个D。 若是用计算机中的压缩算法来记录人生，这样规律的日子将被压缩的太过彻底，零星的闪光点就像相册里零碎的照片，是为数不多的点缀。我宁愿我的人生是pi后的小数点，充满未知的可能性，也不要是无限循环的小数点，一眼望到尽头。 湾区是一个温暖纯粹的地方。大家都在努力写码工作，在公司里摸爬滚打，为了生计打拼。但我总觉得，世界不仅仅是这一隅，也不仅仅有这一种生活方式，我还想看看和体验别的可能性。（像我的兄弟eddie一样，他的人生实在精彩） 所以我决定搬来纽约。 我学到的第二个道理，是要聆听自己的内心。以前有许多想做的事，我往往逃避不去实施，然后把原因归咎于种种客观条件来安慰自己。久而久之，心就沉寂了。 而这半年，我对自己最满意的一点，就是做了几件跟随自己心声的事，哪怕它们听上去多么的不切实际，也要去尝试，去踏出第一步。比如报名歌手赛的时候，我做着能登上大舞台的梦，想了想自己的三脚猫功夫又觉得那么遥不可及。可是我发现，一天天的排着，练着，我遇到了Allen，遇到了Matthew，找到了黑衣团的小伙伴们。他们帮助我，激励我，我们一起完成了我想象不到的事。 又比如，我年初脑中设想的算法和框架，纯凭直觉和一腔热血，自己都不知道有几分把握。好在manager和tech lead选择了相信我，给我团队和时间，现在真的一步一步实现和落地了，想想也觉得不可思议。其中最难的一步，我遇到了我的实习生hongyi。我们一起攻克了难题，写出了心心念念的论文。 最后，我能来纽约，现在回想也只觉庆幸。亚麻对remote员工的清剿和HR给的压力且不提。纽约9月的房源就跟湾区的单身女性一样稀少，我一度找的快要绝望了。就在将要放弃的时候，幸运的遇到了特别好的两个房东，转给了我120分满意的房子。 当你真心渴望某样东西时，整个宇宙都会联合起来帮你实现。我现在越来越相信这句话，感激所有路上帮助过我的人。我慢慢的学着，和自己的心做朋友，听它的焦虑，它的不安，它的渴望和梦想。心想要的，我就尽力做到自己能力范围内能做到的最好，然后不再操心剩下的。虽然这半年也发生了些让我感叹命运不公，大骂操蛋的事，但想想自己已经做了一切力所能及的事，不留遗憾，便释然了。 我学到的最后一个道理，是幸福并不在于达成一个个目标和milestone。每次完成checklist上面的事，短暂的快乐过后，紧接着就是空虚和来自下一个目标的焦虑。我慢慢发现，我的幸福感来源于和朋友家人的intimate relationship，来源于探索新事物带给我自由的感觉，来源于一杯奶茶，一个善意的微笑，一个美好的瞬间。 另外，最近有好些朋友问我关于AI芯片的事情，就顺便在这写写。像电器需要用电一样，跑ChatGPT这样的大模型就靠AI芯片。现在市场上绝对的领军者仍然是英伟达的GPU（A100, H100)。不过最近半年，我们团队，AWS自研的Trainium芯片，也逐渐有了一席之地，在内部外部都有几百个客户，有隐隐超越Google TPU成为第二大玩家的趋势。相比GPU，我们的优势在于在重要模型上更快更省钱，劣势在于软件链不够成熟，暂时还不能像GPU一样给客户无缝的体验。这是除了英伟达以外几家大厂和创业公司目前的通病。最近，得益于全球GPU产能短缺，我们吸纳了几个极重要的外部客户，团队的压力也是与日俱增。听亚麻CEO说，我们可能是未来几年AWS的number one team，目标是让未来的AI算力市场不被英伟达一家独大。 所以现在我们团队还在大力的扩招。这半年已经扩招了30%，接下来一年可能还要增长一倍。我们招做编译器优化和算法的，招做芯片设计和架构的，也招做机器学习的。如果有3年以上工作经验，聪明靠谱的朋友，请一定推荐给我！尤其是在纽约的算法好的朋友，因为如果我能在纽约招到人，说不定老板就能大发慈悲让我长留下来。 人生的列车就这样不停歇的开着，载着我们各自去往未知的远方。但我也提醒自己，不要总是匆匆赶路，要经常停下来，看看路上的风景。 接下来的半年，我对自己最大的要求，就是做一个快乐的小许，继续勇敢的探索生活和世界。

上个月在深圳时，我回了小学和初中，见到了多年未见的老师们，和她们班上的小朋友们进行了亲切交流。整体感受就是，大家既关注更担心AI的发展会怎么影响教育的未来。比如，如何知道作业是学生写的还是GPT写的？学校教的东西以后还有用吗？未来还需要老师吗？ 作为一个自封的教育工作者，最近我也一直在思考这个问题。AI的发展，对教育究竟是福音还是噩梦？ 多年来，在教育界我有几个最佩服的人。其中一个是Sal Khan, 公益线上教育平台Khan Academy的创始人。还有一个是罗博深教授，他一直致力于在世界上普及数学教育。最后一个是Mor，我大学的恩师也是CMU教课最好的老师之一。 这个月来，我学习了他们三人对AI和教育的观点，并融合了一些部分，在这里记录一下。 下面这个是Sal刚刚做的TED演讲，强烈推荐。 AI对教育的好处 AI对教育的好处是显而易见的。教育资源将会无限！不再会有教育资源不平等！人人都能接受到最优等的教育！ 在未来，每个人都会有一个贴身的tutor（家教）。这个tutor上至天文下至地理无所不知，能够为你量身定做知识点和习题，也能批阅你的答案，给你最详细的反馈。它24小时在线，有无限的耐心，可以循循善诱，陪你一步步解题，在你卡住的时候给出最合适的提示，在你做错的时候通过提问引导你找到做错的原因。它还能跟你配合，从构思故事开始，一步步写出写文章，激发你的灵感。 以后我们想学任何学科，无论是数学物理计算机，还是文学哲学心理学，甚至是跳舞rap吉他，都能从tutor身上学习。 教育资源将不再被天龙人们和做题家们垄断，只要你有一颗想要学习的心，人人都能低成本的接受到精英教育。教育的总资源和天花板会被大大的拉高。 对于农村和第三世界的孩子们，我认为这将是改变命运的。 当然，有一个大前提，就是要有一颗愿意学习的心。君不见，互联网的普及让每个普通人都能随时接触到前互联网时代的人一辈子接触不到的公开课，科普文章，和电子书。一个现代人掌握的学习资源，比古代最牛逼的帝王还要多。但是大多数人对这些资源是视而不见的，他们更乐意刷小红书和抖音。（别打我，我也刷） 可以预见，AI的发展会让教育资源再经历一次飞跃。但我们的教育系统真的能利用好这个飞跃吗？ AI对教育的危险 我想分三点来说。 第一，我们需要一套新的评价打分体系。 日常家庭作业不能再靠完成度来打分，因为都能通过AI作弊（作弊是阻止不了的，永远不能低估一个想作弊的学生的创造力）。必须得侧重于现场的测试与应答。在现场测试时，我们可以屏蔽掉一切能接触到AI的电子设备，让学生考试，或者做presentation并接受现场的问答。 另外，可以通过AI，让每个学生的考试试卷都不完全一样，比如如果你做错了这道题，那么接下来我就考你一个相关的知识点。通过这种方式，能够精准测出每个学生对每个不同知识点的掌握程度。 第二，我们需要一套全新的监督体系。 除了某些真理的斗士，大部分人想要坚持学习，还是需要老师，家长，和deadline在背后催促的。 在这一块，我们可以让AI tutor来帮忙督促学习。作为你的小导师，它非常清楚你学习的进度，有没有认真学，哪些知识点掌握的不好。所以它既是最好的学习伙伴，也是最好的监督者，一旦你偷懒就会提醒，再不成就打小报告给老师和家长。 第三，我们需要一套全新的 curriculum (课程设计）。 随着AI的发展，我们必须不断地重新思考，哪些是值得学的，哪些是不值得学的。学校的课程也必须不断灵活的调整，跟上时代发展的步伐。 否则，背了一堆知识点，学了一堆公式，结果十年寒窗，发现毕生所学皆被人工智能爸爸覆盖，只能毕业后去工地搬砖。 我个人认为，未来的教育，得要专注于方法论和思维能力，而不是一个个知识点和解题技巧。比如独立思考能力，辩证思维，知识框架，open-mindedness，逻辑思维，创新思维，想象力。所有的课程设计，出发点都应该是培养学生的这些能力。所以类似美国大学前两年的liberal arts education，是非常值得借鉴的。 而应试教育和全民卷高考，我认为在未来将不再那么重要，因为AI tutor会让好学校和差学校的差距变得更小。就算是清北的教授，也不一定教的比AI好。好学校的优势将更多体现在优秀的同学，国际视野的教授，和优越的研究资源。 总的来说，若是应对的好，AI将帮助我们的教育系统脱胎换骨，完成升级。 还需要老师做什么 有了AI的帮忙，老师的压力被大大减小了，不再需要改作业批试卷。知识点的传授不再是老师能提供的核心价值。老师们将有更多精力专注在别的事情上。 我认为老师将更像一个领路人，一个榜样，和一个心理辅导员，是学习路上最好的伙伴。老师给同学们传递对学科的热情，对世界的思考，以及自己多年积累的学习方法。老师给同学们讲知识框架，各种知识点之间的analogy和联系。老师也给每个同学提供单独的1对1聊天和心理咨询。 在并不富有的地区和国家，师资是极其欠缺的，而AI tutor的到来会让师生比的要求降到最低，一个老师能同时辅导好几百个学生。 另外，在课堂上，老师可以更多的做一个主持人一样的角色，来facilitate discussion，激发同学们的灵感。 我高中的时候，印象很深的是英语和哲学课上的圆桌讨论，同学们各抒己见，老师只负责引导讨论的方向。我总能惊叹于别的同学视角的清奇，从而意识到自己想法的局限性。 大学的时候，印象很深的罗博深教授的数学竞赛课。每堂课开始，他先在黑板上写下一道难题，但不讲解题的方法，而是让同学们大脑风暴。这些同学聪明的小脑瓜里什么千奇百怪的想法都有，几分钟就有几十个想法填满了整个黑板。然后罗教授就会从这些想法出发，引导大家一步步解题。令人惊讶的是，就算是一些起初看起来完全不着调的想法，也能用意想不到的方式解出题来。由此，既激发了同学们的创新思维和想象力，也让大家意识到不同的思路之间千丝万缕的联系，意识到数学里的条条大路通罗马。 上个月回CMU的时候，Mor跟我说，她上学期开了一门奇葩课，没想到火了。这门课只做一件事，博士们展示自己的研究，然后Mor给他们提问题，梳理思路。她非常尖锐，往往几个问题下来，就能击中关键点和研究的盲区，让许多博士恍然大悟。很多博士的研究方向其实跟她是不搭噶的，可是研究的思维和提问题的方式却是一脉相承的。 而就算是现在我学跳舞，我们的老师也让我们自己来跳，自己想动作，自己freestyle。他只帮我们调整动作，给出建议。他说，若是一辈子跟着老师跳，那最后也只能变成老师。只有自己去思考，自己去创造，才能跳出属于自己的风格。 上面的例子都是我认为极好的教学方式，也是我认为未来老师们能扮演的角色。 总结 AI把教育的上限拉到了无穷高，但却不能保证下限。下限需要整个教育系统和我们共同的努力。不过，不用悲观！AI虽然给教育带来了诸多危险，诸多挑战，但无一致命。我还是愿意相信，人类的教育将有一个光明的未来，人类的智慧也将会得到更高效率的传承。 最后，引用一段哲学家费希特的话：“教育必须培养人的自我决定能力，而不是去培养人们去适应传统的世界。教育不是首先着眼于实用性的，不是首先去传授知识和技能的，而是要去“唤醒”学生的力量，培养他们的自我性、主动性，抽象的归纳力和理解力，以使他们能在目前还无法预料的未来局势中作出有意义的选择。” （对不起，又鸡汤了，继续滚去加班了）

最近，我陷入了认知危机。表面上蓬勃发展日新月异的AI领域，却让人感到深深的焦虑。咱们人类的未来真的还掌握在自己手中吗？AI会不会失控？我们的子子孙孙还能快乐的生活吗？ 以前，每天干着活，还能说服自己是在为社会做一点微薄贡献。最近呢，总害怕是在助纣为虐。 今天偶然想到一个不成熟的管控AI的思路，让我重燃了对未来的希望，在此记录下来。 什么是AI Safety? 这一年来，AI的发展速度可谓疯狂。领域内绝大部分的顶级研究者都认为，通用人工智能（AGI）的到来只是时间问题了。5年，10年，20年？无论如何，我们的社会体系，法律体系，经济体系和外交体系，都还远远没有准备好。 简单来说，我们可以把智能（intelligence）理解成一个 information processing system。接受信息，处理信息，然后输出信息。我们的脑子，也就是人类的智能，只是无数可能的智能的其中一种而已。而现在即将降临的AGI，会是我们从未见过的另外一种智能，会是一个全新的物种。这个智能将会在各方面碾压人类，极可能是人类无法理解的。一旦AGI脱离管控，人类的未来将岌岌可危。 有人说，那我们能暂停AI的研究吗？上个月，有洞见的科学家提出了暂停6个月AI研究的提案，但很快就石沉大海。马一龙大哥，前脚在提案上签了名，后脚就给推特加订了一万个AI芯片。说到底，现在AI的经济价值太大了，这块大饼你不抢别人也会去抢。所以大家虽然都知道前途凶险，但还是各自卯足了劲儿往前冲。 “We’re rushing towards a cliff, but the closer we get, the more scenic the views are.” AI Safety & Alignment，研究的就是怎么才能让未来的AGI安全可控，只为人类的利益找想。 关于这个课题，强烈推荐Lex fridman的podcast，尤其是Max Tegmark的这一期。我的同事Daniel做的”The Gradient Podcast”也有许多相关的采访。走向AI Safety的第一步，就是唤醒大家的认知，让所有人都意识到这是一个多么紧迫和重要的问题。 我的想法 今天偶然有个不成熟的想法，希望能抛砖引玉。 我们知道，人无完人。我们每个人都会有善念和恶念，不可避免的日常会有一些离经叛道的想法。但是君子论迹不论心。换句话说，看一个男人，不要只听他说了什么，要看他做了什么哈哈哈。 作为一个对神经科学一窍不通的人，我粗浅的理解人脑可以分为一个“提供建议”的模块 (thought generation module – TLM)，和一个“做决定”的模块 (decision making module – DMM）。就像当我遇到很不爽的人，TLM会建议我和他干一架，但是有理智和道德的DMM会控制住我，让我乖乖回家。 AI系统也是一样的。现在的大模型和未来的AGI，不可避免的会产生一些对人类不利的想法。最麻烦的是，大模型和AGI如此庞大，按照现有的技术水平，是没法完全理解(interpret）和验证（verify)的。 我的想法就是，能不能把AI系统也分成两块。一块呢，是TLM，极度聪明极度复杂，可是毫无实权，只能提建议。另一块呢，是有实权的DMM，很小很集中，是人类可以完全理解和监管的，不用很聪明，只用鉴别建议的好坏。 现在的 GPT4，BARD，以后的…

飞机终于在香港机场降落了。我这个四海为家的流浪人终于快到家了。趁这个机会，总结一下最近半年的工作和生活。 人生出现了转机？ 我从小就是一个很难坚持的人，制定计划总是雄心勃勃，然后止于三分钟热度。书架上堆满了买来却没打开过的书，房间角落里摆着沾满灰尘的吉他和电子琴，都一年没碰过了。 但是最近一个多月，我的人生发生了前所未有的改变，像一个做梦的人突然开窍了一样。以前天天趴在床上工作的我，可以一直在桌前工作了。每天都能坚持锻炼和冥想了。终于开始每天读书，读论文，思考，写作，学习新知识了。这一切并没让我像以往一样觉得压力山大，反而非常的快乐，真是难以置信。这一切都得从1月底，偶然重新捡起 The 7 Habits 这本书说起。 The 7 Habits 是一本可以指导人生的好书。作者讲了七个习惯，或者说七个人生指向标一样的准则。 其实我两年前就买了这本书，结果不负众望，读了2章就没坚持下去。一开始读的有多认真，放弃的时候就有多干脆 🙂。一个月前一个偶然的机会，我从书堆里捡出这本书，从第2章开始读起。那天晚上真是地转星移，醍醐灌顶，作者的每一句话，每一个故事都正中我的要害，帮我理清了最近一年工作上的种种问题。 最近一年来，我似乎每周都很忙。AI领域在飞速发展，我们团队也在飞速内卷。每周甚至每天都有新的模型，新的变种被发明，扔给我们去优化和编译。一年以来，我在这些新的模型中疲于奔命，每隔几周就换一个focus，不断在我们已有的算法上打补丁，上绷带。老板和上游团队给我什么任务，我就去做什么。 在当补丁侠的岁月中，其实我也萌生了模糊的想法，知道我们的几个关键算法都不是最优的，要改进并不能靠打补丁，而是得从头思考问题的定义，重新构建分析的框架。但这些想法每每还没成型，就被细碎的，短期的任务给淹没了。 我似乎很努力很累，但是我的工作是没有方向的，没有重点的，无头苍蝇一般，每天都只着眼于自己眼前的任务，自己的一亩三分地。想来都惭愧，我来了团队有2年了，直到半年前我竟然连最基础的深度学习模型，transformer 的细节都没弄清楚。 Begin with the end in mind 7 Habits 的 Habit 2 – begin with the end in mind 说，人一定要想明白对自己最重要的是什么，想不明白的话就想想你的墓志铭要怎么写。然后把最重要的事写成一份 Misson Statement，以此来指导生活中大大小小的决定，知行合一。 我想了想，发现解决这些短期的任务，对我并不是最重要的事。最重要的是不断的学习和成长，是写出一套真正好的核心算法，让我们的芯片能像GPU一样 general，optimal，and stable，从而在根源上解决这些反反复复出现的问题。 我开始和同事一起疯狂补论文，从最基础的transformer补起，到最底层的硬件优化。几个月来，我发现我的眼界开阔了，终于能把故事从上到下串起来，讲通了。再回过头去思考优化和算法，好似站在更高的层面抽丝剥茧，终于看清了问题的本质。 所以从1月起，我跟老板申请，从头重新写几个核心的算法框架 – layout, tiling, and loop fusion。并且通过文档和开会让更多的同事理解了算法，都能来帮忙解决短期的任务。到现在，前两个核心算法的重构都已初见成效，感觉终于触摸到了这几个 NP 问题的本质和近似最优解。老板也非常开心。 我发现，有了明确的目标和长期努力方向以后，我在工作中不再迷茫了。我能清晰地看到哪些工作是不重要的，哪些是临时的应该应付的，哪些是有长期价值的，哪些又是需要深度思考重点攻克的。想明白了这些，我的工作竟然比以前轻松了。以前有段时间，每天上班我都行尸走肉，上班想着下班。而最近两个月，感觉每天的工作都充满了动力和干劲。 The 7…

2022/08/10，许晟 加了三个月的班，我们的Trainium芯片和AWS上的trn1 instance终于要面世啦！毕业后加入AWS Annapurna labs的这一年半，我学到了很多，也越来越喜欢这份工作。最近经常和朋友们聊起AI芯片和编译器这个飞速发展、激动人心的领域。在这里总结记录一下这一年的收获和感想。 1/ 我们实验室是做什么的 我们是帮AWS(Amazon Web Services)搞芯片的，又快又省钱的芯片。 Annapurna labs在2011年由几个以色列工程师创立，一开始以做CPU芯片为主。2016年被Amazon收购以后，就一直是AWS的”急先锋”。先是和EC2的团队合作，推出了AWS Nitro这个虚拟化系统，把EC2上所有实例都大大的加速。然后又推出了Graviton系列芯片，目前仍然是AWS上price performance最好的CPU芯片。Price performance就是用价格除以性能，在单位性能下，价格越低越好。对于那些每天都得跑成千上万次计算的大公司，用我们的芯片能让他们每年省下几百万甚至几千万美金。 最近十年AI崛起，掀起了一波机器学习的潮流。尤其是深度学习这个分支，应用到了我们生活的方方面面，比如各种app和网站的推荐算法，语音识别，视觉识别等等。深度学习模型的大小也在爆炸性增长，从几年前的几百万参数，到最近新出模型的几百亿参数。这些都对底层的计算平台提出了很高的要求。所以这些年，许多科技大厂都开始搞自己的AI芯片，各种芯片startup更是如雨后春笋。 AWS坐拥世界上最大的云计算平台，有极好的用户基础，当然也不甘落后。2018年，在AWS的AI战略布局下，Annapurna labs开始转型做机器学习芯片。从2019初的AWS re:Invent宣布，到2020年正式推出Inferentia芯片和AWS inf1 instance，是当时云端上深度学习inference price performance最好的instance。Inferentia是专门为深度学习设计的芯片。这种专门为一个领域设计的芯片叫ASIC。ASIC牺牲了普适性，但是收获了高性能。 这里提一句，深度学习分为training和inference两步。深度学习模型先经过training把所有误差降到最低，然后就可以开始投入使用，也就是开始inference。training的过程是很难很慢的，大的模型需要训练几天甚至几周。好在过程是一次性的，一个train好的模型可以被不断的被使用。与此相比，大的商用模型每天要跑上万次inference。所以一般来说，inference才是公司支出的大头。Inferentia芯片就是专攻inference。 Inferentia面世不久就收获了许多大大小小的客户。在Amazon内部，我们最大的客户是Alexa，用我们的芯片把Alexa加速了25%，成本降低了30%。在Amazon外部，我们最开始的客户包括Airbnb, Snapchat, Pinterest等，后来又逐渐吸纳了Bytedance, Facebook, Apple等大公司。 Inferentia获得成功之后，团队又开始马不停蹄的开始下一代芯片Trainium的开发。Trainium不仅在inference上面比Inferentia强了许多，而且支持training。经过了两年的努力，Trainium芯片和相应的trn1 instance终于要正式上线了！ 这里必须提一下业界老大哥Nvidia英伟达。Nvidia从几十年前就开始造GPU，经验丰富。这些年他们接连推出T4, A10G, A100等针对机器学习的GPU。根据2020年的市场调查，Nvidia在AI芯片的市场占比在80%以上。有趣的是，Nvidia和AWS其实是紧密的合作伙伴，T4/A10G在AWS上叫G4dn/G5 instance, A100在AWS上叫P4d/P4de instance。 我们芯片的原理和GPU完全不同，不过我们必须得比GPU的性能更好才能吸引到顾客。我们的Inferentia在最常用的那些模型上比G5平均快了30%，便宜了50%。 而新推出的Trainium，跟A100在GPT模型上一样快，便宜了50%。比A100在BERT模型上快了50%，便宜了2.5倍（BERT和GPT分别是目前最常用和最火爆的深度学习模型）。鉴于A100是目前市面上最快最强的AI GPU，所以Trainium也算是跟上时代了！ 另外，光有好性能还远远不够，顾客的体验和易用性同样的重要。对此，我们有一整套软件的服务。顾客从GPU instance迁移到inf1/trn1上，只需要在tensorflow/pytorch里面加不到五行代码。 当然，比起Nvidia的GPU、Google的TPU，我们在普适性以及软件工具链的成熟度上都还有很长的路要走。可是考虑到Nvidia和Google起步比我们早了几年，而且在这个领域都有上千人的团队；相比来说，Annapurna labs上下不足200个工程师，我所在的编译器团队更是缺人手，只有不到20人。只用了4年的时间走到这一步，我觉得我们很棒了！ 可以说，比起不少芯片的初创公司，Annapurna labs目前发展的算是非常顺利了。除了团队的不懈努力外，必须得感谢AWS这个独一无二，全球第一的云计算平台，为我们提供了源源不断的客源。后续我们的目标是继续以2年一次的频率推出更强的芯片。 2/ 我的团队 – 深度学习编译器 什么是compiler（编译器）呢？简单来说，编译器就像是一个翻译机，把程序员写的代码翻译成底层芯片能懂的语言（也叫ISA)。有趣的地方在于，一份代码有多种翻译的方式，不同的方式生成的结果在性能上天差地别。 所以编译器有两大功能： 翻译。这里得考虑到芯片的各种限制，生成的ISA必须是可运行的 优化。优化做得好，能让性能有几十倍乃至百倍的提升 在传统的编译器领域，最著名的编译器就是LLVM。LLVM往上能接收几乎所有计算机语言，把它们翻译成LLVM自己的语言（也叫IR)，往下能接通绝大部分底层的ISA。LLVM提供的核心价值是基于IR的一整套复杂优化。…