爱下书小说网 > 我的学习群里全是真大佬 > 第401章 李东教授真是“好人”
最新网址:www.aixiashu.la
    不过也正是这幅离谱的画面,让李东突然灵光一闪。

    他也顾不上眼前的诺维格教授了,而是直直的看着休息室里的三位巨头,脸上浮现出一个和蔼的笑容。

    “几位。”

    “咱们也别绕圈子了。”

    “我对ai的底层架构有兴趣,你们对我手里的降维算法有兴趣,这一点,大家心知肚明。”

    休息室里安静了下来。

    凯利三人交换了一个眼神……

    来了。

    “但我也实话实说。”

    “我那套内部闭源的2.1算法,是不可能放出来的。”

    “因为它存在理论缺陷。”

    “拿来跑一跑黎曼zeta函数的非平凡零点还行,可真要把它泛化到具体的工程级项目上,目前是不可行的。”

    这话李东说得脸不红心不跳,缺陷?你问问黎曼他答应吗?

    它不可能开源的原因,从头到尾只有一个……

    华夏现在还用着呢。

    听完这番话,对面三人眼明显露出了失望的神色。

    不过就在这时,李东话锋一转。

    “但是。”

    “我已经公开出去的那套1.0算法,其实是能够无缝桥接到大模型方向上的。”

    三个人失望的眼中爆发出精光。

    要知道,1.0那套基底开源这麽些年,各家私底下其实都在偷偷跑消融实验做适配。

    底层的数学红利或多或少吃到了一些,可“无缝桥接”这四个字,那还没有人能做到。

    而现在算法的主人在他们面前,亲口说能嫁接。

    斯——

    凯利轻轻的吸了一口气说道。

    “李东教授,您……有什麽条件?”

    李东摆了摆手。

    “哎,要什麽条件啊。”

    “我觉得,学术这个东西,本来就是属於全人类的。”

    “你们有什麽跑不通的地方,都可以问,最好是关於pre-training(预训练)、底层通信网络、工程收敛这些方向的,越底层越好,都可以尽量问我。”

    这下对面三个人是彻底呆住了。

    唐杰也傻了。

    他甚至咳嗽了两声,想提醒一下李东。

    兄弟,你知道自己在说什麽吗?

    李东则是不动声色地,冲他眨了眨眼。

    唐杰到了嘴边的话,又咽了回去。

    而此时,对面那三位,反倒有点拿不定主意了。

    这是什麽情况?

    李东,是这麽好的一个人吗?

    天上掉馅饼,还是请君入瓮?

    可三人在脑子里把利害关系飞快地推演了一遍,愣是没算出李东这麽做能图他们什麽。

    倒是数学圈里一直流传的那句话,不约而同地浮上了三个人的心头。

    李东,是一个纯粹的学者。

    看来,并不是空穴来风。

    於是三人齐齐地冲李东点了点头,凯利的声音里,带上了几分真诚的感激。

    “谢谢您,李东教授,人类ai范式的跃迁,离不开您的贡献。”

    “不过,请您稍等我们一下,具体到底层算子和分布式架构的东西,我们还需要把公司的chief scientist(首席科学家)叫过来同您面谈。”

    朗和哈特也跟着点头。

    这种硬核的局,带商务vp团队来纯属白给,必须把各自家里真正控盘预训练、手搓cuda算子的大牛请过来才行。

    “那行。”李东痛快地站起身“人到了,你们叫我,我先去和外面的同行们交流交流。”

    三人一时没反应过来,下意识地问了一句。

    “李东教授,您要交流什麽?”

    李东理所当然地说道:“当然是交流我那套降维算法的工程适配呀。”

    “毕竟,这也是为了推动全人类开源生态的发展嘛。”

    说完他朝三人笑了笑,推门走出了休息室。

    三个人花了足足两秒锺才反应了过来。

    外面的大厅里可全是竞品同行呀。

    “该死!”

    凯利第一个掏出手机,几乎是用吼的。

    “雅各布?对,是我!你现在,立刻,马上,飞首尔!”

    “什麽叫没排上商业航班?让後勤直接把公司那架湾流g650推出来!当场报备航线,快!”

    “我不管你卡上还挂着几个千卡集群的消融实验,天塌下来也先给我把显卡全停了!”

    另一边,朗背过身去,语速快得像在抢答。

    哈特那通电话表面上声调平稳,握着手机的手都鼓起了青经。

    三通电话,三个号码,内容大同小异。

    於是乎这一天的矽谷发生了一桩极其罕见的事情。

    三家巨头公司的私人飞机,在同一个下午先後从湾区的跑道上拔地而起,它们的目的地都是……

    韩国,首尔。

    ……

    休息室外。

    唐杰找了个没人的电话,拨通了一个国内的号码。

    他把会场这边刚刚发生的事,原原本本复述了一遍。

    电话那头沉默了几秒,然後笑了。

    “唐教授,把心放肚子里。”

    “你呀,还是不够了解李东教授。”

    唐杰握着手机,怔了一下。

    “……行,我明白了。”

    挂断电话後,他抬起头。

    目光穿过大厅里的人群落在那个正谈笑风生的年轻人身上,神情说不出的古怪。

    ……

    展区的另一边,独角兽联合展台旁的咖啡台。

    两个挂着参展商工牌的人,正端着咖啡闲聊。

    其中一位是埃里克万斯,矽谷一家ai独角兽的联合创始人,兼首席科学家。

    他们家的招牌是long context与极速推理,两年前靠一手“百万级context window”的硬核绝活一战成名,估值一路狂飙过百亿美元大关,是这条细分赛道上跑得最快的黑马。

    下午唐杰领着李东在大厅里寒暄的时候,万斯就排在换名片的队伍里,还很郑重地做过一番自我介绍。

    此刻他正和一位欧洲基础实验室的研究员聊得起劲,余光忽然瞥见一道身影朝这边走了过来。

    万斯扭头一看,整个人立刻精神了。

    他连忙朝那位研究员抱歉地举了举咖啡杯,丢下一句“回头再聊”,便快步迎了上去。

    “李东教授!”

    “万斯博士。”李东笑着同他握了握手,连破冰的废话都懒得铺垫,开门见山。

    “正好碰见你,我想问问你有没有想过,把我那套降维算法1.0完完全全地适配到大模型的底层架构上去?”

    万斯脸上的笑容,僵住了。

    随後转成了狂喜。

    他不知道李东为什麽忽然问起这个。

    可李东都这麽问了,这天下哪有不吃白食的道理?

    万斯深吸了一口气说道。

    “想过!李东教授,我们不光想过,还砸了真金白银进去跑过消融实验!”

    “您的降维算法里的fft网格的非线性展开,本质上是在做高维流形的低秩逼近,对吧?”

    “我们就把这套思路端到了长文本的kv cache上。”

    “给key-value矩阵强做低秩投影,切掉尾部的奇异值,显存开销当场砍下去七成。”

    “跑常规文本的perplexity,指标很稳,ppl几乎不掉点。”

    “可一上niah的精确检索评测,recall就当场崩盘。”

    “後来做可视化才定位到,attention矩阵的奇异值谱,是个极其极端的重尾分布。”

    “模型里那几个专司精确检索的attention head,要在几十万个token里捞出那根‘针’,它们学到的特征向量全挤在谱的尾巴上。”

    “我们把尾巴这麽一刀切,等於直接把这几个head的眼睛给挖了。”

    “李东教授,您那套算法算zeta零点的时候,奇异值截断比我们猛得多,凭什麽您的尖峰特征就能无损保留?”

    他说的问题,信息密度高得吓人。

    周围几个竖着耳朵的参展商,已经不动声色地朝这边围拢了过来。

    李东慢条斯理地开了口。

    “你这个问题,算是摸到门道了。”

    “但你们的方向,从一开始就歪了。”

    万斯一怔:“错在哪?”

    “错在你们想靠暴力的‘砍’去收敛边界。”

    “在我的理论框架里,svd谱截断压根不是c位,那只是工程落地时顺手的後处理。”

    “真正的杀招,是截断前的那次非线性流形重排。”

    “零点,是zeta函数的特征指纹。”

    “你说的精确检索,是全局序列的特征指纹,指纹这东西脾气很怪,选错了基底,你给它留再高的rank它也存不住,扔进正确的正交基底里,rank 1就足够表达了。”

    “所以,你们直接在kv的原始特征空间里强做低秩,纯属南辕北辙。”

    ……略

    “等特征重分布做完,你再去切奇异值,error bound(误差上界)自然就收敛了。”

    万斯听得连呼吸都屏住了。

    听起来……数学逻辑上完全能闭环啊!

    “那、那这个非线性重构算子,该怎麽参数化?”他急切地追问。

    “这就得看你们对自家数据分布的先验假设了。”李东高深莫测说道,“流形重构是同数据分布强绑定的,我总不能越俎代庖替你们去定义你们自己的预训练语料吧?”

    万斯重重地点头。

    有道理。

    这话简直不能更有道理了。

    “不过,”

    李东随口地补了一句。

    “我倒是好奇一件事。”

    “你们费这麽大的劲,又是投影,又是重排,折腾来折腾去,无非是想把那坨越来越臃肿的cache压小一点,对吧?”

    “那你们就没想过,干脆,把kv cache彻底扬了?”

    万斯愣住了。

    把cache扬了?

    attention机制不带cache,那他妈还叫……

    等等。

    他的瞳孔,缓缓地放大了。

    不知怎麽的,他脑子里那些散落了快一年的拚图碎片。

    线性注意力(linear attention)的递推范式,状态空间模型(ssm)的隐状态方程,还有上个月组会上被他亲手毙掉的那份疯狂的rnn变体提案,在这一瞬间,被一条逻辑链猛地串了起来。

    如果,hidden state不再是存放kv对的死仓库,而是一个活的“学生”呢?

    万斯整个人,僵在了原地。

    而站在他对面的李东,端着咖啡,笑眯眯地看着他。

    与此同时,记忆宫殿。

    大厅的正中央,凭空多出了一座临时的小书架。

    书架上,静静躺着一份崭新的文献。

    李东走过去,把它翻开。

    【将“记忆”从静态的kv cache,重构为动态更新的权重矩阵。】

    【hidden state不再是堆叠键值对的外部显存,而是内嵌於backbone中、在inference阶段同步迭代的微型模型。】

    【序列建模等价於在线元学习(online meta-learning)。】

    【每自回归生成一个新token,即向该微型模型输入一条样本,“检索回忆”等效於一次forward pass,“上下文记忆”等效於一步gradient descent。】

    【至此,context window长度彻底摆脱显存墙(memory wall)的物理桎梏,仅受限於内层学习器的参数容量与遗忘门控。】

    【信息压缩不再是暴力的有损截断,而是一场由目标函数驱动的端到端表征学习……】

    【至於内层学习器的loss function该如何设计,其权重更新又该如何与外层backbone的梯度反传实现数学上的解耦……】

    文献到这里,断了。

    李东合上这半截思路,眉毛轻轻挑了挑。

    在inference阶段,依然持续做training的模型?

    把几百万的context直接压进权重里?

    好家夥。

    这帮ai极客脑子里憋着的狠活,可比他们挂在arxiv上的水文,野得多了。

    退出记忆宫殿,现实里不过才过去了一两秒。

    李东心满意足,朝着万斯伸出手,和蔼地笑道。

    “万斯博士,和你交流技术很愉快。”

    万斯下意识地握住那只手点了点头。

    他整个人,还在李东方才给他的那套“保谱非线性流形重排”里没出来。

    回去就让底座团队把重构算子的参数化方案,在合成数据上挨个跑通!谱头!得让针挪到谱头上去!

    等他回过神来的时候,李东已经走出去七八米远了。

    而李东一边走,一边在心里慢悠悠地补了一句。

    逻辑要是真能闭环,老子李东的名字倒过来写。

    ……

    平心而论,这事不能怪万斯博士不够顶尖。

    要知道,今天这座展厅里,坐着全世界小半个ai产业的智商天花板。

    可把这几百号人的纯数学功底统统加在一起,也未必够得上李东一个打的。

    所以李东随随便便偷换一个高维流形的概念,或者把他那套降维算法上的微分算子拆下来,重新包装进ai的黑话语境里,听上去就格外自洽,格外有第一性原理的降维打击感。

    什麽“指纹要扔进正确的正交基底”,什麽“强行让针从谱的尾巴跃迁到谱头”。

    句句符合直觉,字字切中痛点。

    可你真要拿着这几句话回实验室调参落实,烧上三个月a100就会发现一个朴素的事实……

    针要是他妈的知道怎麽自主跃迁去谱头,它还能叫针吗?

    这就好比一位物理宗师告诉你,实现常温超导的诀窍,是在电子撞击晶格之前,先给它规划一条没有电阻的绝对平滑轨。

    听的时候,醍醐灌顶,以为找到了发《nature》的捷径。

    跑的时候,loss爆炸,连显卡都得烧冒烟。

    ……

    而李东对此,毫无心理负担,毕竟李东也没骗人,只是给他们的路全是真的,但是没有细节而已。

    他端着那杯早就凉透的咖啡,在偌大的展厅里,一个挨着一个地薅了过去。

    在一家以sora类视频生成闻名的多模态公司展台前,他同对方的预训练负责人,切磋了一下“高维时序数据的流形展开”。

    十分锺後,记忆宫殿的书架上多了一份文献。

    【抛弃基於像素重建的视频生成范式,将其重构为可交互的world model(世界模型):输入action,自回归预测next state,让agent在隐空间的“世界梦境”里,率先完成对现实物理法则的低成本试错与先验对齐。】

    然後又在一家以模型可解释性研究出名的初创实验室那边,他同一位核心研究科学家,探讨了“高维隐空间内的稀疏结构”。

    书架上又多了一份……

    【模型内部的特征存在严重的polysemanticity,单个神经元往往身兼数职。】

    【引入稀疏自编码器作为外挂字典,将纠缠的特征解耦成单义的线性组合,再沿着计算图回路,对大模型的幻觉或越狱行为执行定点编辑。】

    再往後,是一位做非自回归生成架构的独角兽cto,聊的是“并行拓扑展开与采样收敛路径”。

    灵感再次+1

    【打破语言模型从左至右next-token prediction的强制因果约束。】

    【将全局序列视为高斯噪声,引入diffusion架构全序列并行去噪,在迭代采样路径中,赋予模型在隐空间内反悔与自我纠错的非马尔可夫演化能力。】

    一圈聊下来,记忆宫殿大厅里的临时书架,已经密密麻麻堆满了。

    李东站在书架前,望着那一份份字迹崭新的文献,由衷地发出了一声感叹。

    这些开源布道者,真是大好人啊。

    而与此同时,展厅的各个角落里。

    那些刚同李东教授做完深潜级技术交流的各路大佬,也都在心里发出了同一声感叹。

    李东教授,真是个开源先驱的好人啊。

    ……

    vip休息室的门口。

    凯利、朗、哈特,三个人并排站着,谁也没有说话。

    他们就这麽眼睁睁地看着,李东从算力芯片生态的展台,溜达到头部云厂商的展台。

    前一刻还在同他们竞品家的资深研究员谈笑风生,下一刻就同他们战略合作夥伴家的技术副总裁相见恨晚。

    全场上下,凡是工牌上印着scientist(科学家)或者engineer(工程师)字样的核心高管,几乎被他一对一深聊了个遍。

    而且每聊完一个,那些人脸上都会浮现出一种拿到神级paper一作般的潮红。

    三个人的心,一点一点地往下沉。

    也不知道,这帮家夥背地里又掏出手机给自家的算力集群下了多少调参指令了。

    哈特低头看了一眼手机上的航班追踪软件。

    地图上那三个小小的飞机图标,才刚刚飞过白令海峡。

    凯利也没有说话,只是再一次拨通了那个号码,对着听筒吼道。

    “雅各布,马上把pre-training组全员拉进线上会!”

    “在飞机落地前,把李东教授开源仓库里的每一行代码连带着底层算子,全给我逐行盘一遍!”

    

最新网址:www.aixiashu.la