52书库【www.521cg.cc】第一时间更新《鲜奶甩卖，买一送妻》最新章节。
曲悠悠感到一丝悲凉：“你说的，这是关于…什么的问题啊？”
薛意又眨了眨眼：“哦，AI相关的数学问题。”
叮。心里有个微波炉热好了饭似的，曲悠悠也眨了眨眼，被动触发尬笑技能：“害，你这么说我就懂了嘛哈哈哈…”
其实也不懂。
所以你是在做数学题。
曲悠悠看着薛意严肃的侧脸，忽然有点想笑。
觉着薛意这人挺好玩的。
皱着眉头飙到150码，不是因为心情不好，是因为在脑子里解微分方程。
说起话来也好像AI啊，还是不说人话的那种。
中午在一个公路旁小镇停下来吃饭。
下车走进路边一家美式餐馆，薛意和陶予之刚坐下就开始聊。
陶予之从包里掏出平板，翻出一篇论文递给薛意：MIT那组的新预印本你看了吗？
把self-attention写成球面上的interacting particle system，证了一个token clustering的收敛定理。
证明本身挺漂亮的，Wasserstein梯度流那段构造得很干净。
薛意接过来，眼睛扫了一眼公式。
证明是挺漂亮的，但不能用。
她拿过一张餐巾纸，画了个球面示意图：他们的Lipschitz假设在实际的softmax下根本不成立，高维空间里梯度直接blow up。
你拿这个收敛率去calibrate真实的attention map，差两个数量级。
陶予之笑了一下。她太熟悉薛意的思路了。纯数学家看一篇论文先看证明结构美不美，薛意看一篇论文先看结论能不能拿来赚钱。
那你打算怎么修？
不修，换个框架。
薛意在餐巾纸上飞快地画了起来：我在想Ricci flow。
Clustering本质上就是曲率集中，Perelman处理奇点的那套surgery改一改，应该能给一个更tight的bound。
两人聊得旁若无人…
曲悠悠懵懵地看着两个神仙似的人叽里咕噜说了一堆什么都听不懂的话，还有来有回的，有点幽怨地开始怀疑自己的智商。
52书库【www.521cg.cc】第一时间更新《鲜奶甩卖，买一送妻》最新章节。
本章未完，点击下一页继续阅读。