任少卿没有立刻回答。
他皱着眉头想了几秒，像是在确认这个问题有没有什么陷阱。
“提取局部特征，逐层抽象。”
这是教科书级别的标准答案。
顾屿点了点头。
“局部特征。”
他重复了一遍这四个字，语气很轻。
“你注意到了吗，你自己说的局部。”
任少卿的眉头皱得更紧了。
顾屿没有继续追问。
他站起来，走到会议室角落那块白板前面，拿起一支黑色马克笔，拔开盖子。
“我打个比方。”
他在白板上画了一个长方形，里面写了一行字：今天天气真好，我们去公园玩吧。
“这是一句话。十二个字。”
顾屿用笔尖点了点第一个字，
“假设你是一个卷积核，你的窗口大小是三。你一次只能看到三个字。”
他用笔在“今天天”三个字下面画了一个框。
“你站在这个位置，你能看到'今天天'。然后你往右滑一格，看到'天天气'。再滑一格，'天气真'。”
任少卿没说话，目光牢牢锁在白板上。
“每一次，你都只能看到三个字的范围。”
顾屿的声音不急不慢，
“你把这些小碎片一层一层地拼，拼到最后，理论上你能拼出整句话的意思。这就是CNN干的事。拿一个小放大镜，一小块一小块地看，然后靠叠加很多层来慢慢扩大你的视野。”
他停了一拍。
“你的残差连接解决了什么问题？解决了叠加层数时信号衰减的问题。换句话说，你让这个放大镜可以叠很多很多层了，不会失灵了。这很了不起。”
任少卿听出了这句话后面跟着一个“但是”。
果然。
“但放大镜终究是放大镜。”
顾屿用笔尖在那行字的第一个字和最后一个字之间画了一条红色的连线。
“如果这句话的第一个字'今'和最后一个字'吧'之间存在某种关键的联系呢？你得叠多少层，才能让第一层的卷积核'看到'最后一个字？”
任少卿的嘴唇动了一下。
“图像上你感受不到这个问题。”
顾屿把笔盖盖上，转过身面对任少卿。
“因为一张照片里，猫的耳朵和猫的眼睛挨得很近，它们天生就在一个局部窗口里。卷积核天然适合干这个活。”
“但如果有一天，你要处理的东西不是图片呢？”
会议室里安静了几秒。只有中央空调出风口的微弱嗡鸣声。
“比如一篇文章。”
顾屿说。
“比如一整本小说。第一章的伏笔，要到最后一章才回收。中间隔了几十万字。你的卷积核要滑多少次才能把它们联系起来？”
任少卿没有接话。
顾屿没有急着往下说。
他把马克笔放回白板槽里，走回座位坐下，端起桌上已经凉透的茶杯喝了一口。
给任少卿留消化的时间。
大约过了半分钟，任少卿开口了。声音比之前低了半个调。
“你的意思是，卷积这个操作本身，在某些任务上存在结构性的缺陷。”
“不是缺陷。”
顾屿纠正他，
“是边界。每种工具都有它的边界。锤子钉钉子很好使，但你不能拿锤子去拧螺丝。”
任少卿沉默了更久。
然后他抬起头，眼睛里的光变了。
不再是汇报实验成果时那种兴奋的亮，而是一种更深的、带着困惑和渴望的光。
“那如果不用卷积呢？”
顾屿等的就是这句话。
“你想象一下这样一种结构。”
顾屿的语速放慢了，像是在帮对方一起画一幅还不存在的蓝图。
“一个序列里有十二个字。每一个字，都能同时'看到'其他所有十一个字。不需要一层一层地滑窗口，不需要一步一步地扩大感受野。每个位置直接和所有位置产生联系，然后自己决定，我该重点关注谁，忽略谁。”
任少卿的第一反应是脱口而出的。
“计算量会爆炸。”
紧接着他的眉头皱成了川字，
“而且这不符合逻辑。如果不靠卷积的滑动窗口，也不靠循环网络的先后顺序，模型怎么知道这句话的语序？'我爱你'和'你爱我'，在这种每个位置同时交互的结构里，权重会变得完全一样，位置信息彻底丢失了！”
顾屿眼底透出赞赏。
不愧是任少卿，立刻就捏住了Self-AttentiOn最致命的七寸——位置编码。
但他没有立刻解答，只是微微一笑：
“对。”
顾屿点头，毫不意外。
“十二个字，每个字和其他十一个字交互，就是十二乘以十二，一百四十四次运算。如果是一千个字呢？一百万次。一万个字呢？一亿次。复杂度是字数的平方。”
他看着任少卿。
“所以关键从来不是这个思路对不对。理论上它是对的，你心里清楚。关键是怎么让它跑得起来，算得动，能工程化。怎么让一亿次运算压缩到GPU能并行处理的范围内，怎么把丢失的位置信息用数学手段重新注入进去。怎么让它不只是一个漂亮的数学公式，而是能真正训练出结果的工程方案。”
任少卿的手指无意识地敲着桌面。
顾屿看着他的表情。这张被雅安紫外线晒黑了一圈的脸上，正有什么东西在松动。
“这是值得你花一年甚至更长时间去攻克的课题。”
顾屿说完这句话，往椅背上靠了回去。
他知道今天说到这里就够了。种子已经种下去了。
任少卿是这个领域最顶尖的工程大脑之一，给他一个正确的方向，剩下的推导和验证，他自己会跑起来。
但方向只是第一步。
“少卿。”
“嗯？”
“残差网络的论文，一个月之内整理成稿，投CVPR或者ICCV。署名用'回响科技AI实验室'。”
任少卿愣了一下。
“回响科技AI实验室？我们有这个部门吗？”
“现在有了。”
“你牵头。”
顾屿看着他，
“实验室归你管，技术方向你定，我不干涉具体研发。至于五十层、一百层的后续消融实验，全部交给你那两个师弟去跑。你现在的核心精力，必须从代码里抽出来，放到这篇论文的撰写和新架构的统筹上。学会当一个实验室的主导者，而不是一个苦哈哈的程序员。”
任少卿神色微凛，认真地点了点头。
顾屿接着说道：
“作为老板，我只负责三件事。”
他竖起三根手指。
“第一，钱。研发预算我来批，你花多少我给多少，不设上限。九章基地那边的算力你继续用，不够我追加采购。同时我会让徐静在雅安预留出一整块独立区域，专门给AI实验室的训练任务。”
任少卿的喉结动了一下。
“第二，人。光靠你和两个师弟不够。我给你调一个人过来。”
顾屿拿起手机，翻到通讯录里一个名字。
“楼天城。听说过吗？”
任少卿当然听说过。
搞计算机的人没有不知道楼天城的。
TOpCOder连续多年世界排名第一，GOOgle、FaCebOOk都抢着要的竞赛大神。
在国内计算机圈子里，“楼教主”三个字本身就是一座山。
“他在我们公司。”
顾屿说得云淡风轻。
任少卿张了张嘴，没发出声音。
“之前在另一个部门做底层框架的工作。我会把他调到你的实验室来。”
顾屿的手指在手机屏幕上轻轻敲了两下，
“你负责想清楚要做什么，他负责把你的想法变成跑得飞快的代码。你是发动机，他是变速箱。”
任少卿的呼吸明显急促了。
楼天城。
如果真的能跟楼天城搭档，那他刚才那个“计算量爆炸”的问题，就不再是一道无解的死题了。
楼天城在底层系统优化和高性能计算上，可能是全中国最强的那几个人之一。
顾屿竖起第三根手指。
“第三，论文发出去之后，全世界搞深度学习的人都会看到。到时候想来的人，我们敞开大门。薪资上不设天花板，只要是你看上的人，我不还价。”
他把三根手指收回来，双手交叠放在桌面上。
“论文就是我们的招聘广告。让全世界知道，中国有一个民间实验室，能做出这个级别的东西。”
会议室安静了很久。
任少卿低着头，盯着笔记本电脑屏幕上那条稳步攀升的精度曲线。
他的手指停在键盘边缘，没有动。
过了大概十几秒，他抬起头来。
“我有一个条件。”
顾屿挑了一下眉。
“说。”
“你刚才在白板上画的那个思路，每个位置直接看所有位置，自己决定关注谁，这套东西如果真的要做，光靠我和楼天城还差一块。”
任少卿的语速快了起来，像是脑子里的齿轮已经开始高速转动。
“我能把网络搭起来，楼天城能把它跑起来。但中间的数学推导。怎么定义'关注'这个操作，怎么用矩阵运算把它形式化，怎么设计损失函数让它可训练，我需要一个数学功底极强的人。”
顾屿嘴角动了一下。
“九章那边有个叫安德烈的，俄罗斯人。”
顾屿说，
“你接触过吗？”
“见过两次。”
任少卿的眼睛亮了，
“矩阵优化方面的直觉非常强，有一次他闲着没事帮我改了一版卷积运算的内存调度方案，效率直接提了百分之十五。”
“那就把他也拉进来。你去跟他谈。谈不拢的话告诉我，我来谈。”
任少卿站起身，缓了缓神。
他看着顾屿。
一个比他还小好几岁的年轻人。
但刚才这个人用二十分钟，把他未来一到两年的研究方向，掰开了、揉碎了、重新组装了一遍。
而且每一步都踩在了刀刃上。
“我今晚的航班飞回雅安。”
任少卿把笔记本电脑合上，塞进双肩包里。
“论文初稿，三周之内给你。”
顾屿没有点头，而是直接拿起手机拨通了陆知远的电话：
“知远，联系公务机公司，包一架今晚飞锦城的飞机。另外抽调两个高管级别的安保跟着。”
放下手机，顾屿看着愣住的任少卿，语气坚决：
“我说了，这个实验室的最高机密就是你脑子里的东西，或者那个物理层面上一杯咖啡就能报销的U盘。从今天起，别再让我看到你挤经济舱。”
任少卿握着包带的手指紧了紧，喉咙里堵得慌，重重地点了点头。
他拎着包走到门口，拉开门，突然又停住了。
“对了。”
他回过头，
“这个实验室，叫什么名字？”
顾屿愣了一秒。
然后他转过身，走到白板前面。
白板上还留着刚才那句“今天天气真好，我们去公园玩吧”，留着那条横跨首尾的红色连线，留着一堆歪歪扭扭的框和箭头。
顾屿拿起马克笔，在最上面的空白处，落笔写下了两个字。
九天。
任少卿看着那两个字，嘴里默念了一遍。
“九天。”
“嗯。”
顾屿把笔盖盖上，没有回头。
“九章之上，再攀一天。”
他皱着眉头想了几秒，像是在确认这个问题有没有什么陷阱。
“提取局部特征，逐层抽象。”
这是教科书级别的标准答案。
顾屿点了点头。
“局部特征。”
他重复了一遍这四个字，语气很轻。
“你注意到了吗，你自己说的局部。”
任少卿的眉头皱得更紧了。
顾屿没有继续追问。
他站起来，走到会议室角落那块白板前面，拿起一支黑色马克笔，拔开盖子。
“我打个比方。”
他在白板上画了一个长方形，里面写了一行字：今天天气真好，我们去公园玩吧。
“这是一句话。十二个字。”
顾屿用笔尖点了点第一个字，
“假设你是一个卷积核，你的窗口大小是三。你一次只能看到三个字。”
他用笔在“今天天”三个字下面画了一个框。
“你站在这个位置，你能看到'今天天'。然后你往右滑一格，看到'天天气'。再滑一格，'天气真'。”
任少卿没说话，目光牢牢锁在白板上。
“每一次，你都只能看到三个字的范围。”
顾屿的声音不急不慢，
“你把这些小碎片一层一层地拼，拼到最后，理论上你能拼出整句话的意思。这就是CNN干的事。拿一个小放大镜，一小块一小块地看，然后靠叠加很多层来慢慢扩大你的视野。”
他停了一拍。
“你的残差连接解决了什么问题？解决了叠加层数时信号衰减的问题。换句话说，你让这个放大镜可以叠很多很多层了，不会失灵了。这很了不起。”
任少卿听出了这句话后面跟着一个“但是”。
果然。
“但放大镜终究是放大镜。”
顾屿用笔尖在那行字的第一个字和最后一个字之间画了一条红色的连线。
“如果这句话的第一个字'今'和最后一个字'吧'之间存在某种关键的联系呢？你得叠多少层，才能让第一层的卷积核'看到'最后一个字？”
任少卿的嘴唇动了一下。
“图像上你感受不到这个问题。”
顾屿把笔盖盖上，转过身面对任少卿。
“因为一张照片里，猫的耳朵和猫的眼睛挨得很近，它们天生就在一个局部窗口里。卷积核天然适合干这个活。”
“但如果有一天，你要处理的东西不是图片呢？”
会议室里安静了几秒。只有中央空调出风口的微弱嗡鸣声。
“比如一篇文章。”
顾屿说。
“比如一整本小说。第一章的伏笔，要到最后一章才回收。中间隔了几十万字。你的卷积核要滑多少次才能把它们联系起来？”
任少卿没有接话。
顾屿没有急着往下说。
他把马克笔放回白板槽里，走回座位坐下，端起桌上已经凉透的茶杯喝了一口。
给任少卿留消化的时间。
大约过了半分钟，任少卿开口了。声音比之前低了半个调。
“你的意思是，卷积这个操作本身，在某些任务上存在结构性的缺陷。”
“不是缺陷。”
顾屿纠正他，
“是边界。每种工具都有它的边界。锤子钉钉子很好使，但你不能拿锤子去拧螺丝。”
任少卿沉默了更久。
然后他抬起头，眼睛里的光变了。
不再是汇报实验成果时那种兴奋的亮，而是一种更深的、带着困惑和渴望的光。
“那如果不用卷积呢？”
顾屿等的就是这句话。
“你想象一下这样一种结构。”
顾屿的语速放慢了，像是在帮对方一起画一幅还不存在的蓝图。
“一个序列里有十二个字。每一个字，都能同时'看到'其他所有十一个字。不需要一层一层地滑窗口，不需要一步一步地扩大感受野。每个位置直接和所有位置产生联系，然后自己决定，我该重点关注谁，忽略谁。”
任少卿的第一反应是脱口而出的。
“计算量会爆炸。”
紧接着他的眉头皱成了川字，
“而且这不符合逻辑。如果不靠卷积的滑动窗口，也不靠循环网络的先后顺序，模型怎么知道这句话的语序？'我爱你'和'你爱我'，在这种每个位置同时交互的结构里，权重会变得完全一样，位置信息彻底丢失了！”
顾屿眼底透出赞赏。
不愧是任少卿，立刻就捏住了Self-AttentiOn最致命的七寸——位置编码。
但他没有立刻解答，只是微微一笑：
“对。”
顾屿点头，毫不意外。
“十二个字，每个字和其他十一个字交互，就是十二乘以十二，一百四十四次运算。如果是一千个字呢？一百万次。一万个字呢？一亿次。复杂度是字数的平方。”
他看着任少卿。
“所以关键从来不是这个思路对不对。理论上它是对的，你心里清楚。关键是怎么让它跑得起来，算得动，能工程化。怎么让一亿次运算压缩到GPU能并行处理的范围内，怎么把丢失的位置信息用数学手段重新注入进去。怎么让它不只是一个漂亮的数学公式，而是能真正训练出结果的工程方案。”
任少卿的手指无意识地敲着桌面。
顾屿看着他的表情。这张被雅安紫外线晒黑了一圈的脸上，正有什么东西在松动。
“这是值得你花一年甚至更长时间去攻克的课题。”
顾屿说完这句话，往椅背上靠了回去。
他知道今天说到这里就够了。种子已经种下去了。
任少卿是这个领域最顶尖的工程大脑之一，给他一个正确的方向，剩下的推导和验证，他自己会跑起来。
但方向只是第一步。
“少卿。”
“嗯？”
“残差网络的论文，一个月之内整理成稿，投CVPR或者ICCV。署名用'回响科技AI实验室'。”
任少卿愣了一下。
“回响科技AI实验室？我们有这个部门吗？”
“现在有了。”
“你牵头。”
顾屿看着他，
“实验室归你管，技术方向你定，我不干涉具体研发。至于五十层、一百层的后续消融实验，全部交给你那两个师弟去跑。你现在的核心精力，必须从代码里抽出来，放到这篇论文的撰写和新架构的统筹上。学会当一个实验室的主导者，而不是一个苦哈哈的程序员。”
任少卿神色微凛，认真地点了点头。
顾屿接着说道：
“作为老板，我只负责三件事。”
他竖起三根手指。
“第一，钱。研发预算我来批，你花多少我给多少，不设上限。九章基地那边的算力你继续用，不够我追加采购。同时我会让徐静在雅安预留出一整块独立区域，专门给AI实验室的训练任务。”
任少卿的喉结动了一下。
“第二，人。光靠你和两个师弟不够。我给你调一个人过来。”
顾屿拿起手机，翻到通讯录里一个名字。
“楼天城。听说过吗？”
任少卿当然听说过。
搞计算机的人没有不知道楼天城的。
TOpCOder连续多年世界排名第一，GOOgle、FaCebOOk都抢着要的竞赛大神。
在国内计算机圈子里，“楼教主”三个字本身就是一座山。
“他在我们公司。”
顾屿说得云淡风轻。
任少卿张了张嘴，没发出声音。
“之前在另一个部门做底层框架的工作。我会把他调到你的实验室来。”
顾屿的手指在手机屏幕上轻轻敲了两下，
“你负责想清楚要做什么，他负责把你的想法变成跑得飞快的代码。你是发动机，他是变速箱。”
任少卿的呼吸明显急促了。
楼天城。
如果真的能跟楼天城搭档，那他刚才那个“计算量爆炸”的问题，就不再是一道无解的死题了。
楼天城在底层系统优化和高性能计算上，可能是全中国最强的那几个人之一。
顾屿竖起第三根手指。
“第三，论文发出去之后，全世界搞深度学习的人都会看到。到时候想来的人，我们敞开大门。薪资上不设天花板，只要是你看上的人，我不还价。”
他把三根手指收回来，双手交叠放在桌面上。
“论文就是我们的招聘广告。让全世界知道，中国有一个民间实验室，能做出这个级别的东西。”
会议室安静了很久。
任少卿低着头，盯着笔记本电脑屏幕上那条稳步攀升的精度曲线。
他的手指停在键盘边缘，没有动。
过了大概十几秒，他抬起头来。
“我有一个条件。”
顾屿挑了一下眉。
“说。”
“你刚才在白板上画的那个思路，每个位置直接看所有位置，自己决定关注谁，这套东西如果真的要做，光靠我和楼天城还差一块。”
任少卿的语速快了起来，像是脑子里的齿轮已经开始高速转动。
“我能把网络搭起来，楼天城能把它跑起来。但中间的数学推导。怎么定义'关注'这个操作，怎么用矩阵运算把它形式化，怎么设计损失函数让它可训练，我需要一个数学功底极强的人。”
顾屿嘴角动了一下。
“九章那边有个叫安德烈的，俄罗斯人。”
顾屿说，
“你接触过吗？”
“见过两次。”
任少卿的眼睛亮了，
“矩阵优化方面的直觉非常强，有一次他闲着没事帮我改了一版卷积运算的内存调度方案，效率直接提了百分之十五。”
“那就把他也拉进来。你去跟他谈。谈不拢的话告诉我，我来谈。”
任少卿站起身，缓了缓神。
他看着顾屿。
一个比他还小好几岁的年轻人。
但刚才这个人用二十分钟，把他未来一到两年的研究方向，掰开了、揉碎了、重新组装了一遍。
而且每一步都踩在了刀刃上。
“我今晚的航班飞回雅安。”
任少卿把笔记本电脑合上，塞进双肩包里。
“论文初稿，三周之内给你。”
顾屿没有点头，而是直接拿起手机拨通了陆知远的电话：
“知远，联系公务机公司，包一架今晚飞锦城的飞机。另外抽调两个高管级别的安保跟着。”
放下手机，顾屿看着愣住的任少卿，语气坚决：
“我说了，这个实验室的最高机密就是你脑子里的东西，或者那个物理层面上一杯咖啡就能报销的U盘。从今天起，别再让我看到你挤经济舱。”
任少卿握着包带的手指紧了紧，喉咙里堵得慌，重重地点了点头。
他拎着包走到门口，拉开门，突然又停住了。
“对了。”
他回过头，
“这个实验室，叫什么名字？”
顾屿愣了一秒。
然后他转过身，走到白板前面。
白板上还留着刚才那句“今天天气真好，我们去公园玩吧”，留着那条横跨首尾的红色连线，留着一堆歪歪扭扭的框和箭头。
顾屿拿起马克笔，在最上面的空白处，落笔写下了两个字。
九天。
任少卿看着那两个字，嘴里默念了一遍。
“九天。”
“嗯。”
顾屿把笔盖盖上，没有回头。
“九章之上，再攀一天。”
为更好的阅读体验，本站章节内容基于百度转码进行转码展示，如有问题请您到源站阅读, 转码声明。
圣墟小说网邀请您进入最专业的小说搜索网站阅读高二分科，我选校花也选亿万身家,高二分科，我选校花也选亿万身家最新章节,高二分科，我选校花也选亿万身家 圣墟小说网！
圣墟小说网邀请您进入最专业的小说搜索网站阅读高二分科，我选校花也选亿万身家,高二分科，我选校花也选亿万身家最新章节,高二分科，我选校花也选亿万身家 圣墟小说网！