第5章 ,不被时代所局限
赵楠泡好茶,给每人分了一杯,“都别恭维了,来来来,喝茶。”
“正好口渴了。”陈然道了声谢,一口干了功夫茶。赵楠见他这牛嚼牡丹的样子,却一点也不心痛自己的大红袍,笑眯眯的又给他续上,还小心嘱咐,“慢点,别烫到了。”
正宗的武夷山红茶,色泽润红,清、香、甘、活,陈然喝到精华的第二、三泡,也慢了下来。
此时也有谈话的气氛,李开来就评价了陈然的那篇论文,“用混合系数结构化地扩大卷积神经网络的规模,简单高效,不仅超越了原来的精度,调参也降到原来的9.2%。”
训练一个神经网络,调参是最重要的工作,没有捷径可走,唯一的区别是,新手盲目尝试,高手靠经验,陈然则是有未来的成熟理论指导,思路清晰,手段精准。
“我记得你之前还有一篇论文,好像是《AdaBound神经网络优化算法》?”赵楠见陈然点头,就问道:“那个也可以节省大量调参时间,两者有什么区别?”
“哈哈,本质上的不同。”李开来拍手大笑。
陈然没有笑,认真解释了一句,“AdaBound是结合随机梯度下降和自适应矩估计,训练前期比较快速,后期又有很好的收敛性,对超参数不敏感。”
“混合系数缩放CNN的卷积核大小、个数,卷积层数等各个维度,主要是为了提升模型性能。”李开来抿了一口茶,再进行补充,“一个是整体架构,另一个是算法优化。”
“哦,这样啊。”赵楠尴尬了片刻,又爽朗一笑,自嘲道:“管理岗位待久了,学问荒废了不少……”
“我注意到,你论文中的卷积运算也不太一样。”李开来想了想,打了个比方,“像是压缩图片一样,对卷积进行了压缩?”
在计算机中,图像由像素点组成,用卷积核(最少3*3)比较图像邻近像素相似性,提取局部特征,比如边缘信息、颜色深浅……在运算时,传统卷积是不加以区分的。
“图像中存在大量低频信息,其实不用过多关注。”陈然举了个例子,“比如大熊猫,它身上毛色相近、背景色变缓慢的部分。压缩这些近似区域,可以减少算力消耗。”
神经网络的功能和规模成正比,隐藏层或者神经元数量增加,运算量也会线性暴增。随着AI走向成熟,算力要求也越来越高,是整个领域都要头疼的大事。
“这样一来,参数少了十倍,速度又至少是其他CNN的两倍,准确性还有提高。”李开来感慨,很是服气,“早上我看到Hinton发推宣传你的论文,影响力很大啊。”
“混合系数缩放的效果很依赖基线网络CrNet-a1。”陈然自信的一笑,他在设计CrNet-a1架构时,很注意简单、干净,以及迁移学习能力,为的就是广泛传播。
“我看到你对神经网络的使用,极有开创性。”自称学问不行的院长赵楠,却有独到精深的见解,“跟你之前的论文,《P对NP问题》有关联的吧?”
呃……
谈到这个,陈然就摸了摸鼻子,有点尴尬。
P对NP问题一直困扰着数学界,位列七大千禧难题之首,同时也是计算机科学领域的圣杯,关系到计算机完成一项任务的速度到底有多快。
三年前,陈然无意证明了它,还顺手投到了《数学年刊》……
说实话,陈然当时只是觉得P对NP难了点,居然卡了自己一个星期,有点意思,值得发一篇paper。
但他完全低估了千禧难题的受重视程度,不仅克雷数学研究所悬赏一百万美金,号称数学界诺贝尔的菲尔兹奖也是虚位以待,很快轰动整个学术圈,成为大家关注的焦点。
由于证明用到了多个数学领域的原理,需要各个领域的顶尖专家进行同行评审,出于学术的严谨性,暂时还没有结论……
但显而易见,辅脑就没有错误的知识!
问题是15岁,破解千禧难题……
这也太惊世骇俗了!
每每想起来,陈然都有些不堪回首,没经验啊,年少轻狂!
面对赵楠殷切的目光,陈然很不好意思,“神经网络本质是数学建模,存在大量并行计算,P对NP的解决有助于调整网络结构,进一步优化性能。”
新一代神经网络?
李开来和赵楠相视一眼,悚然动容。
神经网络从来不是完美的,从无法解决异或问题、到庞大复杂的计算量,再到梯度消失和梯度爆炸,速度慢,效果差,两度进入寒冬。
70年代以后的很长一段时间,学术期刊看到“神经网络”四个字,就直接当成垃圾拒稿,逼得神经网络之父Hinton将名字改成“深度学习”,才得以突围。
简单的理解,深度学习(其实还是神经网络)之于AI,等同于地基和大厦,它的进一步完善,将直接推动AI在各个应用领域的推广,意义堪比核弹!
赵楠知道陈然不会撒谎,他吞了吞口水,问道:“什么时候整理出来发表?”
这可是明晃晃的学术荣誉啊,也是江大的政绩。
辅脑当然有成熟的强智能神经网络,但是整理发表,还是系统的?
陈然就呵呵了,“缓两年吧。”
开什么玩笑,小时候不懂事,贸然解决P对NP,已经够陈然后悔的了。
这可是强智能的核心规则!
要知道,人工智能是全球范围内的科研竞赛,所有人奋力争先,理论再领先,最终还要靠强大的算力来落实。
然而在芯片领域,华国与西方的差距不是一般的大……
实际上,强智能神经网络已经被陈然实现,发论文只是烟雾弹,稍微展露一点皮毛,通告、迷惑一下对手。
公开就是资敌,放弃AI的垄断利润,跟二傻子有什么区别?
赵楠醒悟过来,就遗憾的不再追问。
话题又回到深度学习,陈然选择能说的部分,刚开始三人还有来有往,但随着问题逐渐深入,李开来也慢慢感到吃力,和赵楠一样,坐在那里插不上嘴……
陈然对神经网络的模型、调参、训练、低可解释性……目前很多根本性难题,都有独到和开创性的解决思路,这让赵楠和李开来大开眼界的同时,也是心神巨震!
把陈然送走后,李开来大发感慨,“太厉害了,见面更胜闻名!他在神经网络肯定有极大的突破,后生可畏,后生可畏啊!”
“你不看看他是什么人?学术宗师、首富之子,起点太高了!”赵楠叹息又羡慕,“自从陈然进入人工智能领域,两位教授不仅大把撒钱,还给他拉拢半个华国的人脉!”
“人和人不能比,也没法儿比!”李开来摇头苦笑,继而叹服,“这个陈然,以后绝对是人工智能的领军人,搞不好要开创一个时代!”
“哈哈!还用你说?”赵楠得意无比,笑得像只偷了鸡的狐狸,“当初陈然上大学,燕大、五道口……多少高校争得面红耳赤,差点打起来!哈哈,最终还不是江大力压群雄?!”
一般人抢着上名校,是给自己镀金,但有些人不同,他们能给名校镀金。
什么千军万马过独木桥?
不存在的。
陈然是名校宁可撕破脸,也要全力去抢的学生。