谭积极空怀满腔纠错热忱,硬生生被挡在了门外。
“麻烦让让。”莫远游路过时推了他一把,轻声嘀咕:“有你啥事?人家咋解决的,怎么可能会告诉你?”
眼镜哥很烦这小胖子。
拉了20多号人,牛气哄哄的。
有点破事就汇报,臭显摆。
显得自己的算法组很无能。
不像霁神,人家来帮忙低调得很,就一个人躲在小会议室里。
而且不懂的就问,连基础问题都跟自己请教……
谦虚!
四舍五入,等于自己也有功劳。
这就叫风度!
等钟景航、莫远游和测试组长进来,把门带上,王霁才开讲:
“针对伏羲芯片的3个痛点,我的改动也分成3个部分……”
“第1部分,是把任务固定分片改为动态分片,部署轻量RL模型,实时监测算力、网络、队列深度,动态调整。”
“第2部分,是在硬件层抽象出共享指令集架构,执行时规整化,加上双缓冲流水线、共享虚拟地址空间。”
“第3部分,是构建能效比预测模型,权衡任务分配策略,动态评估端侧能效和云端能源量,决定调度策略。”
“具体的做法,我写在一个文档里,注释也有,过程是……”
花了10分钟,把原理阐述一遍。
这几个思路,做算法的人并不算太难想到,莫远游也有类似尝试。
但有了大致方向,不代表就能有效实现出来。
涉及到动态调整和权衡,怎样做才达到最佳,必须经历大量实验、测试、总结、优化的过程,花大把的时间。
还有一些操作,则需要过硬的编码技术和重架构能力,比如:
抽象指令集、
调整数据压缩格式、
流水线执行、
共享虚拟地址空间,等等。
一句话,想实现这几个点,需要算法、编码和经验都做到顶级。
辅以少则一个月、多则小半年的时间最终落地。
灵云的方案只是在外层迂回,只有1周时间,绝对不敢做这种尝试。
而王霁2天就做到了,还是从几乎一无所知开始的。
这需要多精准的判断、多娴熟的编码技巧、多高效的测试?
不可思议!
绝对的不可思议!
钟景航脱口而出:“小王,你真是搞软件的神啊!”
趁莫远游他们还在请教,钟教授出去给潘院士打电话,告知进度。
“奇才!绝对是奇才!”这是潘院士的第一反应。
第二反应是:“可惜!他怎么不做学术?做学术绝对会出成绩的……”
除了科学家,他还有一层身份——
微芯董事长。
这个身份让他有第三反应,对钟景航嘱咐:“解决方法需要申请专利保护,你跟小王说下,看能不能联合写……”
钟景航也立刻醒悟过来,连忙答应。
回到会议室,语气有些踟蹰:
“小王啊……”
“我们能不能申请成专利?”
“我的意思是,你跟我们一起写,署名权是你跟微芯一起。”
“这不是抢你的成绩啊,毕竟是商用嘛,我们想保护伏羲芯片……”
作为大学教授,他对论文、专利署名权是很重视的。
极其憎恶抄袭、窃取成果的行为。
但作为cEo,他得保护公司技术,明知道思路是王霁自己想的,活也是他一个人干的,却不得不提联合申请。
开口就很不好意思。
说完脸都红了。
连带着,莫远游他们都有些尴尬。
王霁淡淡一笑:“钟教授,您太客气了啊,本来就是解决你们的问题,当然是你们申请专利,我不需要的。”
钟景航喜出望外,连声感谢:“专利奖励一定发给你!”
王霁摆摆手:
“别客气。”
“让莫总他们来分吧,他们写的。”
“这些天他们也很辛苦!”
“要不是莫总帮忙,我也搞不定。”
格局,这就叫格局!
莫远游今天的心情很摇摆……
一大早还在质疑,后来是惊喜,再是羞愧,进门后是敬佩和仰慕。
此时则是心悦诚服、五体投地,笑容满面道:“难怪王总年纪轻轻就做副总裁,技术深不可测,气量更深不可测啊!”
钟景航笑吟吟握住王霁的手:
“小王,你帮了我大忙!”
“之前说有重谢,这就别推辞……”
朝属下员工使了个眼色,让他们出去,自己要说其他事。
莫远游几人正要走,王霁忽然扬起左手:“先等等,我还有个提测。”
啊——
会议室的人都惊呆了。
莫远游问:“还有提测是什么意思?那几个点是分批提的么?可是,刚才我们测试验证都没问题了啊……”
钟景航也一脸诧异,猜不出王霁的话是什么意思。
王霁笑吟吟道:“不是那几个点,那个问题我昨天就搞定了……”
将电脑屏幕转了过去:
“我看代码的时候,还发现个问题……”
“你们处理大模型高稀疏矩阵效率很低,无效占比计算超过65%。”
“而且,用的加速方案需要固定稀疏模式,无法适配动态稀疏。”
“如果稀疏矩阵的非零元素位置随机,你们cache命中率下降了50%多。”
“多核并发计算时,稀疏任务分配不均,闲的闲死,忙的忙死。”
“我就顺手解决了……”
他对着电脑滔滔不绝。
丝毫没留意到,几个人表情越来越诡异。
听着听着,已经没在看电脑,而是将目光都锁到他脸上。
王霁继续说方法:
“我的优化策略是……”
“首先,增加稀疏模式检测单元,实时识别矩阵中的非零块。”
“用硬件实现自动掩码,根据当前稀疏模式来生成,跳过全零块。”
“然后,在Noc上集成优先级仲裁器,将稀疏计算任务拆分为细粒度子任务,高稀疏度任务优先分配至空闲核。”
“最后,利用你们芯片已有的稀疏、密集模式,增加动态阈值判断。”
“整体下来,transformer推理服务模拟测试延迟能降低50%以上。”
“因为减少了稀疏计算的能耗,边缘侧芯片推理功耗降低40%以上……”
这个问题,是其余红点的报错。
今天花大半天搞定的。
反正,闲着也闲着……
就当买一送一。
讲完后抬起头,看到几张几乎在淌口水的脸。
莫远游擦了擦嘴,转头望向同样找不着下巴的cEo。
钟景航怔了半晌,才反应过来。
咽了口唾沫,对王霁道:
“小王,这个问题是我们下个版本要解决的……”
“我们准备投入20个人,集中半年时间,争取在年底前攻克……”