者电线杆,只能拿周围像素硬涂,补出来糊成一团。
但用扩散模型做Inpainting,是先拿掩码把不要的残缺处圈出来,往局部注入高斯噪声。
模型读取缺口周围的光影、纹理和透视关系,再调用预训练底座里的现实世界常识,在噪声里一步步去噪重构,把缺掉的画面顺理成章地“脑补”出来。
顾屿点点屏幕上的延时测试数据:
“我让他们把参数量裁剪量化到两亿以内,锁死局部掩码的注意力感受野。不用它凭空画世界名画,只根据周围像素上下文,填补重绘局部区域。”
林元庆盯着测试对比图,脱口道:
“全局生成降维成局部条件重绘,计算量能砍掉八成以上,空间逻辑错乱也绕过去了。”
“就这个账。”顾屿把触控笔扔回笔槽,拍拍手,
“底层算法已经跑通了,柳云和周晨这几天正带人做黑盒封装,准备直接塞进九月即将发布的手机里。”
“塞手机里?”林元庆追问,“顾董,就算砍过显存占用,移动端跑起来也不轻松。打算封装成什么功能?”
顾屿靠在实验桌沿上,冲他眨了下眼:
“具体什么形态,用在哪块芯片架构上,先卖个关子。离九月十二号的联合发布会就剩半个来月,到时候林博士坐台下看实机演示。”
他顿了顿,指了指身后四块写满公式的大屏:
“这玩意儿充其量是个开胃菜,拿雪浪纸边角料攒出来的阶段性应用。雪浪纸往后要干的,是任意分辨率的秒级高清生成,把三维空间控制、骨骼姿态绑定全揉进底座里。再往后跟旁边的方寸山世界模型合流,直接从静态图推演到动态视频。”
顾屿看着林元庆:
“这些硬骨头,靠我这么个半路出家的甩手掌柜啃不下来。往后雪浪纸和视觉生成这块,林博士,你挑大梁。”
林元庆站在原地,没接话。
他在美国待了十几年,又在西二旗干了两年多。
在老东家的时候,每天一半精力花在写PPT给不懂技术的业务高管做科普,另一半精力用来跟搜索部门的老臣子抢显卡、争预算,改个立项方向能开十几个会扯皮。
外行指导内行,逼着研究院搞短期变现的噱头。
他宁可不要未归属的期权也要走人,就是受够了这口气。
现在脚下是掏空半座山的地下算力堡垒,对面是比首席科学家还懂行、却痛快把技
本章未完,请点击下一页继续阅读!