管道的低鸣。
顾屿抄起触控笔点亮四块拼接屏,调出网络架构图和过去三个月的训练日志。
“林博士,搞技术的就不整酒桌寒暄那套了,直接看东西。”
触控笔尖敲了敲屏幕左上角的模块:
“雪浪纸走的是扩散模型路线,现在学术界主流的生成对抗网络,咱们全扔了。正向往图像里逐步加高斯噪声,反向用U-Net结合交叉注意力机制去噪还原。”
顾屿划动屏幕调出底层代码库:
“过去三个月,宋阳他们把五百一十二乘五百一十二分辨率的单主体生成跑通了,但眼下卡在两个工程死穴上。”
“第一,多主体交互时空间注意力溃散。文本编码器的语义特征在深层网络里互相污染,画出来的人手多长指头,或者背景结构错位。”
“第二,马尔可夫链采样步数太长。传统DDPM采样器得跑上千步,换成上个月刚改的加速算法,出一张高清图还得跑五十步迭代,耗时将近四秒。”
林元庆站在大屏前,脸上的客套笑意早收了。
他往前迈了半步,推了下无框眼镜,视线盯着顾屿笔尖划过的那几行红色损失函数公式。
来锦城前,林元庆读过顾屿挂名通讯作者的那篇《AttentiOn IS All YOU Need》。
但他毕竟在大厂待久了,总觉得这位年轻首富也就是把控个大方向,具体代码和数学推导肯定得靠底下博士生。
可刚听完这三分钟,林元庆后背有点发紧。
对U-Net跳跃连接层梯度消失的定位,对采样器微分方程求解器步长的拆解,这根本不是看几页汇报PPT能背下来的词儿。只有天天泡在代码堆里调参的总架构师,才能张嘴就来。
这年轻老板把扩散模型的底裤都摸透了。
顾屿没留意林元庆的脸色,手指在屏上一划,切出另一个打着加密水印的独立代码分支。
“全尺寸高清文生图算力开销太大,留给你接手后慢慢带团队啃。”
顾屿拿笔指着新模块,
“不过在死磕文生图之前,上个月我带宋阳他们把早期扩散底座剥出来一块,专门针对Inpainting做了轻量化裁剪。”
他在白板上随手画了个带缺口的方框。
Inpainting,图像修复与补全。
传统算法只能修点小划痕或者纯色背景,要是照片里抠掉个大活人或
本章未完,请点击下一页继续阅读!