着提出了另一个问题。
“模型架构不是最难的部分。”他站起来，走到白板前，抄起一支马克笔画了个简单的流程图，
“一亿五千万参数的模型，至少需要几百亿TOken的高质量语料来喂。十五亿参数那个，可能需要上千亿TOken。”
他在“数据”两个字下面重重画了一道线。
“我们现在有什么？西红柿小说和引力的内部数据虽然多，但现在的简易脚本根本算不上成体系的清洗管线。”
楼天城皱着眉头敲了敲白板，
“咱们这套1.0版本的管线洗出几百GB的语料勉强能用，如果要喂出十五亿参数，重复数据、低质内容全混在里面……直接拿去训练，模型学出来的东西会非常糟糕。”
“还有一点。”楼天城又补了一笔，
“如果未来想让模型具备多模态理解能力，光靠文本远不够。图像数据、图文配对数据，这些东西目前完全是空白。”
他转过身看着顾屿：
“千亿TOken级别的现代清洗管线、人工标注人力、图像语料来源。这三个缺口，任何一个解决不了，十五亿参数的模型就只是个空壳。”
顾屿没有回答。
他看着白板上楼天城画的那个流程图。
“不急。”
“数据的事情我已经在安排了。”顾屿语气云淡风轻。
楼天城点了点头。
“你现在要做的事情只有一件。”顾屿重新看向楼天城，
“利用你手上的并行训练框架，在最短时间内把大语言模型的底层架构搭起来。数据接口、分布式训练管线、混合精度支持，全部打通。等语料灌进来的那一天，我不想再等哪怕一个小时。”
“明白。”楼天城应了一声，已经在脑子里开始拆解任务了。
“项目从今天起正式立项。既然是改变技术路线的终极兵器，总得有个响亮的代号。”
顾屿看着面前这三位顶尖大脑，“你们有什么想法？”
安德烈摸了摸下巴浓密的胡茬，操着带有口音的中文说道：
“既然是处理语言的模型，叫‘巴别塔’怎么样？打破人类的语言壁垒。”
“寓意不好，巴别塔最后可是塌了的。”
任少卿摇摇头，思索着开口，
“或者叫‘盘古’？开天辟地，比较有咱们的特色。”
楼天城推了推眼镜，提议道：
本章未完，请点击下一页继续阅读！