陈玉龙:全国首个大模型调度平台“操盘手”

06-01 20:14   大武汉  

◎ 一款大模型调度平台,上线不到两周Token(词元)消耗突破1000亿

◎ 一家人工智能OPC(一人公司)社区,创业者喝杯咖啡的工夫,就接到了派发订单

◎ 一套“手搓”的智算集群,用不到传统方案十分之一的成本,解决了高校人工智能教学的燃眉之急

◎ 这些故事的交点,指向同一个人——全国首个大模型调度平台TaoToken的操盘手、CSDN(中国开发者网络)副总裁兼首席技术官陈玉龙

而他更愿意称自己为“工程师”

陈玉龙。通讯员孙晓飞 摄

像用电一样调用大模型

算力成本降低三成

一个月前,全国首个大模型调度平台TaoToken在武汉首发。该平台的模型网格(ModelGrid)由陈玉龙带领CSDN武汉团队推出。

人工智能时代,大模型层出不穷,但接口标准不统一。开发者每接入一个新模型,往往需要重新编写适配代码。陈玉龙意识到,这不仅是效率问题,也抬高了中小企业和个人开发者的使用门槛。

“能不能统一起来?”带着这个想法,陈玉龙带领团队搭建了一套算力调度系统。该系统将国内外150多个主流模型聚合为同一入口,开发者只需一个密钥(Key),即可调用不同模型,无需重复适配。

数据显示,上线不到两周,平台累计消耗词元超过1000亿,相当于处理约1亿篇千字文章。

近日,一位技术博主在社交平台上分享了使用体验:过去团队需为多家模型厂商分别维护多套适配代码,存在成本核算烦琐、用量监控缺失等问题;接入ModelGrid后,模型调用总成本下降约30%,接入与维护时间同样减少约30%。该博主表示:“团队可将更多精力聚焦于业务本身。”

“省下的不仅是钱,更是时间。”陈玉龙说。在CSDN武汉公司,团队鼓励员工将约10%的工作时间用于新探索,其余精力完成原有任务。ModelGrid正是团队自由探索的成果。

从立项到上线,历时不到一年。在CSDN武汉公司一间数十平方米的办公区,陈玉龙与同事们工位相邻,围坐在环形桌旁。墙角立着一块自制牌子透着程序员特有的幽默与自信,上书“出招吧,哥让你三行代码”。

位于武汉经开区的CSDN武汉公司,技术人员在敲击代码。(资料图)

他回忆,为了赶在2026年武汉“AI智能体创新大赛”前上线,团队曾连续两周加班到深夜。最棘手的是兼容性调试。他和同事反复排查近百次,才定位到某厂商驱动版本中的一个隐藏漏洞。

在陈玉龙看来,ModelGrid不仅是将算力服务转化为模型服务。它正试图成为一个连接点,将开发者、模型厂商与行业需求对接起来。

技术门槛降低了,创业者有了更趁手的工具。但陈玉龙也在思考另一个问题:他们从哪里找到用武之地?

一杯咖啡背后的“订单红娘”

平台全网派单超亿元

“喝咖啡送词元券,算力比咖啡还‘提神’。”走进位于武汉经开区的经开智造人工智能OPC社区,一楼“OPC创业咖啡”吧台旁,三五成群的年轻人一边喝咖啡,一边敲键盘。

位于南太子湖创新谷的经开智造人工智能OPC社区。记者蔡欣星 摄

社区大厅的显示屏上,每天滚动发布来自CSDN的任务派单。这是陈玉龙设计的“订单红娘”机制:CSDN将拆解后的小任务派到OPC社区,创业者线上接单、交付、收款。

这些订单从哪里来?经开智造人工智能OPC社区合作方CSDN是全球第二大开发者社区,拥有5300万用户。作为该OPC社区运营负责人,陈玉龙透露,目前平台面向全网发放的订单规模已超亿元,其中经开智造人工智能OPC社区专项派发的订单已有三四十单。“订单很充裕,但能接得住、交付好的创业者还很稀缺。”

江汉大学大四学生代齐祥是接单者之一,在半个多月里接了三个任务,收入超过3000元。他说,平台还会根据交付速度和质量给团队评级,评级越高,后续接到的大单越多。

在陈玉龙看来,OPC创业者需要三样东西:技能提升、订单,还有算力。他不想只是把人聚在一起喝咖啡,而是让他们拿到第一笔钱、接到第一个订单,然后自己跑起来。

“95后”海归肖筱和华科大计算机专业校友江晓渔是最近入驻OPC社区的创业者,她们带着AI教育项目辗转多个城市后,最终选择武汉。“这里的支持力度大,可以轻装上阵。”

得益于社区的算力支持,目前该团队的TalentFlow AI(一款用AI对学生进行技能画像的小程序)项目已落地,正计划将服务范围延伸至更多应用场景。

获得一个真实的订单,让创业团队正常运转起来,是当务之急。而要实现这一切,离不开算力平台,这件事,陈玉龙动手得更早。

一套“手搓”智算集群

实验室走出的学生被“抢订”

江汉大学一间实验室内,50台电脑高速运转,屏幕上的AI模型参数不断跳动。这里是陈玉龙联合江汉大学、经开产投集团共建的开源与智能技术创新实验室,也是学校里人气最旺的地方之一,被学生称为“开心实验室”。

陈玉龙在江汉大学开源与智能技术创新实验室。 记者王双双 摄

全球AI热潮兴起时,如何让学生亲手训练模型、调试参数成为现实难题——绝大多数高校缺少可供本科生规模使用的算力资源。实验室负责人、江汉大学教授邓宏涛找到深耕AI领域的校友陈玉龙。

学校批准200余万元预算。陈玉龙测算,若按工业标准采购专业AI服务器,单台需150余万元,4台加配套总投入将达数千万元,缺口巨大。

他决定“手搓”一套智算集群:专业服务器为保障“永不待机”的工业级可靠性成本高昂,而这并非高校教学与技术创新的刚性需求。

最终,50台搭载消费级GPU显卡的电脑组成智算集群,总成本控制在500万元以内,其中陈玉龙自筹200余万元补足缺口。

实验室的智算集群建成后,不仅服务校内,也面向企业开放。2024年9月,实验室挂牌武汉经开区南太子湖创新谷。东风汽车、武汉城投等企业纷纷上门寻求合作。近两年,实验室先后获评武汉市、湖北省典型应用场景,并获批成为武汉市开源创新中心(人工智能方向)。累计已有超过千名大学生在此接受专项技术培训。

“实验室的学生从最初的计算机、人工智能专业,扩展到全校更多专业,连文科生也多了起来。”邓宏涛教授笑着说。今年,第一批应届毕业生已被多家头部科技公司及国企提前录用,从实验室走出的学生,成了被“抢订”的香饽饽。

CSDN首席技术官、OPC社区负责人、研究院理事长、高校产业教授……如今,陈玉龙的头衔越来越多,但他最喜欢的,还是学弟学妹们叫他一声“师兄”。

说起对计算机的热爱,他回忆起上小学时读过的一篇课外读物《我和电脑》。彼时电脑远未普及,他用小刀在课桌上刻出四排方格,每格代表一个键——空格键刻得最长。刻完后,他把手指搭在凹痕上,闭眼敲击。桌面无声,他的手指却一下一下地动。

从那时起,陈玉龙就相信:动手,才能改变。

【对话】

“看到卡点,就去解决它”

从刻键盘的少年到AI产业教授,他带领团队在武汉推出全国首个大模型调度平台。近日,长江日报记者与中国开发者网络副总裁兼首席技术官陈玉龙展开了对话。

记者:身兼多职,你最看重哪个身份?

陈玉龙:我最认可的身份是工程师,最喜欢的称呼是学弟学妹叫我一声“师兄”。

记者:曾做出亿级用户的互联网产品项目,为什么转向AI与人才培养?

陈玉龙:工程师的使命很简单,看到卡点,就去解决它。相信下一个产品比上一个更完美。当下,AI会替代大量重复性工作,但真正需要创造力的领域,人永远是主体。回到母校,推动校企合作,培养能用AI解决真问题的人才。这个选择回头看,依然是最正确的。

记者:自掏腰包200多万元建实验室,初衷是什么?

陈玉龙:希望学弟学妹在校期间,就能接触产业侧的最新技术,用AI解决现实难题。

记者:您如何看待AI对就业及文理分科的影响?文理科的界限是否已模糊?

陈玉龙:靠裁员用AI替代员工的公司,离倒闭不远。AI只能优化成本,无法创造增长;反之,用AI赋能员工,反而能激发创新。AI已拉平专业门槛,让文理分科不再重要。决定一个人成就的,是综合素质,而非学科出身。

记者:给当下年轻人一个建议?

陈玉龙:AI时代,动手能力和解决问题的能力比出身更重要。如果学生时代有热爱的兴趣,可以尝试把爱好变成事业。像武汉,大学生创业的政策支持和创新氛围就很不错,值得把握。

{"url":"https:\/\/img.cjyun.org\/a\/10142\/202606\/5a5c3d763511de912e07cf08e13f8edc.jpeg","id":"605940","ratio":"0.56"}

相关阅读