单块gpu也能训练百亿参数大模型?( 三 )


单块gpu也能训练百亿参数大模型?
文章图片

文章图片

与此同时 , Colossal-AI也非常注重开源社区建设 , 提供中文教程、开放用户社群论坛 , 根据大家的需求反馈不断更新迭代 。
比如之前有读者留言说 , Colossal-AI要是能在普通消费级显卡上跑就好了 。
单块gpu也能训练百亿参数大模型?
文章图片

文章图片

这不 , 几个月后 , 已经安排好了~
背后团队:LAMB优化器作者尤洋领衔
看到这里 , 是不是觉得Colossal-AI确实值得标星关注一发?
实际上 , 这一国产项目背后的研发团队来头不小 。
领衔者 , 正是LAMB优化器的提出者尤洋 。
单块gpu也能训练百亿参数大模型?
文章图片

文章图片

他曾以第一名的成绩保送清华计算机系硕士研究生 , 后赴加州大学伯克利分校攻读CS博士学位 。
拿过IPDPS/ICPP最佳论文、ACM/IEEEGeorgeMichaelHPCFellowship、福布斯30岁以下精英(亚洲2021)、IEEE-CS超算杰出新人奖、UC伯克利EECSLotfiA.Zadeh优秀毕业生奖 。
在谷歌实习期间 , 凭借LAMB方法 , 尤洋曾打破BERT预训练世界纪录 。
据英伟达官方GitHub显示 , LAMB比Adam优化器快出整整72倍 。微软的DeepSpeed也采用了LAMB方法 。
2021年 , 尤洋回国创办潞晨科技——一家主营业务为分布式软件系统、大规模人工智能平台以及企业级云计算解决方案的AI初创公司 。
团队的核心成员均来自美国加州大学伯克利分校、哈佛大学、斯坦福大学、芝加哥大学、清华大学、北京大学、新加坡国立大学、新加坡南洋理工大学等国内外知名高校;拥有GoogleBrain、IBM、Intel、Microsoft、NVIDIA等知名厂商工作经历 。
公司成立即获得创新工场、真格基金等多家顶尖VC机构种子轮投资 。
单块gpu也能训练百亿参数大模型?
文章图片

文章图片

潞晨CSOProf.JamesDemmel为加州大学伯克利分校杰出教授、ACM/IEEEFellow , 同时还是美国科学院、工程院、艺术与科学院三院院士 。
传送门:https://github.com/hpcaitech/ColossalAI
单块gpu也能训练百亿参数大模型?
文章图片

文章图片

责任编辑:上方文Q文章纠错
话题标签:RTX3090开源国产