单块gpu也能训练百亿参数大模型?( 三 )
文章图片
文章图片
与此同时 , Colossal-AI也非常注重开源社区建设 , 提供中文教程、开放用户社群论坛 , 根据大家的需求反馈不断更新迭代 。
比如之前有读者留言说 , Colossal-AI要是能在普通消费级显卡上跑就好了 。
文章图片
文章图片
这不 , 几个月后 , 已经安排好了~
背后团队:LAMB优化器作者尤洋领衔
看到这里 , 是不是觉得Colossal-AI确实值得标星关注一发?
实际上 , 这一国产项目背后的研发团队来头不小 。
领衔者 , 正是LAMB优化器的提出者尤洋 。
文章图片
文章图片
他曾以第一名的成绩保送清华计算机系硕士研究生 , 后赴加州大学伯克利分校攻读CS博士学位 。
拿过IPDPS/ICPP最佳论文、ACM/IEEEGeorgeMichaelHPCFellowship、福布斯30岁以下精英(亚洲2021)、IEEE-CS超算杰出新人奖、UC伯克利EECSLotfiA.Zadeh优秀毕业生奖 。
在谷歌实习期间 , 凭借LAMB方法 , 尤洋曾打破BERT预训练世界纪录 。
据英伟达官方GitHub显示 , LAMB比Adam优化器快出整整72倍 。微软的DeepSpeed也采用了LAMB方法 。
2021年 , 尤洋回国创办潞晨科技——一家主营业务为分布式软件系统、大规模人工智能平台以及企业级云计算解决方案的AI初创公司 。
团队的核心成员均来自美国加州大学伯克利分校、哈佛大学、斯坦福大学、芝加哥大学、清华大学、北京大学、新加坡国立大学、新加坡南洋理工大学等国内外知名高校;拥有GoogleBrain、IBM、Intel、Microsoft、NVIDIA等知名厂商工作经历 。
公司成立即获得创新工场、真格基金等多家顶尖VC机构种子轮投资 。
文章图片
文章图片
潞晨CSOProf.JamesDemmel为加州大学伯克利分校杰出教授、ACM/IEEEFellow , 同时还是美国科学院、工程院、艺术与科学院三院院士 。
传送门:https://github.com/hpcaitech/ColossalAI
文章图片
文章图片
责任编辑:上方文Q文章纠错
话题标签:RTX3090开源国产
- 研究人员基于这一机制设计,关闭iphone时也能运行
- AMD第一款超级APU惊曝!Zen4搭档全新GPU
- 真开源了!NVIDIA发布Linux GPU驱动源代码
- intel发布全新数据中心gpu显卡,支持多种类型的各种工作
- 全球芯片危机结束在即?
- 四连击!AMD主动曝光下代GPU架构:APU史诗级变脸
- 税控盘不在身边?登录电子税务局也能查看开票信息哦
- 百万年薪、应届生也能投,这个“天才岗位”有啥要求?
- 有了这个,就算地面站全毁掉,北斗卫星也能知道自己在哪儿
- 印度高管立功 Intel:终于知道AMD/NV之外的GPU