“洛犀” 端云协同AI平台发布，将加速大模型赋能应用本文转自：上观近日

本文转自：上观

文章图片

文章图片

近日，在 “信息领域青年学术前沿论坛”
阿里巴巴达摩院、上海浙江大学高等研究院
上海人工智能实验室
联合发布“洛犀”端云协同平台
平台提供一站式的端云协同模型
训练、部署、通信能力
致力于促进大小模型协同进化
构建充分利用大模型应用潜力的
新一代人工智能体系
洛犀平台沉淀了端云两侧最佳实践的算法组件和平台服务。其中，平台在端侧以python/js package的形式提供服务，包含表征、文本理解、图计算等能力；在端云链路上，平台提供实现端云协同关键的通信能力，包括方案分发、数据通信链路；端云协同的模型训练累积沉淀在云端，包括端模型训练等。

文章图片

文章图片

通过洛犀平台技术，联合研究团队成功将3.4亿参数版本的M6模型高精度压缩至百万参数的10MB大小，以1/30的体积还原了90%以上性能，并试点部署于搜索场景。此外，团队还借助洛犀完成了图神经网络、排序模型、强化学习等技术在端云协同范式下的部署。
达摩院智能计算实验室负责人周靖人介绍，团队将进一步探索端云协同框架下端模型和云模型的协同机理，并完善算法方案和业务实践。洛犀平台未来计划对开发者开放，让大小模型协同进化的时代加速到来。上海人工智能实验室主任助理王延峰教授表示，实验室将携手产学研精英，共同构建具有国际影响力的人工智能生态。
*专家及企业观点不代表官方立场
?
?
【“洛犀” 端云协同AI平台发布，将加速大模型赋能应用】
文章图片

文章图片