加速替代CUDA！摩尔线程开源vLLM
我要评论11月5日消息，加速近日，替代摩尔线程上线了大语言模型高速推理框架开源项目vLLM的线程MUSA移植版本，为开发者提供基于摩尔线程全功能GPU进行开源项目MUSA移植的开源范例。
摩尔线程表示，加速正努力围绕自主研发的替代统一系统架构GPU、MUSA软件平台，线程构建完善好用的开源MUSA应用生态。
vLLM是加速一个高效且易用的大模型推理和服务框架，支持创新的替代PagedAttention内存管理、连续批处理请求、线程CUDA/HIP图的开源快速模型执行、CUDA核心优化、加速分布式推理支持等，替代可显著提高大语言模型（LLM）的线程推理性能。
目前，vLLM已在各种大语言模型中得到广泛应用，成为业界常用的开源大模型推理框架。
摩尔线程基于vLLM v0.4.2版本，进行了移植适配，使之支持摩尔线程GPU后端Device，并完全开源，开发者可以二次开发、升级vLLM到社区更新版本等。
值得一提的是，得益于摩尔线程MUSA架构的先进性、软件栈对CUDA的优良兼容性，通过MUSIFY代码自动转换工具，用户可以快捷地将原有的CUDA代码迁移到MUSA平台，实现替代。
同时，CUDA相关库的调用，也可以快速替换为相应的MUSA加速库，如算子库muDNN、集合通信库MCCL、线性代数库muBLAS等。
摩尔线程通过MUSA软件栈对CUDA软件栈接口兼容，大幅提升了应用移植的效率，缩短了开发周期，还提供MUSIFY自动代码移植工具等一系列实用工具和脚本。
摩尔线程vLLM-MUSA开源地址：
https://github.com/MooreThreads/vLLM_musa
相关文章
零部件100%国产化：亿华通发布全新300kW氢燃料电池发动机
12月26日消息，近日，亿华通发布最新一代300kW氢燃料电池发动机M30+）。据介绍，M30+发动机采用具有完全自主知识产权的国产电堆，零部件国产化率高达100%，最高质量功率密度突破900W/kg2024-12-27
上任仅5个月！曼联官方：体育总监阿什沃斯离任，参与今夏2亿引援
12月08日讯 据曼联官方消息，在加盟曼联5个月后，球队总监阿什沃斯离任。据罗马诺报道，当时曼联花费了约300万镑赔偿金将阿什沃斯从纽卡挖来。【曼联官方公告】经双方协议，丹-阿什沃斯将卸任曼联足球俱乐2024-12-27
[流言板]马克西反击打成2+1，随后恩比德低位强打特纳，76人追至5分
[流言板]马克西反击打成2+1，随后恩比德低位强打特纳，76人追至5分由篮球资讯发表在篮球资讯 50212月14日讯 今日NBA常规赛76人对阵步行者的比赛正在进行中。比赛第二节，马克西反击打成2+12024-12-27
[流言板]八村：勒布朗不打，教练跟我说我必须要站出来由篮球资讯发表在篮球资讯 50212月09日讯 今天NBA常规赛湖人主场迎战开拓者的比赛已经结束。全场战罢，湖人以107-98战胜开拓者。本场比赛，2024-12-27
12月23日讯据“北青体育”报道，中超冠军上海海港队计划将于明年1月初前往阿联酋阿布扎布拉练，但33岁的巴西籍外援奥斯卡将不会随队同行。目前来看，奥斯卡离开海港之势已不可逆。在12月3日亚冠精英联赛第2024-12-27
《奇异人生：双重曝光》总监表示虚幻5可解决困扰该系列9年的行走不畅问题
上个月底正式推出的《奇异人生：双重曝光》虽然在Steam平台获得了68%好评率差评集中在过多的DEI元素和游戏本身的粉丝向定位）的褒贬不一评价，但游戏改善了系列一直以来角色移动不畅的问题。外媒“Gam2024-12-27
最新评论