运营总监问了一个问题：我们要不要买台机器，把AI放到公司里跑？问这个问题的背景是，上个月的API账单比预算多了四成，而且法务那边一直在念叨客户名单能不能别往外传。八月十号，Meta开源了一个叫MuseGlimmer的模型，让这个问题从“要不要”变成了“什么时候”。先说清楚发生了什么MetaSuperintelligenceLabs在8月10日放出MuseGlimmer，300亿参数的稠密模型，Apache2.0协议，权重直接挂在HuggingFace上，支持Ollama、LMStudio、llama.cpp、MLX、vLLM这一整套工具链。关键的不是参数量，是它对硬件的要求。全精度跑需要55G ......
没有评论:
发表评论