AI Infra供应商「星凡科技」获近亿元Pre-A轮融资,赋能算力中心建设运营

36氪广东获悉,近日,星凡星启(成都)科技有限公司(下称「星凡科技」)完成近亿元Pre-A轮融资,由盛景嘉成领投,开普云高捷资本跟投。本轮融资资金主要用于服务器产线建设、算力中心项目建设和后期运营,以及大模型推理芯片研发。

星凡科技」成立于2021年10月,是一家一站式行业AGI技术服务提供商,主要提供以大模型为核心的训练推理一体机和训推集群产品,技术聚焦于算力中心运营全业务场景的LLM-Agent、异构芯片的大模型性能加速中间件开发及模型智能化适配。

发展至今,公司业务已覆盖全国7个省市,与50+政府/央国企/上市公司深度合作,2023年全年预计实现1.1亿元营收,利润远超预期。

自研AI OS系统

用标准化产品解决个性化需求

继去年的ChatGPT火了一年后,今年以来,视频生成模型Sora、长文本大模型Kimi、音乐生成模型Suno接连惊艳推出,人工智能的发展速度远超想象。算力作为人工智能领域的三要素之一,已然成为人工智能军备竞赛的重点。

为此,国家出台“东数西算”政策,大力兴建算力中心。“算力中心建设起来了,但是怎么做好商业化运营?”这是「星凡科技」听到来自算力中心业主方说过最多的话。

「星凡科技」的核心产品之一AI OS正是用于支撑算力中心建设与运营,为广泛的数字经济相关企业训练大模型提供赋能。AI OS是基于大模型和Agent架构,它可以识别用户的意图并自动拆解相关的工作流程,调度模型、工具和算力资源执行算力智能调度、大模型训练、应用部署等全流程。

「星凡科技」CEO应鹏飞介绍,传统的模型开发需要专业算法团队操作,流程长、成本高。根据银行实践数据,使用常规训练推理平台,一个工程师需要5天完成一个模型训练任务。而AI OS系统可以根据用户用自然语言提出的需求,提供数据管理、预标注、模型训练、部署等工作流程,10分钟完成模型训练配置,实现一体机开箱即用,节省人力成本。

据介绍,该AI OS系统还具备复杂任务调度能力,可以针对不同应用模型,基于虚拟池化技术自动按需调度AI算力,生成最优性能方案,无需人为操作干预,帮助用户快速生成应用,同时极大降低算力中心空置率,满足多租户弹性算力供给需求。

此外,AI OS可以自动适配部署到不同的芯片上面,实现异构算力的支持。“尤其随着国产芯片的崛起,算力需要在不同芯片上一一适配,这个过程是非常费时费力的。在这一块我们系统都做过适配,不需要任何操作就能迁移。”

简单来说,AI OS系统是用标准化的产品解决B端客户的个性化需求,“算力中心运营方不再需要再去组建或者外包一个技术团队,就可以完成从训练到性能优化,再到部署等等这一系列工作,帮助算力中心实现更低成本、更高效率的用户推广”。

打造星凡“通用一体机产品

+算力集群产品”

依托自研的AIOS系统,整合异构存算一体化和多智能体Agent两大核心功能,「星凡科技」实现异构算力智能化管理及大模型深度适配,打造“星凡算力一体机”,为大模型训练推理提供全栈开发工具链;同时通过配置不同的行业软件,提供各行业个性化的算力整体解决方案。目前,公司已经有教育一体机、能源一体机、安全审核一体机投入市场,未来进一步拓展到建筑、文旅、传媒等行业。

教育一体机为例,它主要面向教育信息化相关的场景,为应急教育、智慧大脑等应用场景提供多模态的专属大模型,推出后受到客户好评。“传统开发整个开发周期至少需要半个月时间,好几个工程师一起完成。但当时客户没有技术团队,所以找到我们,使用教育一体机不到一周时间就完成了大模型产品的开发。”

为进一步解决算力性能瓶颈和成本压力难题,3月29日,「星凡科技」发布自研算力集群产品“超新星分布式微算力中心”,用更低成本、更高算力密度的集群产品解决当下算力中心建设成本高、建设周期长、运营难等问题的同时,帮助行业大模型开发者低成本、高效率进行模型训练及部署。

据介绍,“超新星分布式微算力中心”产品占地面积仅为传统算力中心的2‰,算力密度却可达到传统算力中心的118倍。同时可实现快速交付、灵活部署、简易扩展。将行业前沿的低电压signoff技术、定制库技术、动态电压调整技术,应用到低功率AI芯片中,使TOPS/W 指标比国际先进芯片NVA100高20%,低功耗助力算力中心低成本运营。原生硬件能力支持18个行业大模型同时训练,近万个行业大模型推理并发,同时通过星凡自研软件进一步优化性能。

值得注意的是,「星凡科技」和上游关键芯片商紧密合作,在去年加入英伟达初创加速计划(NVIDIA INCEPTION);与全球知名AI芯片供应商达成合作,优先获得人工智能算力芯片供给及技术支持;并与国内AI芯片龙头昇腾的主要合作伙伴华鲲振宇、国产高性能TPU(人工智能推理芯片)厂商青岛算能达成战略合作,实现星凡一体机产品的中高端算力芯片的稳定供给。

应鹏飞透露,公司将在今年联合国内AI芯片厂商研发大模型推理专用芯片,与知名高校针对大模型推理需求开展异构芯片创新探索,以求实现超低功耗、超低延迟、大幅降低推理成本、灵活适配不同结构大模型计算需求,进一步满足不同行业个性化业务场景需求。“基于该款芯片大幅提升大模型推理速度,助力大模型落地。”

计划今年完成A轮融资

据介绍,「星凡科技」面向的客户主要有三类:一是政府以及相关的平台公司,二是大模型相关或业务涉及算力中心建设和运营的上市公司;三是大型AI公司。目前公司服务范围已覆盖全国7个省市,深度合作的政府、央企、国企、上市公司已有50余家。

谈及未来算力行业的发展前景,应鹏飞认为,从训练侧来看,市场规模和增长潜力巨大,现在还只是开始。深度学习出现之后,用于AI训练的算力大约每6个月翻一番,目前大模型发展如火如荼,训练算力需求有望扩张到原来的10到100倍,算力需求的指数级增长曲线将更加陡峭。

相比之下,目前大模型推理产品的市场规模较小。“有数据说今年大模型推理的市场增速会是去年的1.5~2倍,我认为实际可能不止。我们也在提前布局这一块的产品,计划明年正式切入推理市场。

在应鹏飞看来,未来国产化芯片将逐渐成为主流,“在软件生态方面,尤其是模型跟底层硬件的适配性和性能的加速优化,这些在未来的国产化进程中非常重要”;其次,大模型的大规模落地关键在于成本需要大幅下降,同时实现技能提升和功耗降低,用户才用得起便宜又好用的算力;此外,在硬件方面,在算力智能化、灵活性要求的趋势下,应鹏飞持续看好异构算力这一技术路线。

在融资方面,应鹏飞表示计划在今年完成A轮融资,希望能引入集成电路芯片和大模型相关的产业资本方,进一步构建完善的产业链生态。

投资人说

本轮领投方盛景嘉成董事总经理刘迪表示:“当下由于Scaling Law的存在,使得投资生成式AI的成本逐渐攀高,GPT-5的训练成本将接近10亿美金。而伴随着生成式AI在行业的逐步下沉,其推理需求和成本也将逐步加大。以多模态的sora为例,其推理侧的成本是GPT4的几百倍。如此高昂的算力需求,势必要推动更低成本、更高算力密度的算力集群建设。我们很高兴投资「星凡科技」,并看到星凡针对算力中心建设成本高、建设周期长、运营难等问题推出的软硬一体化的解决方案,也希望同星凡一道推动中国人工智能产业的发展。”

本轮投资方开普云信息科技股份有限公司(以下简称「开普云」)是国内知名的基于AI大模型的行业数字化服务提供商。「开普云」副总裁、董事会秘书马文婧表示,本次投资主要有两方面考虑。

首先是产品层面,「星凡科技」的产品能力在业内位于前列,本轮融资后双方将展开深度合作,「开普云」将基于「星凡科技」提供的算力底座,整合自身的行业大模型及应用场景优势,软硬互补,联合打造人工智能行业一体机产品,面向最终客户提供一站式人工智能解决方案;其次,在技术层面,「星凡科技」将利用其自研神机AI OS及X-Boost平台协助「开普云」算法团队从算法、算力硬件底层对开悟大模型进行适配与异构算力性能优化,从而降低最终用户的模型训练和推理成本,形成技术壁垒。

“未来,我们将继续扩大合作领域,共同在政务、能源、金融、教育、媒体等多个行业打造多个具有较强行业竞争力的人工智能算力一体机产品;「开普云」也将深度参与「星凡科技」在人工智能定制推理芯片等前沿技术领域的合作,整合「开普云」行业软件和行业大模型优势,为行业客户提供更高性能、更低成本的一体化人工智能算力产品。”