为什么选择胜算云的Serverless AI
弹性调度
根据模型推理服务的使用量,动态调整计算资源,在使用量激增时快速扩展计算资源,在使用量下降后缩减闲置的计算资源
快速部署
平台提供ssy工具,仅需1小时即可把模型打包上传至云平台,完成AI模型的部署
按需付费
调用模型进行推理时,平台对使用的算力按量进行计费,用户仅为实际使用的算力支付费用
并发处理能力强
使用了先进的算力调度系统和后端构架,支持高并发请求处理,用户无需再为算力问题担忧
领先的核心技术
实现了大模型在云平台的快速部署、高效推理和弹性服务,全栈优化大模型推理性能。
TensorDeck
智能调度器
动态监控和分析资源的使用情况,根据模型需求、节点负载等,自动选择最佳的计算节点
TensorCabin
智算开发SDK
开发者只需按照示例简单编写模型调用代码,即可快速生成推理镜像,将镜像推送至云平台即可完成部署模型
TensorOS
自研极速容器技术
专为AI推理任务设计的容器操作系统,经过专门优化以满足AI模型推理的性能需求,缩短冷启动时间并节省内存
Cold Start Time
冷启动时间加速
团队对容器运行时进行了优化,同时采用三级存储架构,显著缩短了冷启动时间,使启动速度比其他方案快3倍