模型上传即用
用户只需按照示例简单编写模型调用代码,生成推理镜像并推送至云平台完成“入驻”
简化部署流程
平台自动适配部署并配置运行环境,用户无需担心版本兼容、硬件适配等问题
自动生成API
模型上传后,平台自动生成API调用接口,并生成在线推理页面,用户可直接进行推理
动态扩缩算力
平台根据模型的计算需求,动态弹性扩缩算力资源,用户只需为实际使用的算力付费
弹性调度 随用随付
根据模型推理服务的使用量,动态调整计算资源,在使用量激增时快速扩展计算资源,在使用量下降后缩减闲置的计算资源
TensorDeck
调度器负责密钥管理,将加密模型传递至指定显卡通过公钥解密,运营人员无法获取数据
TensorOS
通过任务加密封装、对操作系统和容器的深度优化,在不可信环境中实现可信计算
Tensor Mesh
采用了加密通信网格与先进的加密技术,确保了GPU节点之间的高安全性数据传输
TensorCabin
模型文件通过私钥加密后上传至云平台,仅在推理时使用显卡内公钥解密运行,防止他人窃取