伴随着开源模型能力的增强以及模型推理成本的大幅降低，企业正以前所未有的热情将人工智能广泛应用于多种业务场景 。从内部提效的知识库、办公助手，到业务赋能的医疗导诊、智能投顾，AI 正在重塑企业的运作模式 。然而，理想的业务应用背后，是复杂且充满挑战的 AI 基础设施构建与管理工作，这已成为制约企业 AI 落地效率的普遍瓶颈 。
为解决上述挑战，由 SmartX 发布的榫卯 AI 平台，其核心目标就是“让构建 AI 就绪的基础设施更简单” ，助力企业在本地环境中安全、高效地管理异构算力资源，部署推理服务，加速生成式 AI 应用的落地。
平台提供的核心能力包括：
便捷、全面的模型管理：内置对文本生成、Embedding、Reranking 等主流模型类型的支持，满足丰富的企业级应用场景；可从 Hugging Face 一键拉取开源模型，也支持上传自定义模型，便于企业使用自研或第三方模型；通过模型目录功能，预设推理引擎、资源规格与运行参数，实现模型部署标准化，降低运维成本。
统一、高效的算力资源池：支持将来自不同厂商（如 NVIDIA、昇腾 等）的 GPU 统一纳入平台管理，实现资源统一调度。支持多种算力运行环境，如虚拟机/物理机和 Kubernetes 集群；多模型实例可共享同一张 GPU，通过智能分片与隔离技术，有效避免算力浪费，提升总体吞吐。
灵活且高性能的推理服务：平台基于 KVCache 感知的多副本负载均衡机制，智能优化推理请求路由，有效提升 KVCache 命中率，从而显著提升大模型推理性能与响应效率，满足高并发业务场景需求。
完善的租户与权限管理：每个租户拥有独立的资源与模型空间，确保业务之间互不干扰，数据安全可控；支持按角色定义访问权限，覆盖模型管理、推理调用、资源调度等多个维度，便于统一治理；针对外部调用提供 Token 配额配置和使用量统计，帮助平台实现访问限流、成本控制与可计费能力。
通过上述能力，榫卯 AI 平台为用户带来了直接的业务价值，帮助企业简化 AI 基础设施构建，提升业务效率。此外，为了更好地支撑从数据到模型的完整 AI 工作流，榫卯 AI 平台与榫卯企业云平台实现了原生融合 。这一体化方案能够灵活承载混合 AI 负载，满足多样化模型训练、微调与推理的高性能运行需求 。
目前，该方案已在制造业、电商、医疗、金融等领域成功落地，解决了智能化知识管理、核心业务 AI 赋能等实际问题。
暂无评论内容