新手先弄清模型、硬件与推理框架的适配关系
模型格式、硬件能力和运行时框架共同决定推理能否运行、速度如何以及维护成本多高。本文以 ONNX Runtime、OpenVINO、TensorRT 和 ROCm 为例，说明适配关系、选择条件与验证步骤。
阅读全文 →DEXUN GPU NEWS
AI算力与应用
查看AI算力与应用，掌握选型、配置和部署要点。
想提升硬件利用率？5项运行时框架适配优化思路
从算子覆盖、数据精度、内存与图优化、并发调度和实机验证五方面入手，比较不同推理运行时与硬件后端的适配特点，找到性能、功耗和维护成本之间的合适平衡。
阅读全文 →
推理运行时框架适配需核对驱动与算子版本
比较推理运行时与硬件时，不能只看设备是否被识别。本文从驱动、运行时版本、算子覆盖、精度和性能验证入手，说明 CUDA、ROCm、oneDNN 与 OpenVINO 等方案的适用条件，并给出可执行的核对步骤。
阅读全文 →AI请求延迟忽高忽低，批处理参数该怎么调？
请求延迟波动，往往与批次等待、队列积压、输入长度和模型计算负载共同有关。本文介绍如何区分固定批处理与动态合批，设置批量上限和等待窗口，并通过逐步压测找到适合服务延迟目标的配置。
阅读全文 →
视觉语言模型在线服务中，GPU与CPU怎么分配更划算？
GPU优先承担视觉编码和语言生成，CPU负责请求处理、图像解码与调度。本文从内存、并发、延迟和成本出发，说明如何划分任务并用压测确定配置。
阅读全文 →
生产负载增长较快的企业，别默认PoC硬件足以支撑上线
PoC验证的是方案可行，不等于生产容量已就绪。本文从负载画像、硬件评估、压测和灰度切换入手，说明如何规划企业AI应用从PoC到生产环境的硬件迁移。
阅读全文 →
PoC跑通就照搬硬件配置上线，企业AI迁移会踩哪些坑？
PoC环境能运行，不代表硬件配置适合生产。本文梳理企业AI应用从PoC到生产环境的硬件迁移中常见的性能、容量、兼容性和运维风险，并给出可执行的验证步骤。
阅读全文 →