职位信息

端侧 infra

工作内容

1.模型部署与适配：在手机、PC、开发板及算力盒子上部署大模型，解决模型兼容性与运行稳定性问题。

2.推理性能优化：结合性能分析工具，定位计算、内存访问及数据传输瓶颈，优化推理延迟、内存占用与设备资源利用率。

3.模型量化与压缩：探索低比特权重、KV Cache 量化等方案，评估模型效果与性能，在设备资源约束下提升推理效率。

4.框架与算子开发：参与推理框架、算子及运行时开发，推进 CPU、GPU、NPU 适配与异构协同执行。

云侧infra

工作内容

1.模型部署与框架适配：基于 vLLM、SGLang、TensorRT-LLM 等框架部署模型，参与新模型及 GPU、NPU 等算力平台的适配。

2.推理服务优化：围绕请求调度、连续批处理与 KV Cache 管理开展优化，平衡首 token 延迟、生成速度、并发吞吐与显存开销。

3.低精度与算子优化：参与 FP8、INT8、INT4 等低精度方案及算子优化，评估模型精度、计算效率与显存占用。

4.性能分析与稳定性建设：结合 Profiling、日志与负载测试定位计算、通信及调度瓶颈，解决模型服务的性能与稳定性问题。