LLM 推理算法工程师

Excited to grow your career?

We value our talented employees, and whenever possible strive to help one of our associates grow professionally before recruiting new talent to our open positions. If you think the open position you see is right for you, we encourage you to apply!

Our people make all the difference in our success.

工作内容

推理架构演进： 参与或主导分布式大模型推理系统的架构演进，设计并落地 Prefill / Decode 分离架构（P/D Separation）、全局 KV 缓存路由（KV Router）等核心基础设施功能。 底层算子与量化优化： 负责低比特量化推理方案（如 FP8、W4A8 等）的生产级落地；深入优化 Attention 与 MoE 等核心算子，提升单卡吞吐量，降低单 Token 推理成本。 复杂场景专项优化： 针对会议总结等超长文本场景，深度重构和优化 Chunked Prefill 机制与显存置换（Swapping）策略，解决极限并发下的显存碎片与网络传输开销；优化多轮对话下的 Prefix Caching 及投机采样（Speculative Decoding）实现，降低系统首字延迟（TTFT）。 性能剖析与调优： 建立完善的推理性能可观测体系（Profiling），从系统级、算子级、通信级深入剖析软硬件性能瓶颈，指导系统架构与调度算法的迭代。

岗位要求

计算机及相关专业本科或以上学历，具备扎实的计算机体系结构及操作系统基础。 精通 C/C++ 与 Python，具备扎实的 CUDA 编程能力，熟悉 Triton/Cutlass，有实际的算子深度调优及业务落地经验。 深入理解主流开源推理框架（如 vLLM, TensorRT-LLM, SGLang），具备源码级的二次开发、定制优化及复杂 Bug 排查能力。 熟悉 Transformer 及主流大语言模型架构，了解模型量化、剪枝、稀疏化等主流压缩加速技术。 了解底层分布式通信协议（NCCL/RDMA），对多机多卡环境下的并行计算策略（TP/PP/EP）有实践经验。

加分项

在大模型推理系统（vLLM, SGLang, TRT-LLM等）或高性能计算开源项目中作为核心贡献者。 对 NVIDIA Hopper/Blackwell 等最新微架构特性有深入理解与实战经验

Our interviews are supported by BrightHire, a tool that helps us create a consistent and thoughtful interview experience and may include recordings. Please refer to our candidate privacy statement for more information of how we use your data.