2023 WOT全球技术创新大会 腾讯云“AI超级底座”专场
出品单位：作者：张鑫玮
格式：MP4学科分类：计算机科学技术
来源：51CTO·
查看内容>>
简介本专场聚焦云基础设施产品技术，重点针对大模型训练、推理等AI场景，为您解读腾讯云如何通过软硬自研，实现基础设施性能、速率、容错、调度等的跨越式升级。随着集群规模的增加，无论训练还是推理对硬件性能的利用均呈现指数难度上升，需要精细的软硬件协同来提升性能。腾讯云的Taco-LLM开箱即用性能方案基于Continuous Batching、预测解码、模型量化等技术，提高吞吐的同时，也降低了客户端延迟，并全面兼容hugging face主流大语言模型，可保障复杂多变的公有云应用场景。
