谷歌開源更快、更高效的 TensorFlow 運(yùn)行時 TFRT

       TensorFlow 官方博客宣布開源新的運(yùn)行時 TFRT，該運(yùn)行時提供了統(tǒng)一的、可擴(kuò)展的基礎(chǔ)結(jié)構(gòu)層，并在各類硬件上均具有高性能。

　　TFRT 產(chǎn)品經(jīng)理 Eric Johnson 表示，TFRT 將取代現(xiàn)有的 TensorFlow 運(yùn)行時。原有的 TensorFlow 運(yùn)行時最初是為圖形執(zhí)行和訓(xùn)練模型的工作負(fù)載而構(gòu)建的。與之相比，新的運(yùn)行時將急切的執(zhí)行需求放在第一位，同時特別強(qiáng)調(diào)架構(gòu)的可擴(kuò)展性和模塊化。

　　它能夠很好地滿足開發(fā)復(fù)雜模型時尋求更快的迭代時間的開發(fā)者需求、在訓(xùn)練和服務(wù)生產(chǎn)模型時改進(jìn)性能的需求，以及希望以模塊化方式將邊緣和數(shù)據(jù)中心設(shè)備集成到 TensorFlow 中的硬件制造商需求。

　　簡單來講，TFRT 可以減少開發(fā)、驗(yàn)證和部署企業(yè)級模型所需的時間。

　　TFRT 利用了 eager 和圖形執(zhí)行的通用抽象，為了獲得更好的性能，其圖執(zhí)行器支持并發(fā)執(zhí)行操作和異步 API 調(diào)用。在性能測試中，與 TensorFlow 當(dāng)前的運(yùn)行時相比，TFRT 將經(jīng)過訓(xùn)練的 ResNet-50 模型(一種流行的圖像識別算法)在圖形卡上的推理時間縮短了 28%。

　　TFRT 仍處在早期開發(fā)階段，它已經(jīng)與 TensorFlow 集成，最終將成為其默認(rèn)運(yùn)行時。