24 Mar 2025

EP82 - 終於看到NVIDIA在推論市場的最大優勢！特斯拉面臨恐怖攻擊中

科技浪 Tech.wav

本集科技浪主要探討 NVIDIA GTC 2025 發表會，主持人哈利深入分析 NVIDIA 在 AI 推論市場的策略，特別著重於新發布的 Dynamo 函式庫及其對提升吞吐量和降低延遲的影響。節目首先介紹 AI 推論的兩個主要挑戰：延遲與吞吐量的權衡，以及 Prefill 與 Decode 的專門化需求，接著詳細說明 Dynamo 如何透過動態調整 Batch Size、GPU 專業分工等功能解決這些問題，並以數據佐證其效能提升。最後，主持人分享對特斯拉近期事件的個人觀點，認為馬斯克領導的政府效率部門 DOGE 雖然有其爭議，但其目標是必要的財政改革，並以數據說明美國政府存在資源浪費問題。

Takeaways

Outlines

Q & A

Preview

How to Get Rich: Every EpisodeNaval