當紅外光子能量入射到紅外探測器時，探測器的輸出信號從0開始逐漸上升，需要經過一段時間才能上升到與入射輻射功率相對應的穩定值。當輻射突然撤離時，也需要一段時間才能下降到最初值。通常情況下，上升或下降所需的時間是相等的，被稱為探測器的響應時間。

響應時間是表示紅外探測器工作速度的一個重要指標參數，響應時間越短，響應越快，響應時間的最大值直接影響到了幀頻的上限。其中，幀頻是指每秒鐘放映或顯示的幀或完整圖像的數量。幀頻對應時間應不小于響應時間，否則新信號不能達到預定的穩定輸出值，上一幀的信號也沒有釋放完，此時傳輸的數據是不準確的，也不能得到準確清晰的圖像。

熱敏探測器對紅外輻射的響應時間一般在ms以上，光子探測器對紅外輻射較為敏感，響應時間相對更短，達到ns量級。探測器響應時間不可過長，否則會出現信號反饋滯后，造成探測誤差，因此，縮短響應時間也是提升紅外探測器性能的一大發展方向。