uvc H264模式下帧率逐渐下降

问题：uvc YUY2/MJPG模式下帧率稳定，H264模式下，启动的时候帧率正常30fps，之后开始迅速下降，直至个位数5-6fps才能稳定下来。
送给UVC模块的H264视频流数据，一直都是稳定的30fps。
请问一下，大家有没有遇到过这种情况，不知道怎么解决了。

送包按30帧，实际只能出5-6帧，所以应该是帧内数据的丢失问题或者某些帧无法解出导致。
先偿试看关键帧分布是否正确。