高速でオブジェクトにぶつかるとカメラの位置が動く

CameraBoom: Screenshot - 0196303c6a22ea10da60590417d63c72 - Gyazo
Camera: Screenshot - 94e0edd6392ef5c455acef2cffff41db - Gyazo
カメラの設定です。
この設定で普段はCharactorに対して固定位置のまま動かないでいてくれるのですが、高速でオブジェクトにぶつかるとカメラが動いてしまいます。動き方はZ軸に対して角運動するような感じでぶつかったときに一瞬で移動してそれ以降はその状態で固定されます(またぶつかると移動する)。ぶつかったとき毎回移動するわけではないのですが50%位の確率で移動します。

対策があれば教えていただきたいですよろしくお願いします。