ゲームにHDR設定は必要か

お世話になります。 現在PS5とXbox seriesXを使用していますが、 HDR設定にしているとやけに目が疲れるような気がします。 RPGとかアクションだと設定しない方が空の色が見やすく感じます。 一方でスポーツゲームなどはHDR設定の方がスタジアムの照明などが明るくリアルに感じますし、 どうなのかなと感じてます。 お詳しい方がいたら解説お願いしたいです。 よろしくお願いします。