「どうして不倫や夜逃げ、暴力を行った相手にも財産分与しなければいけないんだ」という気持ちはわかります。
しかし残念ながら、日本の法律では、財産分与において離婚原因を理由として金額が変動するようにはなっていません。つまり、財産分与は原則として拒否できないということになります。
なぜそうなっているかというと、身もふたもありませんが、離婚原因を理由として分与額を調整することは大変面倒だから、というのが結論だと思います。これは完全に私見ですが、恐らくあっていると思います。
家庭裁判所が離婚原因に基づく分与額に細かく関与することは、かなり困難です。暴力といっても、１日だけなのか日常的にあったものだったのか。不倫といっても、配偶者から暴力を受けたことが原因で不倫をしていたとしたら？など、細かい条件を裁判所がそれぞれ認定することはきわめて困難です。
もちろん、表向きの理由は違います。こちらの記事によると「日本では夫婦の財産を別々に勘定する制度を取っているものの、その財産は実質的には共有であり、あくまで離婚時にそれを分けるだけなので離婚原因は関係ない」と解説されています。
と言われても簡単に納得することは難しいと思います。政策的には、離婚原因を財産分与に影響させても国民感情に一致すると思われます。しかしそれをしないのは、上記のように裁判所での調整の困難さ、つまり離婚原因を評価し、その評価を財産分与に反映することがきわめて困難だからだと思います。
ところが例外的に財産分与を拒否できる場合がありますので、以下に紹介します。
（１）時効
財産分与の請求権は、離婚成立から２年で時効になります。
（２）借金がある場合
借金が財産を上回っている場合には、財産分与をする必要はありません（＝財産分与をすることができません）。この場合、法的には財産が無いものとして取り扱われます。
（３）財産が特有財産である場合
遺産相続をした場合や結婚前から持っている財産等は、夫婦で築き上げた財産ではないので、分与の必要はありません。
（１）が代表選手、というか唯一の例外と言ってよいでしょう。（２）（３）はそもそも分ける財産がないと評価できるものです。
そうすると、表題の答えは「離婚の原因にかかわらず財産分与は拒否できない」というのが日本の法律です、ということになります。
当事務所では、離婚問題も扱っております。気になることがある方はぜひ一度、ご相談ください（初回相談料は無料です）。
