すべての借入れを任意整理しないといけないのでしょうか？

いいえ、債務整理の場合債権者を選ぶことができます。
住宅ローンやオートローン等は債務整理の対象からはずし高利のキャッシングのみを対象とすることができます。
ご自分で債務整理したい借入を選ぶことができますのでその際はご相談ください。