如何退婚有尊严，又不违道德底线

和男友订婚两个月了，发现彼此可能不适合。貌似没什么感情。他总是怀疑我和前前男友有什么，怕我会和他跑了什么的。每次一吵架都会提他，可事实我和那个人也已经断绝来往了。厌倦了这样的日子。想到了退婚。本来我打算如果和他退婚把所有东西都还他的。可现在…昨天他说了句“如果和他联系，退婚，钱少了，起诉我，结婚还要观察…”他都这样说了，我还有必要和他继续吗？没有丝毫的信任会幸福吗？我对他已经一忍再忍了，所以不想分，却又觉得太没骨气了。我该怎么办？ 有必要分吗？ 他那样翻脸，我全退是不是太软弱无能了。 如果没必要，我该怎么办？

如果两个人不能互相信任，即便结婚也不会幸福；既然都不想结婚了，就不要太在乎钱了吧，该退的退还就是，省得麻烦。