这种约定是否合理有效？

大状你好！前两年我公司说有集资房分，当时我不想要，正好有个同学说他要，愿意给我一万元，让我把指标转给他。为了怕大家反悔，我们立了字据，就是我方（甲方）只收费用，不承担风险，在此过程单位没建成货其他原因无法交房与甲方无关。但甲方如后悔要回房子，须归还乙方在此几年所投入的资金，并按同等金额赔偿乙方，（即本金加上罚金）。
现在因为限购令，购房指标问题，我反悔了，现在对方在这两年内已经交了45000房款，我也收了对方一半指标费（5000元）。先对方要我赔偿本金45000元加上罚金45000元，还要我退还5000元指标费。请问这样合理么？我们元约定只提到本金和罚金，至于指标费5000元我觉得应该已经包括在罚金里了，还有，我到现在为止也就是收了他五千元，要罚我45000元合理么？按合同条约，利润与风险平摊，我收了5000，反悔是不是退5000元，罚5000元，共一万元就行了？请大状给予指导解谜，谢谢！