银行卡丢失，卡内的钱谁该负责任？

事情是这样的：一男一女当初是男女朋友关系，有一天男方的拿女方的身份证去银行办理了一张银行卡，办好后双方都在银行卡里存了一笔钱，后来女方带着银行卡上街，被坏人抢了包，包里有银行卡和手机等物，手机里有银行卡密码，被抢后双方关系还没破裂，男方没有提出要女方赔钱。后来女方发现男方已经有家室，就离开了男方，女方离开后半年，男方提出要女方赔当初丢失的银行卡里的钱，女方当初卡里也有钱，丢了也有她的一份，女方就不想给男方钱，后来男方拿当初两人还在一起时他偷拍女方的照片以做威胁，要女方必需还钱。
请问这个问题该如何处理？？？