根据你的描述,你在买房时签订了两个合同,一个是和开发商签订的购房合同,一个是和银行签的贷款协议,两个合同的履行互不影响。因此,基于现在开发商无法按期交房的行为,你只可以要求开发商依照约定退房并赔偿违约金。至于与银行签订的贷款协议是否继续履行,建议与银行协商后确定。