你没有签字，不存在合同关系，他应该退回全部款项。
提醒各位朋友注意，租房，一定要在签了合同后才付款，不能预付，防止诈骗。