现在购房人,付了我1万的定金,然后协议上定的付首款时间,一拖再拖。我本想取消协议。但中介说协议上只写了付款时间,没有标明迟付款的违约责任。因此,中介说购房人不愿意取消,还要拖1个月才能付款,如果我单方面取消的话,要付违约金和中介费。那我现在该如何办?