2016年买方通过中介买了一个二手房,交易，由于卖方没有记住自己转帐银行卡的卡号，在卖方同意中介、买、卖三方口头协议(有卖方及中介当时的在场证明人可以证明)的情况下，买方先把房款转帐给中介后，先由中介给买方开据收款凭据，改日中介再把房款打给卖方。中介当时也给卖方开据了一个中介的房款欠条。卖、买双方也都自愿在购房协议上签了字，画了押，卖方当时就把房子交给了买方,买方现己使用该房3年,可是，中介至今还有部分房款拖着不付给卖方，从而导致现在卖、买方产生合同纠纷，卖方要求收回自己的房子，并要求买方赔偿百分之30的违约金。请问贵律师买方现在应该怎么办?当时三方付款的口头协议还有用吗?