情况是这样的，有个老板，是个警察，家里人好像都在政府上班，到我们这儿来搞茶叶种植，然后在属于我家的地方，建成了可以制作茶叶的活动厂房，当初建的时候老板承诺，会建一栋两层的砖房，但从08年到现在，一直没有履行承诺，后面经过协商，达成协议，两层砖房不用建，但须支付租金，相当于我家把这块地租给了老板，租金三次付清，写有协议，双方签字按手印，但不知道能不能具有法律效应，今年二月份到了第一次交租金的时候，但他家拒绝交付租金，我们也同意了，要求是，立马搬走，但现在他家不走，这样该如何，