我前夫的母亲有四套回迁房，几年前已经过世，现在在世时已经给三个儿女分好了，我和我前夫协议离婚时，离婚协议上我前夫把分给他的那套给了我，但因为他要抚养他与前妻的女儿，房子一直出租，租金由他前妻收取作为孩子的抚养费，我就一直没有去住，房子是回迁房还不能办房产证，现在我前夫在医院病情垂危，我有权利把这套房子收回来吗？