我父亲帮别人开车，蒋老板拖欠4万多没有支付，之前有写欠条，但是欠条上抵押的两台车不是这个老板名下的，是另一个叫业文运输公司的，3月2日有因为拖欠工资开庭审理了，签订了调解书，调解书上于4月30日前还款。现在这个老板问我父亲要之前抵押的车，说如果不还从3月3日起每天赔偿2000元的损失，但担心老板拿到车把车卖掉了，无法还款。又担心老板上诉，需要赔偿2000元的每天的损失。我们这边想解决的问题是，蒋老板问我父亲要车，我们这边先不归还，等业文运输公司问我们在归还，如果业文公司直接起诉我们，并要求赔偿损失，我们可以以之前从未联系过为抗辩不赔偿损失吗？