我是温州美拉五金有限公司一名普通员工2019年我认识一个男的是我们厂的他说他跟他老婆合不来要离婚我刚好跟我老公关系不好，他第一次找我借钱是打牌输掉了很多钱然后找我借2000块钱我是花现金的我没有绑定银行卡我借给他了是现金然后他用是支付宝还是微信转给我再后来陆陆续续的都还是找我借钱但是没多久就还了他四五月份的时候在外面租房子开了一个麻将馆他还是找我借现金她开麻将馆期间他给我发红包让我给她买水买烟买槟榔还有他工作用的工具沙袋沙盘都是我在买是他发过来红包我去买的，十月份的时候我办理了一个手机银行这是一次有凭证的给他转了1300块钱他是还花呗的后来又借给他了几百块钱现金但是也用红包的方式还给我她老婆说我花他的钱让我还给他还要到厂里来闹说我只看到他给我发红包没有看到我给他钱现在我该怎么办我很苦恼