我对象和我女儿中午在家睡觉有人闯进来进入卧室对我对象进行谩骂我对象让他出去，他出去站在卧室门外我女儿下去把卧室门反锁上来，他对卧室门踹了几下被人拉出屋外，第二次进屋把我对象打了，派出所只给他行政处罚，难道这样够不成非法侵入住宅罪吗？我应该怎样做！