您好，黄律师，我和前夫有三个孩子，17年离婚时候，协议书里面写着两个大的是男方抚养，最小的是女方抚养，后来最小的转让给了爷爷抚养，当时有手写了协议，现在孩子7岁，孩子爷爷将近60了，55以上了，很多事情教育方面不能跟上，并且前夫也打电话过来让我接走，如果我去起诉的话。是否能要回孩子抚养权？