我家在农村，10几年前跟同村（但不同生产队）的村民地对地用来建房子，因为在农村，大家都只是口头承诺，并没有签合同协议之类的，现在对方说反悔，一定要拿回那些地，那些地一直都是我们家门前种的，当地的国土资源也说当时的对地是没效的，请问对方真的还可以拿回原来他的地吗？现在整天来我家里闹，他们几兄弟是村里的恶霸，把我老爸打了几次，说一定要拿回那些地，还要自己开挖掘机来把我家门前填好的地都挖掉，请问我们要怎么样才可以维权，才可以不把地给回他们？情况非常紧急，跪求各位律师解答，谢谢