离婚后孩子抚养权可以变更吗？

我与妻子2011年离婚，两个孩子协议给她。但是离婚后，两个孩子一直在我父母家中，直到现在。她基本没有给付过生活费。我以前不是太争气，老是想着做生意，赔钱了，现在已经安心回家工作。大学老师，父母都是大雪教授，现在都退休，经济条件还算可以。我前妻以前一直飘来飘去，现在好像也挣到钱了，挺有钱。经常会来看孩子，但是自己买100万的车，每个月也没有给过孩子抚养费。买衣服什么的都会有。两个孩子报了好多辅导班，学费，生活费都是我父母再出。其实倒不是钱的问题，老人养了孩子那么多年，现在想跟女方商量，要把女孩给我们，男孩给他，他不愿意，请问我们该怎么办？注：女方心机特别重，拿孩子要挟父母给她提供很多生意上的便利。