你与前夫离婚时对婚内所有债务归前夫所有的约定属于债务转让行为。根据我国合同法律规定,债务转让的前提是应当取得债权人书面同意,否则即不构成债务转移的效力。因此,只要该工厂未同意你将其债务归你前夫,那么,你仍然需要承担该笔债务。