特殊工作岗位调动案例

背景：公司为家居建材行业，职工劳动合同签订岗位为：楼层管理员，之前在1楼当管理员，现在根据公司人才全方位培养，调他去3楼当管理员，（同一个商场内）薪资什么都没变。员工不服从，每天就赖在1楼。
现在该员工52周岁，再公司工作7年，濒临退休，如果直接辞退会对公司有经济损失。发岗位调动通知函，员工不签字，公司再公告栏/内部群都发过文，告知该员工从原1楼调至3楼。那么现在公司可以以矿工或者不到岗为由，进行处罚吗？如果长期不到岗，可以解除劳动合同吗？

因为这边，劳动合同写的岗位很明确 是 楼层管理岗位，薪资又不动。 不像其他案例，从一个工作地点到另一个地点，而是再同一单位，一栋楼里。案例比较特殊，请大神指教。