这要看劳动合同的具体约定。如果劳动合同中明确约定了工作地点，而这次“出差”实际上构成了对工作地点的变更，那么员工是有权拒绝的。因为这种情况下，公司必须与员工进行协商，并达成一致意见后，以书面形式变更劳动合同。否则，公司的行为可能构成违法。

当然，如果这次“出差”只是临时性的，时间不长，且公司提供了相应的补偿和支持，那么员工在考虑自身职业规划和发展前景的基础上，可以与公司进行协商。

总之，员工应该仔细阅读自己的劳动合同，了解自己的权益和义务。在面对这种情况时，可以根据自己的实际情况和意愿做出选择。如果认为自己的权益受到了侵害，可以与公司进行沟通协商，必要时还可以向当地劳动监察部门投诉举报或向劳动仲裁机构申请劳动仲裁。