异地拘留的通知责任由公安机关负责。根据《中华人民共和国刑事诉讼法》的规定，公安机关在拘留人后，应当在24小时内通知被拘留人的家属，除非存在无法通知或者涉嫌危害国家安全犯罪、恐怖活动犯罪等可能影响侦查工作的特殊情况。在这些特殊情况下，一旦有碍侦查的情形消失，公安机关应当立即通知被拘留人的家属。

通知的方式通常包括电话、邮寄《拘留通知书》等，确保家属能够确切接收到信息。如果家属地址不明或其他原因导致无法通知，公安机关会记录在案，并尽力保障家属的知情权