Set-ADGroup -Identity MyGroup -Add @{"members"="DNOfContact"}

Sowohl Add-ADGroupMember als auch Add-ADPrincipalGroupMembership erwarten setes Sicherheitsprinzipale als hinzuzufügendes Objekt. Daher geht für Kontakte nur dieser Weg.