$array = @("Hallo","Welt","Test","Muhkuh")
 
$index = [Array]::IndexOf($array, "Test")
 
$arrList = [System.Collections.ArrayList]$array
 
$arrList.RemoveAt($index)

Der Trick ist, das Array in eine ArrayList umzuwandeln. Die Methode RemoveAt() gibt es zwar auch bei einem Array, jedoch wirft diese dort per Default eine Fehlermeldung.

Quelle