Udvalgsformand afviser kritik af højhus-beslutning