A Castle Rock a Port Phillip Heads mellett, körülbelül 18 méteres vízben található. Homokos fenéken fekszik, és körülbelül 12 méter magasra emelkedik. A szikla kerülete körülbelül 200 méter, számos túlnyúlással, fallal és átúszással rendelkezik, és egy merülés során többször is megkerülhető.