Castle Rock est situé à l'extérieur de Port Phillip Heads, dans environ 18 mètres d'eau. Il repose sur un fond sablonneux et s'élève à environ 12 mètres. Le rocher a une circonférence d'environ 200 mètres, comporte de nombreux surplombs, murs et passages, et peut être contourné plusieurs fois au cours d'une plongée.