Начиная с  Java SE 6 update 10 у разработчиков на Java появилась возможность создавать прозрачные окна и окна непрямоугольной формы.

Хотите знать подробности? Читайте статью How to Create Translucent and Shaped Windows.