Graphics.drawCircle + Mask + Filter = Ужас
Заметил одну неприятную вещь, да все небыло времени в ней разобраться, так сказать проверить, действительно ли существует проблема. Как оказалось проблема действительно имеет место. Что бы достичь цели нам многое не надо, а просто к окружности применить фильтр и положить под маску, и мы получим ужасную окружность, с срубленными краями.
А вы pixelHinting включили?