Для ускорения алгоритм A* приходиться модифицировать согласно туториалу: http://www.policyalmanac.org/games/twoTiered.htm. Там вылезает много проблем. Такой алгоритм самый быстрый, однако требует предварительного расчёта карты.

На практике удобнее работать с байтмассивом, и путь выискивать градиентной “заливкой”, по которой можно восстановить путь.