Здравствуйте Ольга. В случае, если условием действительности полномочий отраженных в доверенности (а следовательно и самой доверенности) является предъявление паспорта соответствующей серии и номера, то отказ правомерен. В иных случаях отказ не является правомерным. Всего доброго.