Может ли отец на неопределенный срок забирать ребенка, достигшего трех лет?

Здравствуйте.хотелось бы узнать.могу ли я без разрешения отца ребенка поменять фамилию сыну на свою фамилию.я вышла замуж и у нас щас разные фамилии с ребенком.с бывшим мы небыли в браке а ребенок записан на его фамилию.как сделать чтоб без лишения прав поменяли ребенку фамилию.просто возникает много осложнений если куда либо мы едим постоянно требуют доверенность от его отца.нам это не удобно.заранее спасибо.