Avery es el nieto del Dr. Harper Avery, uno de los cirujanos más famosos en el país y el nombre del prestigioso Premio Harper Avery. Creció oyendo de la nobleza de ser un cirujano en la mesa de su abuelo, lo cual lo inspiró a convertirse en cirujano. Su familia nunca lo empujó académicamente porque él era "el guaperas de la familia", así que él decidió por su cuenta, ni siquiera le dijo a su familia que había tomado esa carrera hasta que se lució en su trabajo.