В 1824 году он начал работать в Зоологическом отделении Британского музея где помогал Джону Джорджу Чилдрену в каталогизации коллекции рептилий В 1840 году он сменил Чилдрена на должности куратора. Джон Грей был куратором отделения зоологии в Британском музее Лондона с 1840 года до Рождества 1874 года. Опубликовал несколько каталогов музейной коллекциикоторые содержали подробные сведения о группах животных, а также описания новых видов, улучшил
Вначале Джон Грей занимался ботаникой и помогал своему отцу в написании «Классификации британских растений» (The Natural Arrangement of British Plants, 1821). Но после того, как он не набрал необходимого числа голосов при выборах в Лондонское Линнеевское общество, его интерес к ботанике в значительной степени угас и он сосредоточился на зоологии.