Był synem Jana Borejki Chodźki, wielkiego patrioty, wolnomularza i pisarza. Urodził się 19 grudnia 1800 w rodzinnym majątku Krzywicze na Wileńszczyźnie. Na ukształtowanie postawy dzieci wpłynął nie tylko ojciec, lecz i matka Klara oraz guwerner – Tomasz Zan. Chodźkowie mieli córkę Zofię i sześciu synów: Aleksander został profesorem Collége de France, Michał był pisarzem i tłumaczem wielu dzieł klasyki światowej, Stanisław został profesorem chemii we Fryburgu. Najmniej wiadomo o Feliksie i Władysławie (na pewno przebywał z ojcem na zesłaniu na Uralu w l. 1830−34). Józefem rodzina zbytnio się nie chwaliła. Generał−lejtnant carskiej armii nie był postacią cenioną przez paryskie kręgi emigracji polskiej. A jednak to on wpisał nazwisko Chodźków na listę badaczy o światowej renomie.

Józef Chodźko, w przeciwieństwie do swych braci, nie był człowiekiem ulegającym emocjom. Miał jasno wytyczony cel i konsekwentnie do niego zmierzał.

Szybko zaprzyjaźnił się z niewiele starszym od siebie Tomaszem Zanem. Dzięki niemu w czasie studiów w Uniwersytecie Wileńskim poznał Adama Mickiewicza. W 1825 otrzymał tytuł magistra filozofii. Wiadomo, że interesował się astronomią, matematyką i fizyką. Uczęszczał na kursy dodatkowe z geodezji, prowadzone przez prof. Michała Polińskiego.

W 1816 rząd carski rozpoczął na ogromną skalę badania geodezyjne. Grupie przewodniczył Karl Tenner, który kilka lat później zwrócił się do władz Uniwersytetu Wileńskiego o pomoc w rekrutacji fachowców. Od 1821 Józef Chodźko rozpoczął współpracę z Tennerem, świadomie wybierając zawodową służbę wojskową jako drogę realizacji swoich zamierzeń. Wspólne działania spowodowały, że wiele się nauczył, zdobył umiejętności praktyczne, które potem tak skutecznie wykorzystał przy pomiarach Zakaukazia.

Okres studiów i późniejsza działalność badacza (do 1840) są najczęściej pomijane przez biografów. Dzięki wnikliwej analizie licznych dokumentów sporządzonej przez Andrzeja Furiera, dziś można już coś więcej o tym czasie powiedzieć. Bywał na spotkaniach Towarzystw Filomatów i Filaretów, lecz raczej jako sympatyk, a nie czynny działacz. Nie był też z tego powodu represjonowany. W przeciwieństwie do braci, Feliksa i Michała, nie brał czynnego udziału w powstaniu listopadowym. Po jego klęsce nie wiedział, co dalej robić. Inaczej jednak niż bracia, pozostał w Rosji.

W 1840 Józef Chodźko został przeniesiony na Kaukaz, by prowadzić tam pomiary geodezyjno−topograficzne. Nie przypuszczał wtedy zapewne, że zakocha się w surowym pięknie Zakaukazia i dokona rzeczy niewiarygodnej – pomiaru Kaukazu metodą triangulacji. Początki były bardzo trudne. Chodźko był jedynym człowiekiem wykształconym i wykwalifikowanym w tym kierunku. Zaczął zatem od podstaw, czyli od stworzenia własnego zespołu. W czasie szkolenia wykonał mapy Tbilisi i okolic, które do dziś mają swoją wartość. Praca była żmudna i mało spektakularna. Zanim doceniono jego starania, Chodźko wsławił się czynem bynajmniej nie naukowym.

W 1850, wraz z grupą Rosjan i Kozaków, wszedł (jako drugi człowiek w historii) na górę Ararat. Jego wyczyn rozsławił w Europie brat Aleksander, lecz i wśród miejscowych Józef stał się sławny, jako zdobywca biblijnej góry. Ekipa Chodźki musiała wchodzić na kilkanaście równie pięknych i niebezpiecznych szczytów, by pomiary miały w pełni wartość naukowo−strategiczną. Józef został wpisany na listę członków Francuskiego Klubu Alpejskiego.

Prace Chodźki przerwała w 1853 wojna krymska. Badacz przemienił się ponownie w żołnierza i brał czynny udział w walkach. Po pewnym czasie znowu wykorzystano jego wiedzę i umiejętności, kierując go do prac nad triangulacją Kaukazu Północnego. W 1864 awansował do stopnia generała−lejtnanta i odznaczony został Orderem Orła Białego. Trzy lata później przeszedł na emeryturę. Ukończenie służby wojskowej umożliwiło mu spełnienie marzeń – mógł w końcu rozwinąć nie tylko swoje naukowe kontakty, zająć się porządkowaniem własnych badań, lecz także i podróżować po Europie.

W czasie wyjazdów odnowił kontakty z braćmi i krewnymi. Poznał wielu sławnych ludzi, m.in. przyjaźnił się z J.I. Kraszewskim oraz spotykał z J. Majerem, pierwszym prezesem AU w Krakowie. Ta znajomość pozwoliła mu na przedstawienie polskim badaczom historii badań nad geografią i kulturą Kaukazu.

Pracę Chodźki doceniło Rosyjskie Towarzystwo Geograficzne, nadając mu w 1871 godność członka honorowego. W 1873 Kaukaski Oddział Towarzystwa Geograficznego ustanowił nagrodę jego imienia za najlepszy opis Kaukazu.

Dzięki pracy Chodźki dokonano ogromnego przedsięwzięcia, jakim było stworzenie map opartych na jego wyliczeniach. Na ich podstawie rozbudowano całą sieć komunikacyjną, ustalono przebieg różnych dróg, zaplanowano budowę miast. Poznano również budowę oraz wygląd gór.

Ciężka praca spowodowała kłopoty ze zdrowiem. Józef Chodźko zmarł 5 marca 1881 w Tbilisi.