Er wurde am 15. September 1835 in Vornbach am Inn/Bayern geboren. Sein Vater war Gutsbesitzer und königlich-bayrischer Kammerherr. Ferdinand absolvierte das Ludwigs-Gymnasium und studierte an der Universität München Anthropologie und in Freiberg/Sachsen Geologie. Ab 1857 hatte er eine Stellung in der Geologischen Reichsanstalt in Wien inne. 1870 gründete er die Anthropologische Gesellschaft in Wien, der er später auch 20 Jahre lang als Präsident vorstand. Seine Hauptforschungsgebiete waren Urgeschichte und Völkerkunde. Vielbeachtete Arbeiten waren etwa „Höhlenkultur der asiatischen und europäischen Völker“ (1891) oder seine prähistorischen Studien Siziliens.
Ab 1878 gehörte er dem Reichsfinanzministerium an, wo er den Bergbau und das Forstwesen in Bosnien und Herzegowina organisierte und dort auch naturwissenschaftliche und ethnologische Forschungen betrieb. Durch die enge Zusammenarbeit mit Kronprinz Rudolf war er Mitherausgeber des sogenannten „Kronprinzenwerkes“.
Er war korrespondierendes Mitglied der Akademie der Wissenschaften und 1895 zeichnete ihn die Universität Wien mit dem Ehrendoktorat aus.
Seit 1870 war Ferdinand von Andrian mit Cäcilia Meyerbeer, der Tochter des Komponisten Giacomo Meyerbeer, verheiratet. Sie hatten zwei Kinder, Gabriele (sie studierte in Zürich und promovierte als erste Frau an der Universität Wien) und Leopold. Am 17. Juli 1871 kaufte das Paar das Anwesen Fischerndorf Nr.48, in Altaussee. Hier wurden viele gesellschaftliche Kontakte mit namhaften Persönlichkeiten und einflussreichen Familien gepflegt und auch mit honorablen Bewohnern Aussees.
1905 erschien Andrians Buch „Die Altausseer“, welches einen wichtigen und umfangreichen Beitrag zur Volkskunde des Ausseerlandes und des Salzkammergutes darstellt. Die Kapitel „Lieder“ und „Tanzreime“ etwa zeugen auch von seinem großen Interesse für die Volksmusik des Ortes.
Am 10. April 1914 verstarb Ferdinand von Andrian in Nizza, wo er ebenfalls einen Wohnsitz hatte, wurde aber auf seinen Wunsch hin in Altaussee begraben. 17 Jahre später, 1931, wurde auch seine Gattin, die in Salzburg verstorben ist, in Altaussee begraben.