Instytut Józefa Piłsudskiego powstał 4 lipca 1943 r. w Nowym Jorku, jest instytucją niedochodową, działającą według prawa amerykańskiego. Wśród założycieli, oprócz znanych działaczy polonijnych, takich jak: Franciszek Januszewski, Maksymilian Węgrzynek i Lucjan Kupferwasser znaleźli się polscy uchodźcy wojenni, którzy w II Rzeczypospolitej zajmowali ważne stanowiska państwowe: Henryk Floyar-Rajchman – były minister przemysłu i handlu, Ignacy Matuszewski - były poseł na Węgrzech i minister skarbu oraz Wacław Jędrzejewicz - były minister wyznań religijnych i oświecenia publicznego. Nowa placówka nawiązywała do tradycji utworzonego w 1923 r. w Warszawie Instytutu Badania Najnowszej Historii Polski (nazwanego po śmierci Marszałka jego imieniem).
Instytut stał się depozytariuszem pochodzącego z Instytutu w Warszawie tzw. Archiwum Belwederskiego uratowanego z płonącej Warszawy w 1939 r. Zasoby archiwalne i biblioteczne rosły z latami. Najobszerniejszą część zbiorów, o kapitalnej wartości historycznej, tworzą akta pozyskane już na terenie Stanów Zjednoczonych. Dokumentują one działalność Polonii na przestrzeni ostatnich kilkudziesięciu lat, zawierają materiały pozostałe po wielu wybitnych mężach stanu, politykach i wojskowych. Dzięki aktywności i ofiarności Polonii amerykańskiej, Instytut powiększał swoje zbiory: archiwalne, biblioteczne, numizmatyczne i obrazów. Obecnie archiwum liczy ponad milion dokumentów i jest wzbogacane dzięki dokumentom przekazywanym przez osoby prywatne i instytucje polonijne, a zbiory biblioteczne rosną głównie dzięki darom Biblioteki Narodowej i Instytutu Pamięci Narodowej. Kolekcja obrazów składa się z prac znanych polskich artystów: Wyczółkowskiego, Gierymskiego, Wyspiańskiego, Fałata i Kossaków i w sumie liczy ponad 200 prac.
Pierwsze lata działalności były dla Instytutu okresem walki o przetrwanie. Było ono możliwe głównie dzięki założycielom, kolejnym prezesom i dyrektorom, którzy ofiarowali swój czas, pracę i niejednokrotnie fundusze. Podobnie jak wtedy, tak i dziś działalność Instytutu w dużej mierze opiera się na pracy wolontariuszy, a podstawą finansowania placówki są składki członkowskie i darowizny. Mimo trudności finansowych Instytut rozwijał się. Odbywały się zjazdy i odczyty naukowe, wystawy, ukazywały publikacje o charakterze źródłowym, wspomnienia znanych postaci życia politycznego: Juliusza Łukasiewicza – byłego ambasadora RP w Paryżu i Józefa Lipskiego – byłego ambasadora RP w Berlinie. Z czasem Instytut zaczął przyznawać nagrody za prace historyczne i fundować stypendia dla młodych, niezależnych naukowców.
W Instytucie w początkowym okresie działalności nie było zawodowych archiwistów, którzy sprawowaliby merytoryczną opiekę nad całością zasobu. Zbiory były jednak przez cały czas dobrze zabezpieczone i udostępniane. Dodatkowo w latach 70-tych większość najważniejszych archiwaliów została zmikrofilmowana. Dzięki zmianom zaistniałym w Polsce po 1989 r. powstała możliwość podjęcia współpracy z polskimi instytucjami i środowiskami archiwalnymi: Naczelną Dyrekcją Archiwów Państwowych i Biblioteką Narodową, Instytutem Pamięci Narodowej. Instytut korzysta także z grantów Senatu RP i Ministerstwa Kultury i Dziedzictwa Narodowego oraz Ministerstwa Spraw Zagranicznych.