Od XV do XVII wieku

Wieś Biała powstała w 1428 roku na miejscu wcześniejszej osady pruskiej Gayle. Wymieniana w sprawozdaniu wizytacyjnym z 1424 roku liczyła 60 łanów z młynem, w dąbrowie przy Gayle (dąbrowa położona pół mili od Jeziora Kumielskiego), gdzie niejaki Cwalina wraz z 20 krewnymi objął obszar 100 łanów. Dobra te znajdowały się ćwierć drogi od młyna zwanego Steffanflies.

Przywilej lokacyjny dla wsi czynszowej wystawiony został 9 października 1428 roku przez Josta Struppergera komtura bałgijskiego i wójta natangijskiego, za wiedzą i wolą wielkiego mistrza Pawła von Rusdorfa. Wieś położona była w okolicy zwanej Gayle, na 60 łanach na prawie chełmińskim. Sołtys i zasadźca – Piotr Szulc otrzymał 6 łanów chełmińskich, 4 łany przeznaczono na uposażenie parafii. Mieszkańcy otrzymali 15 lat wolnizny. Karczma wymieniana była już w 1447 roku.

W 1481 roku ksiądz Nicolaus parafii w Białej zrezygnował z funkcji proboszcza ze względu na stan zdrowia. Jego następcą został ks. Petrus Swenteslai z diecezji płockiej. Proboszcz Swenteslai obsadzony został przez komtura bałgijskiego Erazmusa von Reizensteina. Przed 1525 rokiem Biała należała do archiprezbiteratu w Reszlu.

Rozwój na przełomie XVI/XVII wieku Biała zawdzięczała dogodnemu położeniu na szlaku handlowym. Zasłynęła głównie z dużych jarmarków bydła. Dwa wydarzenia wstrzymały rozwój miasta. W 1656 roku wieś została spalona przez Tatarów hetmana Gosiewskiego. Kolejnym była epidemia dżumy (1709-1710), w wyniku której zmarło około 75% mieszkańców, a 57 łanów ziemi zostało pustych. Do 1657 roku pozostawała pod zwierzchnictwem Korony Królestwa Polskiego jako lenno.

Od XVIII do 1 połowy XX wieku

26 marca 1722 roku w Królewcu Fryderyk Wilhelm I, król pruski, nadał osadzie Bialla prawa miejskie. Biała Piska liczyła wówczas 600 mieszkańców. Wybudowanie linii kolejowej Ełk–Pisz (1883) spowodowało rozwój miasta w XIX w.

Stąd pochodził królewiecki ewangelicki duszpasterz polski Krzysztof Liebruder. W latach 1826–1829 pastorem był Jan Szamborski (1780–1832), nauczyciel, autor popularnych na Mazurach podręczników do nauki języka polskiego.

W 1871 roku miasto znalazło się w granicach Niemiec.

Od 1938 do 1945

Do 1938 roku nosiło oficjalną niemiecką nazwę administracyjną Bialla. 16 lipca 1938 roku w ramach germanizacji nazw dekretem będących u władzy niemieckich nazistów przemianowana na Gehlen, po czym na Gehlenburg. 4 września 1939 roku samotny polski samolot Karaś z 51 eskadry rozpoznawczej ostrzelał i obrzucił na miejscowym dworcu bombami niemiecki pociąg przewożący uzbrojenie i sprzęt wojskowy.

Po 1945

Po zakończeniu II wojny światowej Biała Piska została włączona do Polski. Do 1946 roku była siedzibą powiatu piskiego. Zniszczenia wojenne miasta wyniosły 30%. Zamieszkująca dotychczas Białą Piską ludność niemiecka została wysiedlona na zachód, a na ich miejsce osiedlano Polaków wysiedlonych z Kresów (głównie z Wileńszczyzny, Grodzieńszczyzny i Polesia) oraz polskich osadników głównie z pobliskiego Mazowsza, a także Podlasia i Suwalszczyzny.

W latach 1954–1972 miasto był siedzibą władz gromady Biała Piska, ale nie należało do niej. W latach 1975–1998 miasto administracyjnie należało do województwa suwalskiego.

W sierpniu 2017 roku elewacja miejscowej kaplicy ewangelicko-augsburskiej została zbezczeszczona przez umieszczenie haseł nacjonalistycznych i wulgarnego rysunku.

28 października 2023 roku Biała Piska dołączyła do Cittàslow – międzynarodowej sieci miast dobrego życia.