Reč „priboj“ označava mesto na vodi, gde skoro uvek ima vetra, koji pribija uz kraj (po „Srpskom rječniku“ Vuka Karadžića).
Po narodnom predanju, ovo mesto se nekada nazivalo Pribon, kao što se zvao i stari grad na brdu Bić, na levoj obali Lima, koga je „pribola Jerina uz Bić“. Odmah preko puta, na desnoj obali Lima je nastalo naselje koje prozvaše Pribon. Kasnije, da li slučajno ili namerno, naziv se menja u Priboj.
Postoji i tumačenje po kom se pribojem nazivalo mesto za smeštaj ovaca. Pretpostavlja se da se pored hana, koji je nekada ovde napravljen, ogradio i prostor za „priboj stoke“, kako bi stočari mogli tu da smeste stoku, dok prespavaju u hanu.
Pored pominjanja Pribona, kao naziva za stari grad na Biću, iznad Lima, sasvim je sigurno da se ovaj stari grad zvao Jagat. Tako se i danas nazivaju njegove ruševine.
