Иванович начинал свою карьеру в своём родном городе в ФК Срем, за который выступал до перехода в ОФК Белград в 2003 году. После трёх лет игры в Сербской Суперлиге, в феврале 2006 года он заключил контракт на четыре года с московским «Локомотивом». Этот переход во многом поспособствовал развитию его карьеры в национальной сборной Сербии. Единственным трофеем, который он завоевал в составе железнодорожников, был Кубок России в 2007 году.
«Челси»
15 января 2008 года, «Челси» подтвердил, что клуб согласился с условиями трансфера представленными Локомотивом для Ивановича, в размере £ 9 млн, после личного соглашения футболиста и прохождения медицинского осмотра. По данным СМИ, ведущие клубы Европы хотели заполучить Ивановича в свои ряды. В числе претендентов были итальянские «Милан», «Ювентус» и «Интер», а также голландский «Аякс». «Локомотив» объявил цену трансфера в размере € 13-15 млн. По данным клуба, это была самая дорогая продажа в истории российского футбола. Иванович подписал контракт с «аристократами» на три с половиной года. Футболку с номером 2 на спине игроку вручил генеральный менеджер Челси Питер Кеньон.
Несмотря на большую цену выплаченную за футболиста, в сезоне 2007—2008 он так и не вышел на поле в основном составе. Тем не менее, он много раз играл за резервную команду. В связи с этим, во время летнего трансферного окна, появились слухи об уходе Ивановича со «Стэмфорд Бридж» в Италию. Чаще всего упоминались Ювентус и Милан, нуждавшиеся в то время в квалифицированном игроке оборонительной линии. Однако, после прихода нового тренера Луиса Фелипе Сколари, Иванович получил доверие выступить в нескольких товарищеских матчах и матчах Премьер-Лиги.
Более чем через восемь месяцев своего пребывания в «Челси», Иванович провёл свою первую игру в Кубке Футбольной лиги против Портсмута, которая завершилась победой «синих» со счётом 4-0. А первый дебют в Премьер-лиге состоялся в матче против «Астон Виллы», в котором «синие» победили 2-0.
Первый гол Бранислав забил 8 апреля 2009 года, в ворота «Ливерпуля» в 1/4 финала лиги чемпионов на стадионе Энфилд Роуд. В этом же матче состоялся его второй мяч за Челси. В итоге «синие» одержали верх над мерсисайдцами 1-3.
