Генерал от инфантерии Николай Иудович Иванов родился в семье сверхсрочнослужащего солдата. Учился в Павловском кадетском корпусе, во 2-й военной гимназии Санкт-Петербурга и затем в Михайловском артиллерийском училище. Окончив его, Николай Иванов прошел боевой путь русского офицера через три войны, начав служить подпоручиком и окончив генералом от артиллерии.  
В русско-турецкой войне 1877 -1878 годов молодой офицер в 3-й гвардейской и гренадерской артиллерийской бригадах проявил свои блестящие способности, смелость и отвагу, за что был награжден чином капитана и несколькими орденами, в том числе орденом Святого Владимира 4-й степени с мечами и бантом и орденом Святого Станислава 2-й степени с мечами.  
После войны И. И. Иванов был произведен в полковники (1884 г.) и назначен командиром 2-й батареи лейб-гвардии 2-й артиллерийской бригады. А в 1890 году гвардейскому полковнику доверили командование Кронштадтской крепостью, ибо уже тогда Иванов считался знатоком артиллерии и фортификации. Находясь на этой службе, Н. И. Иванов провел серьезные научные исследования в области строительства крепостей и потом пять лет (1899 -1904 гг.) принимал активное участие в различного рода комиссиях по этим важным для того времени проблемам военного дела. В 1894 году он был произведен в генерал-майоры, а при службе в распоряжении генерал-фельдцейхмейстера в 1901 году и в чин генерал-лейтенанта.  
Когда началась русско-японская война, генерал Иванов был назначен вместо убитого графа Келлера начальником Восточного отряда. Отряд участвовал во всех основных битвах этой неудачной для России войны: при Ляояне, на Шахе и под Мук-деном. При отступлении к Ляояну Иванов с помощью артиллерии, в которой был большим специалистом, сумел успешно отбить атаки японцев и показал себя отличным полководцем. При наступлении на Шахе отряду Иванова не удалось взять Бен-сиху, и его после этого перевели в командиры 3-го Сибирского корпуса, который под Мукденом стойко держал левый фланг 1-й армии. Действия генерал-лейтенанта Николая Иванова были оценены начальством и современниками как правильные, решительные и смелые. За отличие в русско-японской войне Н. И. Иванов был награжден орденом Святого Георгия 4-й степени, затем 3-й степени и золотым оружием, украшенным бриллиантами.  
После японской войны, в смутное время "революции 1905 года", когда требовалась крепкая рука в сочетании с разумными действиями, царь поставил Иванова генерал-губернатором Кронштадта (до 20 апреля 1907 г.), а затем генерал продолжал быть начальником этой крепости и состоял в 1907-1908 годах членом Совета государственной обороны.  
Н. И. Иванов слыл неплохим дипломатом, умел ладить с начальством и был в чести у императора Николая II. Этим в какой-то степени можно объяснить его успешную карьеру. В 1907 году Иванов пожалован в генерал-адъютанты, а в 1908-м произведен в генералы от артиллерии, в чин II класса табели о рангах, выше которого стоял только генерал-фельдмаршал. 
В декабре 1908 года Н. И. Иванов назначается командующим войсками Киевского военного округа, где он и прослужил до 1914 года.  
При начале первой мировой войны генерал от артиллерии Н. И. Иванов становится командующим Юго-Западного фронта. На этой должности он пробыл до марта 1916 года, пока не сменил его А. А. Брусилов. Бои в августе 1915 года в Галиции принесли ряд побед русской армии. Были взяты Ополе, Туробин, Томашев, а 30 августа состоялось генеральное сражение, в котором под Львовом были разгромлены австро-германские армии. и отброшены за реку Сан. 
"В воздаяние отличного выполнения вверенными ему армиями блестящих боевых операций, приведших к занятию нашими войсками австрийской области - Восточной Галиции", генерал от артиллерии, командующий Юго-Западным фронтом Н. И. Иванов был пожалован орденом Святого Георгия 2-й степени.  
Император Николай II верил в военный талант Н. И. Иванова и надеялся на его опыт, успех полководца, что хорошо видно из высочайшего рескрипта по поводу награждения его орденом Святого Владимира 1-й степени с мечами в 1915 году. Это была величайшая боевая награда, а Н. И. Иванов в то время был единственным ее кавалером.  
С марта по февраль 1916 года Н. И. Иванов состоял при Николае II, который был в то время Верховным главнокомандующим. 27 февраля Иванов назначается главнокомандующим Петроградским военным округом с чрезвычайными полномочиями и подчинением ему всех министров. Он мог и собирался принять решительные меры по наведению порядка в столице. В распоряжении генерала был батальон из 700 Георгиевских кавалеров. Он отбыл из Могилева 28 февраля, но задержался в пути и прибыл в Царское Село только вечером 1 марта. По дороге отряд Иванова пытались задержать "революционные" солдаты. Генерал арестовал их, поставил на колени и... отпустил. В тот час, когда отряд Иванова подходил к Царскому Селу, большевики принимали печально известный "приказ № I", окончательно разрушивший армию.  
В ночь с 1-го на 2 марта Иванов получил телеграмму от Николая II с приказом до его приезда в Петроград никаких мер не принимать, а части, выдвинутые в Петроград для подавления восстания, вернуть на фронт. Но 2 марта император Николай II отрекся от престола, и тут уж Н. И. Иванов поделать ничего не мог, начался развал империи.  
Николай Иудович и другие крупнейшие военачальники (командующие фронтами, начальник штаба Ставки М. В. Алексеев, Верховный главнокомандующий Л. Г. Корнилов и др.), собрались на Дону для того, чтобы бороться с большевиками. Не в пример Алексееву, Корнилову, Деникину и другим генералам, Иванов не предал своего государя и стоял за восстановление монархии.  
При формировании Добровольческой армии планировалось создание одной из них на Дону, а другой в Харькове. Большинство кадровых офицеров, выброшенных из армии и из жизни, больше тяготели к монархическим взглядам, чем к революционным лозунгам Временного правительства. В Киеве и Харькове стала организовываться монархически настроенная Южная  армия, которую согласился возглавить Иванов. Но она создавалась с помощью немцев, а офицеры не хотели с ними сотрудничать. Записавшиеся в Южную армию офицеры стали перебираться в Добровольческую армию М. В. Алексеева и Л. Г. Корнилова. В конце концов и сам Н. И. Иванов пришел к ним и вошел со своим особым отрядом в состав Добровольческой армии. Однако деятельность Н. И. Иванова в Гражданской войне была, к сожалению, непродолжительной. В начале 1919 года Николай Иудович умирает от тифа.