Почему, занимаясь несколько лет английским по учебникам, сериалам и на курсах вам тяжело разговаривать? 

Потому-что ваши занятия работают на развитие пассивного словаря. Этот словарь используется мозгом при чтении, прослушивании подкастов и когда вы смотрите фильмы и сериалы.

Но для общения мозгу нужно тренировать активный словарь. А он у многих из нас совсем не задействован. Для его тренировки необходима разговорная практика. 

У меня есть страх общения на английском с друзьями или коллегами из за границы. Как мне его преодолеть?

Необходимо понять, что среди ваших коллег и друзей только один или два человека — это носители языка. Остальные в таком же положении как и вы. Их родной язык не английский. Возможно это китайский или французский. При разговоре с вами они будут с пониманием относиться к в некоторым ошибкам и паузам в речи. А скорее всего даже не заметят их.

Если это не помогло вам преодолеть страх, то помогут практические занятия с преподователем английского языка. Начинайте практиковаться уже сейчас и старайтесь заниматься не реже двух раз в неделю. И вместо страха появится уверенность. 

Я работал в иностранной компании, а потом перешел в российскую. Считаю свой уровень английского upper-intermediate,  но в последнее время возникают сложности при общении. 

У вас долгое время не было практики общения на английском после того, как вы перешли работать в российскую фирму. Не беспокойтесь — ваш уровень английского снова вернется на прежний уровень, если поддерживать его практикой. Достаточно пары занятий в неделю с преподавателем, где большую часть времени говорите вы и ваш английский быстро вернется на прежний уровень.