В любой ситуации всегда виноваты обе стороны. Может быть ему действительно не хватило вашего темперамента, а может быть просто испугался, потому что был у вас первым, теперь это к чему-то обязывает. Попробуйте серьезно поговорить с ним, если он скажет, что его не устраивает, то может к этому прислушаться?