1. это не нормально.
2. возможно роутер просто не справляеться с нагрузкой, ведь телефон постоянно поддерживает соединения для постоянной готовности к звонкам.
попробуй вместо телефона для теста задействовать софтфон, и при его работе замерить пинги. если они будут меньше 100, то придеться занятся более тонкой настройкой сип-телефона.