怎么办

昨天预约了下午五点到七点的上门退货取件，结果快七点的时候快递员给我打电话说他目前在隔壁小区取件（离我们小区步行不超过500米），因为大风天气影响可能七点半才能上门，让我把取件码先告诉他，他到时候再来拿，我想着昨晚上那会儿风确实挺大的就同意了。
然后等到晚上快八点了，我看快递员还没来给他打电话，他说因为天气原因他进度比较慢，估计得等到晚上十点左右才能过来，要不还是第二天上午再过来取，当时我好生气，但肯定不能等晚上十点啊，只好同意了，结果今天又等了一上午了还没来。
真的我好想投诉他啊，但是因为我昨天就把取件码给快递员了，douyin上已经显示快递员已揽件，平台都把钱退我了，应该投诉不了吧，而且万一他一直不来取件会不会对我以后购物退款有啥影响，早知道当初就不好心同意对方延时上门取件了