解决了，原因是python版本不匹配的问题
在colcon build的时候，不知道为什么调用的是python3.7（改了默认的系统python路径也不行），导致编译出的so都是py37的。而我运行程序的conda环境是python3.8的，加载so就报错了。所以在colcon build之前，在cmakelist中，set指定下python3.8路径，就可以了