transformer/tensorflow报错:ValueError: tensorflow.__spec__ is None , free(): invalid pointer

发布时间 2023-08-02 10:04:44作者: michaelchengjl

transformer/tensorflow报错:ValueError: tensorflow.spec is None , free(): invalid pointer

由于tensorflow版本(tf1)和transformer版本不匹配产生。

解决办法:

1.升级tensorflow版本到2.x (同时tf1的一些函数在tf2被修改到tf.compat.v1,注意tf版本和其他库版本以及python版本的兼容问题,)

2.修改transformers版本,如果tensorflow版本是1.14,可能transformers==3.4.0 版本是有用的,或者改为pytorch_transformers

3.在文件添加:

import os
os.environ["USE_TORCH"]= "True"
或者

os.environ["USE_TF"] = 'None'