Pandas to_excel 追加写入导致数据丢失的解决方法
使用Pandas的to_excel函数向已存在的Excel文件追加新的sheet时，可能会遇到数据丢失的情况。这种问题具有随机性，丢失的数据行数也不固定，增加了排查难度。本文将分析此问题，并提供解决方案。
问题描述：用户使用pandas.to_excel向名为5g数据-xxx.xlsx的Excel文件追加数据，代码片段如下：
xw_tidanfujian_adress=directory_save_adress+'/5g数据-' + key +'('+value.get('需求点编号')+').xlsx'
with pd.ExcelWriter(xw_tidanfujian_adress,mode="a",options={'encoding':'utf-8'}) as writer:
print(linqu_dict.get('5g-5g邻区定义').loc[linqu_dict.get('5g-5g邻区定义')['源小区基站名']==key][['源小区基站名','源小区中文小区名']].head(20))
linqu_dict.get('5g-5g邻区定义').loc[linqu_dict.get('5g-5g邻区定义')['源小区基站名']==key].to_excel(writer, sheet_name='5g-5g邻区定义',header=True,index=False)
df_gongdan_temp=pd.read_excel(xw_tidanfujian_adress,sheet_name='5g-5g邻区定义',header=0,index_col=0)
print(df_gongdan_temp[['源小区基站名','源小区中文小区名']].head(20))
用户发现写入前后数据存在差异，部分列值不完整。然而，修改写入数据后，重新写入的数据却是完整的，说明问题不在数据本身，而是在写入过程中。
进一步排查发现，并非所有写入操作都会出现此问题，且丢失的行号不固定。
最终解决方案：将pd.ExcelWriter的引擎指定为xlsxwriter：
with pd.ExcelWriter(xw_tidanfujian_adress, engine="xlsxwriter", options={'encoding': 'utf-8'}) as writer:
# ... 写入代码 ...
问题得到解决。这表明默认引擎openpyxl在追加写入时存在兼容性或处理缺陷，导致数据丢失。因此，建议在使用pandas.to_excel追加写入时，显式指定引擎为xlsxwriter，以避免此类问题。
以上就是Pandas to_excel追加写入时数据丢失怎么办？的详细内容，更多请关注知识资源分享宝库其它相关文章！
发表评论:
◎欢迎参与讨论，请在这里发表您的看法、交流您的观点。