如何提高mongo更新效率
我正在尝试使用DataFrame更新mongo中的一个集合,例如 df_dict = df[['id', 'name']].to_dict(orient='records') 我得到了下面的字典,例如 [{'name': 'vendor1', 'id': '1'}, {'name': 'vendor2', 'id': '2'}, {'name': 'vendor3', 'id': '3'}, {'name': 'vendor4', 'id': '4'}, {'name': 'vendor5', 'id': '5'}, {'name': 'vendor6', 'id': '6'}, …] df_dict包含大约390k字节,这意味着我需要更新集合中的390k文档。 我试图做的是根据多less线程/进程被分配进行更新,将390k字节分成块/批次。 对于每个批次,我使用以下函数来testing更新, def update_database(update_dicts, table, database): for row_dict in update_dicts: database[table].update_one({'id': row_dict['id']}, {'$set': 'name': row_dict['name']}) def bulk_update_database(database, table, id_field, batch_documents, batch_size): bulk = […]