MongoDB用mongoimport 导入大文件报错解决方案

用Mongoexport 可以很方便的导出一个集合到Json格式 同时也可以用MongoImport 将数据导入进去,之前用的时候都没有导入太大的文件,大的数据迁移都是用的restore导入的。这次遇到一次数据迁移导出的json 文件大概有4.7G左右,再倒入的时候出现了问题

mongoimport -h127.0.0.1 -d database -c indexs < indexs.dat

却出现了如下的错误提示

2016-09-05T23:30:35.773+0800	connected to: 127.0.0.1
2016-09-05T23:30:37.653+0800	Failed: lost connection to server
2016-09-05T23:30:37.653+0800	imported 0 documents

Mongo的错误提示也是醉了,这也忒不友好了, 完全是再猜,不过通过万能的大G还是搜到了解决方案,原来是因为Mongo对单次处理好像有大小限制(16m)好像是,所以大文件会出问题,这应该是个Bug mongoimport 默认会10000条 为一个批量导入数据,但实际上我的单条数据太大了,每51条数据就达到了16m 所以10000条导入一次肯定是不行的。幸好他有个参数 --batchSize 可以指定每次批量导入的条数 设置小一些就OK了。

mongoimport -h127.0.0.1 -d database -c indexs < indexs.dat --batchSize 1

这样你会看到他会分开执行导入任务

2016-09-05T23:12:48.622+0800	connected to: 127.0.0.1
2016-09-05T23:12:51.632+0800	d.indexs_value	42.6 MB
2016-09-05T23:12:54.626+0800	d.indexs_value	79.4 MB
2016-09-05T23:12:57.607+0800	d.indexs_value	115.9 MB
2016-09-05T23:13:00.618+0800	d.indexs_value	151.5 MB

Read More

话糙理不糙

话糙理不糙的名言

生活就像强奸,既然无法去反抗不如懂得去享受

工作就像轮奸,如果您不行了就换别人上

社会就像自慰,所有的都要靠自己的双手来解决​

好朋友就象内裤,就算你大起大落他也永远包容着你

非常好的朋友象避孕套,永远为你安全性福着想

更好的朋友象伟哥,当你抬不起头时他给予你力量​

好朋友象bra,永远支撑着你

更好的朋友象丝袜,在一起永远都那么紧密

更好的朋友象卫生巾,你每次流血,她帮你擦

作弊就像是服用伟哥,也许你自认为非常强悍,但若不嗑这个你永远无法让所有人满意.

重修就像计划外怀胎,你在操作的时候再小心翼翼,也必须要有心理准备直面面对这种惨淡的失败.

四级证书就像是杰士邦保险套,只在找工作的时候拿出用,之后没人愿意把它捡起来洗干净再用第二次.

网恋就像是梦遗,人人都认为它会来,但没人知道它到底么时候来.55岁以上或者有前列腺炎病史者可以略过不看.

师生恋就像月经来潮,虽然不是不光彩的事情,但在对别人讲述的时候,人人都遮遮掩掩装作羞于启齿.​

上课就像和你老婆做爱,虽然你未必情愿,但她会时不时点名要求你来上一次.

逃课就像习惯性自慰,明明知道太过频繁会伤身体,但你仍然无法抗拒那一刻的快感.

开学就像接客,你还没有休息够,新一批的客人就又来打扰你了.

毕业就像生产,不管你认为你们在计划怀孕的时候它会多么的畸形,但再畸形它也在10个月或者4年后瓜熟蒂落.​

辅导员就像是阴毛,这不是什么问题,但有它存在的时候你总有摩擦,并且因此感到有些不爽.

后期集团也像保险套,它让你感到很不舒服,人人都希望抛弃它,但它的宣传广告上则宣称这个贵而不惠的东西会带给你多少多少的好处.​

Read More