超大文本TXT去重复的工具软件及方法

当前位置 : 主页 > 房产 >
超大文本TXT去重复的工具软件及方法
* 来源 :http://www.pusatherbal-indonesia.com * 作者 : * 发表时间 : 2017-09-23 16:33 * 浏览 :

  找了大半天的超大文本去重复软件,竟然没有一个能够线M的TXT就提示内存溢出,无法运行)!试用的部分小软件如下图所示:

  还有很多不是单文件的用后不行就直接删除了,可以说能下载到的这类小工具基本上都试了,没有一个能够胜任超大文本去重复这个简单的功能!号称的极速去重复等等软件工具,基本上加在了755M的TXT,不是卡死就是内存错误而退出。这可怎么办呢?超大文本怎样去重复呢?搜索到的方法有的还牵扯到易语言、脚本等等更高级的东西,可我就只是需要一个简单软件,谷歌、百度搜索都搜不出来呢!

  幸运的是,无意间下载了一个号称“超大TXT打开器”的软件,当时下载只是想看看700多M的TXT用这个打开速度咋样(速度确实很快,不到一分钟),没想到这成了救命稻草!这个软件名字大部分人应该都见过,就是传说中的最佳文本编辑器——EmEditor(我用的是EmEditorPro,就是专业版本的),很容易下载的,这里就不提供下载了。

  超大文本TXT去重复工具:EmEditorPro(经测试去重复700多万的数据还是能在短时间内解决的,再多了就会越来越慢,耗时未知~)

  1、选中所有数据,点击右键,选择“高级”→“删除重复行”(这不正是我们需要的功能么)。

  3、最后一步应该是去重复后保存吧,未测试到此步。补充:经过测试,当数据到达700多万的时候,就开始会变得很慢,越来越慢,但是不会卡死。

  4、注意:必须是数据完全相同的重复行才能被成功删除掉,否则哪怕是多一个空格,EmEditor也不会将其算作重复行。

  就说到这里吧,剩下的就靠电脑配置了~应该常快的!由于工作电脑配置较差、时间有限,暂时测试到这里,等用高配置电脑再测试一下超大文本去重复所需要的时间,再更新吧!

  原创文章请注明转载自光的传人博客本文地址:去重复.html,标题:超大文本TXT去重复的工具软件及方法

  微博提示“登录尝试次数过于频繁,请稍后再登录”解决方法(2017-8-9 14:41:10)

  周周乐怎么刷?支付宝蚂蚁会员旗下的周周乐最简单获取方法(2017-7-11 18:36:7)

  支付宝提现要手续费吗?怎么避免手续费?2万额度不够,收钱码一招搞定!(2017-7-11 17:41:56)

  京东私改用户订单,狗狗的还能走多远?(2017-6-30 9:6:57)