使用wikiextractor 提取wiki数据

wikiextractor包链接地址：https://github.com/attardi/wikiextractor
安装wikiextractor: pip install wikiextractor
然后下载wiki语料库，下载地址: https://dumps.wikimedia.org/zhwiki/latest/
我下载的是：zhwiki-latest-pages-articles.xml.bz2
然后使用下面命令：

python -m wikiextractor.WikiExtractor -b 1024M -o /home/work/ljs/wiki/wiki_data /home/work/wiki/zhwiki-latest-pages-articles.xml.bz2
-b 1024M 其中1024M是指单个文件允许的*大的占用硬盘的大小
/home/work/ljs/wiki/wiki_data 指输出数据存放文件夹
/home/work/wiki/zhwiki-latest-pages-articles.xml.bz2 指原始语料存放文件夹

然后就开始提取wiki数据了，如果上述命令执行错误，应该是环境有问题，请检查环境，还有尽量使用ubuntu系统，否则可能出错哦。
运行过程中：

%title插图%num