网页资讯视频图片知道文库贴吧地图采购
进入贴吧全吧搜索

 
 
 
日一二三四五六
       
       
       
       
       
       

签到排名:今日本吧第个签到,

本吧因你更精彩,明天继续来努力!

本吧签到人数:0

一键签到
成为超级会员,使用一键签到
一键签到
本月漏签0次!
0
成为超级会员,赠送8张补签卡
如何使用?
点击日历上漏签日期,即可进行补签。
连续签到:天  累计签到:天
0
超级会员单次开通12个月以上,赠送连续签到卡3张
使用连续签到卡
01月09日漏签0天
linux吧 关注:535,235贴子:2,573,826
  • 看贴

  • 图片

  • 吧主推荐

  • 视频

  • 游戏

  • 4回复贴,共1页
<<返回linux吧
>0< 加载中...

在linux下做的全文检索,100G要用2小时,求高手提速

  • 只看楼主
  • 收藏

  • 回复
  • chenjie0012300
  • ----x--x
    9
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
要求检索的目录是(例如):/data/;数据量:100G左右,z
我的脚本有两个:第一个
#!/bin/bash
#关键字是utf-8对应的base64编码,再在脚本中由base64转utf-8和gbk(如下)
mkeyword=$1
echo $1 | base64 -di > $$_findword.list
echo -ne "\n" >> $$_findword.list
echo $1 | base64 -di |iconv -f utf-8 -t gb2312 >> $$_findword.list
#查询过程
find $fdir -name *.txt -exec fgrep -f $$_findword.list {} -rIbH \; | while read txt; do
mdata=`echo $txt | cut -d ' ' -f 1`
mfile=`echo $mdata | cut -d ':' -f 1` `
mfile=`basename $mfile`
mpos=`echo $mdata | cut -d ':' -f 2`
echo "insert into findres(**) values (**);" >> $$_findres.sql
done
find $fdir -name *.zip -type f | while read zipfile; do
zipdir=`echo $zipfile | cut -d '.' -f 1`
unzip -o $zipfile -d $zipdir rm $zipfile -f done
find $fdir -name *.gz -type f -execdir gzip -df {} \;
find $fdir -name *.gz -exec rm -f {} \;
find $fdir -name "[1|3]_*" -type d -exec fgrep -f $$_findword.list {} -rIo -m 1 \; | grep $fdir | while read line; do
*
echo "insert into findres(**) values (**);" >> $$_findres.sql
done
有没有好点的方法呐?求指点


  • 太阳岛的海子
  • ----x-wx
    11
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
没做过这个,顶顶,等高手


2026-01-09 09:06:57
广告
不感兴趣
开通SVIP免广告
  • chenjie0012300
  • ----x--x
    9
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
这不是全码,我只是把关键代码列出来了,


  • ariawings
  • -----rw-
    6
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
自然语言处理???
为什么不自己写程序……


  • czw19931006
  • ----x--x
    9
该楼层疑似违规已被系统折叠 隐藏此楼查看此楼
好像在C语言吧见过类似的题目。


登录百度账号

扫二维码下载贴吧客户端

下载贴吧APP
看高清直播、视频!
  • 贴吧页面意见反馈
  • 违规贴吧举报反馈通道
  • 贴吧违规信息处理公示
  • 4回复贴,共1页
<<返回linux吧
分享到:
©2026 Baidu贴吧协议|隐私政策|吧主制度|意见反馈|网络谣言警示