mirror of https://xfnw.ttm.sh/git/huntnw.git
allow the user to not specify a new url while crawling
This commit is contained in:
parent
285a583492
commit
2d759ed8f7
9
crawly
9
crawly
|
@ -4,9 +4,6 @@
|
||||||
|
|
||||||
cleanxss(){ sed 's/&/\&/g; s/</\</g; s/>/\>/g; s/"/\"/g; s/'"'"'/\'/g' | tr "\n" " " | sed -e '$a\'; }
|
cleanxss(){ sed 's/&/\&/g; s/</\</g; s/>/\>/g; s/"/\"/g; s/'"'"'/\'/g' | tr "\n" " " | sed -e '$a\'; }
|
||||||
|
|
||||||
|
|
||||||
SITE=$1
|
|
||||||
|
|
||||||
TEMPIDC=/tmp/$RANDOM
|
TEMPIDC=/tmp/$RANDOM
|
||||||
|
|
||||||
function visit(){
|
function visit(){
|
||||||
|
@ -35,10 +32,16 @@ echo "link $1 is invalid"
|
||||||
fi
|
fi
|
||||||
}
|
}
|
||||||
|
|
||||||
|
if [ ! -z $1 ];then
|
||||||
|
|
||||||
|
SITE=$1
|
||||||
|
|
||||||
|
|
||||||
|
|
||||||
visit $SITE urls.txt
|
visit $SITE urls.txt
|
||||||
|
|
||||||
|
fi
|
||||||
|
|
||||||
URLLIST=`cat urls.txt`
|
URLLIST=`cat urls.txt`
|
||||||
|
|
||||||
rm urls.txt
|
rm urls.txt
|
||||||
|
|
Loading…
Reference in New Issue