<div style="white-space:pre-wrap">I'd suggest instead just finding their IPranges and not counting anything from those ranges.<br><br>Seems easier.</div><br><div class="gmail_quote"><div dir="ltr">On Sun, 25 Oct 2015 at 15:11 Fabio Pietrosanti (naif) - lists <<a href="mailto:lists@infosecurity.ch">lists@infosecurity.ch</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Heyo,<br>
<br>
those organizations are surely doing crawling directly on the Tor Hidden<br>
Service, but it's also possible that they are doing it from Tor2web.<br>
<br>
Also the German agency wrote sometime to abuse@, while the italian rely<br>
on national DNS-based censorship for CP sites (but have no evidence that<br>
they are doing it on <a href="http://tor2web.org" rel="noreferrer" target="_blank">tor2web.org</a>).<br>
<br>
Btw i think that we shall start by asking ourself:<br>
<br>
"How can we detect that someone is doing a crawling without much false<br>
positive?"<br>
<br>
If we can do that, we would be able not only to remove them out from the<br>
statistics, but also to "Automatically act" on the crawlers.<br>
<br>
What do you think?<br>
<br>
On 10/25/15 4:13 AM, Virgil Griffith wrote:<br>
> I've been trying to get a better count of the popularity of child abuse<br>
> content.  We know (or at the very least, strongly suspect), a lot of the<br>
> traffic comes from LEOs.  Do we know of any organizations that are doing<br>
> this crawling?  Both the <a href="http://IWF.org.uk" rel="noreferrer" target="_blank">IWF.org.uk</a> <<a href="http://IWF.org.uk" rel="noreferrer" target="_blank">http://IWF.org.uk</a>> as well as<br>
> NCMEC.org deny any crawling on their part.<br>
><br>
> I'd like to talk to an organization that does some of this crawling and<br>
> their IPranges so we can subtract them out from the statistics.<br>
><br>
> -V<br>
><br>
><br>
> _______________________________________________<br>
> Tor2web-talk mailing list<br>
> <a href="mailto:Tor2web-talk@lists.tor2web.org" target="_blank">Tor2web-talk@lists.tor2web.org</a><br>
> <a href="https://lists.ghserv.net/mailman/listinfo/tor2web-talk" rel="noreferrer" target="_blank">https://lists.ghserv.net/mailman/listinfo/tor2web-talk</a><br>
><br>
<br>
--<br>
Fabio Pietrosanti (naif)<br>
HERMES - Center for Transparency and Digital Human Rights<br>
<a href="http://logioshermes.org" rel="noreferrer" target="_blank">http://logioshermes.org</a> - <a href="https://globaleaks.org" rel="noreferrer" target="_blank">https://globaleaks.org</a> - <a href="https://tor2web.org" rel="noreferrer" target="_blank">https://tor2web.org</a> -<br>
<a href="https://ahmia.fi" rel="noreferrer" target="_blank">https://ahmia.fi</a><br>
<br>
_______________________________________________<br>
Tor2web-talk mailing list<br>
<a href="mailto:Tor2web-talk@lists.tor2web.org" target="_blank">Tor2web-talk@lists.tor2web.org</a><br>
<a href="https://lists.ghserv.net/mailman/listinfo/tor2web-talk" rel="noreferrer" target="_blank">https://lists.ghserv.net/mailman/listinfo/tor2web-talk</a><br>
</blockquote></div>