Tag Archives: HaarpCache

NEW RELEASE: HAARPCACHE v1.4.1

Pueden seguir los avances del sistema en el Grupo de desarrolladores interesados en el projecto HaarpCache o Forks de ThunderCache 3.1.

+Para plugins personalizados escríbame a+
kei.haarpcache(at)gmail.com

Hola espero disfruten esta nueva versión.

Changelog:

  • NEW: Update regex for support of the oglobo domain (07/08/15).
  • Update the plugins for edgecastcdn, socialpointgames and akamaihd.
  • Update plugin of Youtube: not cached of videos on live.
  • Using the parameter ‘clen’ of the url from youtube as file size.
  • Update the HaarpClean program.
  • Fixed the problem of bad replacement string in the SQL requests.
  • Update the file of configuration for logrotate.
  • Fix problem: ‘general protection ip:7f39b6cdd44e sp:7ffc278771f0 error:0 in libmysqlclient.so.18.0.0‘.

Se agradecen las pruebas hechas por: Hernan Dario Nacimiento.

Para el funcionamiento del Youtube.com, agregar las siguientes lineas en squid.conf:

acl google url_regex -i (googlevideo.com|www.youtube.com) acl iphone browser -i regexp (iPhone|iPad) acl BB browser -i regexp (BlackBerry|PlayBook) acl Winphone browser -i regexp (Windows.*Phone|Trident|IEMobile) acl Android browser -i regexp Android request_header_access User-Agent deny google !iphone !BB !Winphone !Android request_header_replace User-Agent Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Estas mantienen las conexiones HTTP en Youtube.com. Este artificio sólo funciona para PC’s.

El cache sólo trabaja en HTTP.

Manual de instalación/reinstalación: http://keikurono.github.io/haarpcache/

Capturas y resultados:

 Lista de plugins soportados:


Youtube (https not supported), Netflix (Video and Images), DoubleClick (Block of ADS), Googlevideo, Dailymotion, AOL, Vimeo, Metacafe, Modovideo, Bitgravity, Globo, Terra, Viddler, Justin, Edgecastcdn, Youku, Wrzuta, 5min, Viddler, Tumblr, Facebook (https not supported);

Bomusica, Bullafina, Coqui, Cutmu, Domusica, Domusicas, Dungeonbusters, Goobeo, Gooveo, Miniclip, Molenillo, Mp3-Buscador, Musicaveo, Ning, Nofeehost, Sonicomusica, Turner, Vevos;

4shared, Mediafire, Etrustdownloads, Ziddu;

Akamaihd, Amazonaws, Blogspot, Imageshack, Issuu, Mercadolibre, Submanga, Ytimg;

Avast, Avgate, Eset, Mcafee, Avira, Bitdefender;

Windowsupdate, Adobe;

Porntube, Xvideos,
Pornhub, Redtube, YouPorn, Serviporno, Tube8;

Appspot, Cloudfront, Juegosdiarios, Juegosjuegos, Netpocket, Nordeus, Popcap, Socialpointgames, Telaxo, Tetrisfb, Vostucdn, Wooga, Zgncdn;

Disneylatino, Friv, Geewa, Hulkshare, Kixeye, Llnwd, Maguinamotors, Manabar;

SpeedTest.


NEW RELEASE: HAARPCACHE v1.2.1

Pueden seguir los avances de este sistema OpenSource en el Grupo de desarrolladores interesados en el projecto HaarpCache o Forks de ThunderCache 3.1.

Aquí el update!. No olviden de agregar las lineas:

acl google url_regex -i (googlevideo.com|www.youtube.com)
acl iphone browser -i regexp (iPhone|iPad)
acl BB browser -i regexp (BlackBerry|PlayBook)
acl Winphone browser -i regexp (Windows.*Phone|Trident|IEMobile)
acl Android browser -i regexp Android
request_header_access User-Agent deny google !iphone !BB !Winphone !Android
request_header_replace User-Agent Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

en squid.conf. Estas reglas impiden la redireccion de HTTP a HTTPS cuando se ingresar al youtube por HTTP.

Las reglas se desactivan para celulares o tablets, debido a que el formato del youtube en HTTP no es acorde a estos equipos. El sistema de cache (para Youtube) funciona sólo para PC’s.

Changelog:

  • Reparo del cacheado concurrente de archivos.
  • Actualizacion del haarpclean script.
  • Actualizacion e algunos plugins: Youtube, Dailymotion, 4shared, Issuu, Avgate, Submanga, YourPorn, PornHub, Xvideos, PornTube, Tube8.
  • Los videos de youtube.com son cacheados con el mismo nombre del Watch ID provenientes de sus URL.

El cache sólo trabaja en HTTP.

Se agradece la colaboración de: Samuel Espinoza, Oscar Vaquero y Fernando Maniglia.

Pasos para la instalación: http://keikurono.github.io/haarpcache/
O pueden seguir la guia: https://perufw.wordpress.com/2013/02/11/instalando-haarpcache-v1-1-un-cache-inteligente/

NEW RELEASE: HAARPCACHE v1.2

NEW: HaarpCache v1.5 and HaarpViewer v1.1

El ‘proyecto’ Haarp se dará una pausa de cinco meses (desde: 01/05/14), avisamos que el sistema necesita de una actualización en el plugin Youtube.

Posibles soluciones y/o sugerencias aqui: Grupo de desarrolladores interesados en el projecto HaarpCache o Forks de ThunderCache 3.1.

* Update 2013/12/24: New system for the cleanign of cache: haarpClean v1.1. (for more info: /etc/init.d/haarpclean –help); update of core of haarp, please update you system.

* Update 2014/01/09: New plugins: aol, wrzuta and youku (update too the reporter for the web haarp-ext-js-viewer).

Update 2014/01/14: Improvement of synchronization and efficiency in the use of the cache, avoid the possible corruption of  files.

Update 2014/01/20: Driver of header Origin (Improvement the cache on Youtube), improvent the cache of Ytimg (cache of imagens of middle quality).

* Important Update 2014/01/27:  Fixed problem with parameters cms_redirect, ir, rr, etc for not corrupt files of the Youtube. (This will make cache from scratch, but no need to remove old cache files, they are automatically deleted with the haarpclean in the crontab, see the instalation for haarp 1.1 for the configure of crontab).

* Update 2014/03/10:  Fix the bug ‘free() invalid pointer’.

Hola comunidad del cache!.

In this post we’ll put a few of the new version of HaarpCache:

ChangeLog:

  1. Fix header of Hits, for the web Youtube (adding the header ‘Access-Control-Allow-Origin’ for the working with the browser google-chromium).
  2. Improved ad blocking Youtube.

Source Code: http://keikurono.github.io/haarpcache/

Perform the following to update your haarp:

su
cd /tmp/
git clone git://github.com/keikurono/haarpcache.git
cd haarpcache
./configure CXX=g++-4.4
make clean
make
make install
mysql -u root -p < haarp.sql
cp /etc/haarp/haarp.conf /etc/haarp/haarp.conf.back
cp etc/haarp/haarp.conf /etc/haarp/haarp.conf
cp /etc/haarp/haarp.lst /etc/haarp/haarp.lst.back
cp etc/haarp/haarp.lst /etc/haarp/haarp.lst
#restart the systems:
service haarp restart
squid3 -k reconfigure

* Update the params of the file haarp.conf (please, see the instalation of the haarpcache 1.1).

The installation is seem that the version 1.1.

* Example of used of cleaning of cache:

/etc/init.d/haarpclean –dates 01/02/2013-20/11/2013 –domain youtube  (recommended for those using the haarpcache 1.1).

other example:

/etc/init.d/haarpcache –dates 01/10/2013-end (“end” for the date of today).

Video installation:

INSTALANDO HAARPCACHE V1.0 – 32BITS

Update: Nueva versión del haarpcache!.

HAARPCACHE es un sistema que trabaja a modo de proxy padre de un Squid u otro sistema proxy, haciendo cache de los archivos de vídeo como de youtube, y actualizaciones de antivirus y windows update, esto, para mejorar el rendimiento de un sistema de red local. Es un módulo ideal para los proveedores de servicios de Internet, ya que además de dar un rendimiento excepcional, proporciona un notable ahorro de ancho de banda.

  • Actualizado: 27-04-12
    • Agregado el limpiador de cache.
  • Actualizado: 31-04-12
    • La instalación abarca más distribuciones Debian.
    • Correcciones al plugin Mediafire.

Para su instalación solo bastará con ejecutar un script que hará todo por nosotros: (Se a probado en las distribuciones Ubuntu 10.x y 11.x)

su
wget http://archives.scienceontheweb.net/installhc.sh -O "installhc.sh"
chmod +x installhc.sh
./installhc.sh

[Nota: Verá que estamos instalando el proxy SQUID, si quieren usar 2 tarjetas de red, deben de configurar el proxy en modo transparente, vean como se configura aqui, o pueden buscar “como configurar proxy transparente” en google].

Este script descargará las dependencias necesarias para el uso del Haarp, instalará el servicio y también un visor para apreciar las estadísticas de los plugins.

Luego que finalice la instalación (cerciorarse que no se haya tenido ningún error al final).
editamos las configuraciones del squid:
sudo gedit /etc/squid/squid.conf
o
sudo vim /etc/squid/squid.conf
Al final del archivo agregamos las redirecciones hacia el haarpcache.

	#===================================================================#
	#Redirecionamento Haarp 3.x - REGEx
	#===================================================================#
	acl haarp_lst url_regex -i "/etc/haarp/haarp.lst"
	cache deny haarp_lst
	cache_peer IPHAARP parent 8080 0 proxy-only no-digest
	dead_peer_timeout 2 seconds
	cache_peer_access IPHAARP allow haarp_lst
	cache_peer_access IPHAARP deny all

Cambiar el “IPHAARP” por la ip del proxy.

buscamos y comentamos la linea:

#hierarchy_stoplist cgi-bin ?

Editamos el user y el password en las configuraciones del Haarp, según como hayamos configurado nuestro mysql:

sudo gedit /etc/haarp/haarp.conf

o bien por consola:

sudo vim /etc/haarp/haarp.conf

editamos:

MYSQL_USER root
MYSQL_PASS ********

Para concluir, hacemos que nuestros log’s roten cada día.
creamos el archivo, “sudo gedit /etc/logrotate.d/haarpcache” o “sudo vim /etc/logrotate.d/haarpcache”, y pegamos lo siguiente:

/var/log/haarp/*.log {
daily
compress
rotate 5
missingok
notifempty
postrotate
/etc/init.d/haarp restart > /dev/null
endscript
}

Finalmente reiniciamos los servicios.

/etc/init.d/haarp restart
/etc/init.d/squid restart

Si quieren ver la lista de procesos abiertos por el haarp (o corroborar el levantamiento del servicio), pueden hacerlo de esta forma:

ps aux | grep haarp

Estos procesos son justamente conocidos por threads, que son procesos que escuchan las llamadas del proxy (en este caso el squid) los cuales son atendidas por una de estas threads, el echo de tener varias implica que las llamadas al haarp no sean encoladas, sino mas bien despachadas en modo multitarea.

Ahora que ya casi terminamos, veremos que también tenemos una interfaz web, donde apreciaremos las estadísticas de nuestro Haarp, y de un historial mostrando las cantidades de los archivos descargados y archivos despachados (HITS) de cada dominio cacheado.

Cabe aclarar que se mostraran las estadísticas de los dominios que ya hallan tenido alguna actividad de almacenamiento, por ello en un principio la lista se mostrara vacía.

La direccion del reporte se presenta aqui:
http://IP_SERVER/cgi-bin/haarp.cgi

Obviamente se debe reemplazar el “IP_SERVER” por la ip de su servidor.

haarp1
haarp2

Podemos observar lo que ocurre con el haarpcache en:

tail -f /var/log/haarp/access.log

La interfaz web tambien trae su propio log, pueden verlo ejecutando:

tail -f /tmp/loghc

Para limpiar el cache de archivos incensarios, deberemos de hacer uso del programa “haarpClear.o”:

#Descargamos el haarpClear
su
cd /etc/haarp/
wget "archives.scienceontheweb.net/haarpClear.o"
chmod +x haarpClear.o

para saber como usarlo (trae una ayuda).

./haarpClear.o --help
Usage: haarpClear [Options]

Possible options are:
--help | -h 				 This pamphlet
--week w | -w w				 Delete downloaded files ...
--num-hits numbhits | -n numbhits	 Delete the files should ...

En concreto, tenemos dos opciones, el número de semanas atras que se descagó el archivo (-w), y el numero de hits que ha tenido desde entonces (-n).

Por ejemplo, si queremos eliminar los archivos que se descargaron hace 15 semanas atrás, y en donde no tubo ningún hit, hasta hoy, pues deberemos de hacer lo siguiente:

./haarpClear.o -w 15 -n 0
#o bien:
./haarpClear.o -w 15 (-n 0, es por defecto)
#o tambien:
./haarpClear.o --week 15

y nos dará un resultado como este:

Deleting before of the date: 2012-01-13, whose hits are lower and equal to 0? (s/n): s
Connecting to the DB ...	[OK]
(0) Deleting ...  /haarp/youtube/6/8_24/179ad6d22e0c1c58.flv (2.40 MB)
(1) Deleting ...  /haarp/youtube/7/2_43/f9ed4f2bed844ed3.flv (10.07 MB)
(2) Deleting ...  /haarp/ytimg/4/5_04/6o1wind1iUc-hq.jpg (0.01 MB)
...
Total deleted: 204.283 MB

/**/

Si por alguna razón hubiese un problema o algún cambio en la configuración del haarpcache, podemos reiniciar el servico de esta forma:

killall haarp
/etc/init.d/haarp restart
squid -k reconfigure

Nota:
Igualmente cuando se presenta un HIT de algún objeto, el Haarpcache, nos enviará una cabecera HTTP con el contenido: “X-Cache: Hit from Haarp”, esto puede servir para diferenciar los paquetes que vienen desde Internet y de los que vienen desde el Haarp:

Podemos hacer uso de esto para controlar la velocidad de trasmisión de sus despachos a la LAN, por ejemplo, si queremos limitar la velocidad del flujo a 1MByte, podemos hacer lo siguiente;

IF_LAN=eth0
MAX_DOWN=1300kbps
MIN_CACHE_DOWN=1000kbps
MAX_CACHE_DOWN=1100kbps

iptables -A OUTPUT -t mangle -o $IF_LAN -p tcp -m string --string "X-Cache: HIT from Haarp" --algo kmp -j MARK --set-mark 666

tc qdisc add dev $IF_LAN root handle 1:0 htb default 10 r2q 15
tc class add dev $IF_LAN parent 1:0 classid 1:1 htb rate $MAX_DOWN ceil $MAX_DOWN
tc class add dev $IF_LAN parent 1:1 classid 1:66 htb rate $MIN_CACHE_DOWN ceil $MAX_CACHE_DOWN
tc qdisc add dev $IF_LAN parent 1:66 handle 66:0 sfq perturb 30
tc filter add dev $IF_LAN protocol ip parent 1:0 handle 666 fw classid 1:66

No hay mucho que aclarar aquí, se hace uso de IPTABLES y TC.

Espero les sirva.

*Siempre es bienvenido una donación*