FAQ – HAARPCACHE

* Este FAQ esta en constante modificación.

¿Como agregar un nuevo disco duro al HaarpCache?

Sólo formatear y montar el nuevo disco, buscar millares de manuales en la web de como hacer esto.
Luego agregas los directorios donde los montaste en el haarp.conf. Para esto existe la opción CACHEDIR. Configuralo como dice el manual:

CACHEDIR <dir_1>|<dir_2>|<dir_3> …

<dir_1>, <dir_2>,… son los directorios donde el cache será almacenado. Por defecto: CACHEDIR /haarp/

Ejemplo:
CACHEDIR /haarp/|/mnt/haarp/|/mnt/haarp2/|/home/user/haarp/
Agregando los directorios siempre terminados con “/” y separados con “|”.

¿Como hacer nuevos plugins?

Un plugin es simplemente un programa que recibe una URL de algun archivo que se desea cachear. Este devuelve el nombre del archivo con el que será guardado en disco, usualmente obtenido desde la URL y de forma que lo identifique con respecto a otras URL del mismo domino, el nombre del domino que representa aquel conjunto de URL, por ejemplo “youtube”, “4shared”, etc; y un identificador que nos dice si aquel URL puede ser cacheado o no.

Para hacer nuevos plugins lo recomendable es saber algún lenguaje de programación: de preferencia C++. Si vas al directorio de las fuentes del haarpcache, alli veras el directorio: haarp/plugins/. Dentro de este encuentras muchos otros plugins hechos por la comunidad. Puedes guiarte de estos para hacer un plugin tu mismo. Asegúrate de crear un plugin con el nombre de dominio de las URL a las que quieres hacer cache. Por ejemplo si deseas un plugin de 4shared.com, cuyos links de datos a cachear tienen el siguiente aspecto:

http://dc342.4shared.com/img/1026923787/3b07d7f4/dlink__2Fdownload_2F_5Ftxkuq_5F1_2FGuns_5FAnd_5FRoses_5F-_5FYesterday.mp3_3Ftsid_3D20150524-014002-6f9caeb1_26lgfp_3D1000_26sbsr_3D085e811f83de4dd19c794d61f5988b92398dde9351c0de5e/preview.waveform

notarás que el domino de aquel link es “dc342.4shared.com”, el haarpcache utiliza este nombre de domino para determinar el nombre del plugin que hará uso para su respectivo cache.

En este caso el haarpcache buscara el plugin “4shared.com.so” en el directorio de plugins.  Es decir justa los dos primeros dominos para formar el nombre del plugin: “4shared” y “com”.
Si se tienen URL como por ejemplo: “empresa.com.pe” o “universidad.com.br”, entonces se considera el nombre del plugin como: “empresa.com.pe.so” y “univesidad.com.br.so”, es decir se toma el tercer domino o subdomino para formar el nombre del plugin. Cuando el primer y segundo domino poseen menos de 3 caracteres, entonces se toma el tercer domino para formar el nombre del plugin. Tener en cuenta esto para nombrar correctamente su plugin (este nombre de plugin irá en el archivo Makefile.in, ver más adelante).

Finalmente edita el archivo etc/haarp/haarp.lst ubicado en el directorio de las fuentes del haarpcache. Y agrega la expresión regular que desees que el squid filtre para hacer que el haarpcache haga luego almacenamiento con el plugin creado por ti.

Por ejemplo para 4shared, podría ser:

^http.{1,15}\.4shared\.com.*(\.exe|\.iso|\.torrent|\.zip|\.rar|\.pdf|\.doc|\.tar|\.mp3|\.mp4|\.avi|\.wmv|\.mpg)

Luego para compilar el plugin y generar el “.so”
respectivo, modificar el archivo haarp/plugins/Makefile.in y agregar el nuevo nombre, “4shared.com.so” en nuestro caso, en la lista de las demás *.so asignados a la variable llamada “OBJECTS” (ejemplo aqui).

Configurar para generar el Makefile: ./configure desde el directorio donde se encuentra las fuentes del haarpcache.
Luego compilar e instalar: make; make install.

Pueden también hacer pruebas de sus plugins antes de instalarlos, para esto existe el programa llamado teste, ubicado en el directorio haarp/plugins/
Un ejemplo de su uso:

haarp/plugins/teste ./haarp/plugins/4shared.com.so “http://dc342.4shared.com/img/1026923787/3b07d7f4/dlink__2Fdownload_2F_5Ftxkuq_5F1_2FGuns_5FAnd_5FRoses_5F-_5FYesterday.mp3_3Ftsid_3D20150524-014002-6f9caeb1_26lgfp_3D1000_26sbsr_3D085e811f83de4dd19c794d61f5988b92398dde9351c0de5e&#8221;

El cual nos entrega como resultado:

C++ dlopen demo

Opening ./haarp/plugins/4shared.com.so
Loading symbol …
retorno:
Match: 1
Domain: 4shared
File: _txkuq_1-Guns_And_Roses_-_Yesterday.mp3
range_min: 0
range_max: 0
total_file_size: 0
Closing library…
Time: 1.13700 msec.

Informándonos que aquella URL esta en el formato correcto para realizarle cache: “Match: 1”, su dominio o identificador es “4shared”, el nombre con el que se guardará el archivo es “_txkuq_1-Guns_And_Roses_-_Yesterday.mp3”, y su tiempo de cargado y proceso es de 1.14 mili segundos.

Salu2.

NEW RELEASE: HaarpCache v2.1.2 AND Haarp-Viewer v1.1.2

El proyecto Haarp se dará una pausa de cinco meses (desde: 10/01/16).

Sugerencias y/o comentarios aquí:  Grupo de desarrolladores interesados en el projecto HaarpCache y/o Forks de ThunderCache 3.1.

+¿Cambios urgentes o mantenimiento del sistema?, escríbame a:
kei.haarpcache(at)gmail.com

haarp_logo

Nota: Instalación en paralelo a Mikrotik (*SCRIPT*)

HaarpCache Sistema de almacenamiento en caché automático de dominios dinámicos.

HaarpCache es un fork de ThunderCache 3.1 que en comparación a otros caches es un cache inteligente en el sentido del almacenamiento y en el despacho de archivos. Es decir almacena cada pedazo del vídeo o archivo juntándolos todo en un único recurso en el disco, aún sin importar si estas llegaron completas o no.
Con ello, el HaarpCache puede despachar incluso cuando se piden partes de un archivo que en mayor tamaño está en cache. En conclusión HaarpCache da soporte a la tecnología MPEG-DASH.

ChangeLog:

  • New plugins: Nvidia (drivers), Blazzers (World Of Wordcraft, Diablo 3, etc), League of Legends.
  • Update plugin akamaihd.
  • Change of format in some columns of the databases: support for cache of files of great size.Disabled for default the general plugin (in BETA).

        Haarp-Viewer:

  • Fix problem with some icons in the report.
  • Adding functionality of filter by domain search in the report panel.
  • Support for HaarpCache 2.1.2.

Instalación desde un SCRIPT (sólo para sistemas Debian y Ubuntu):


su
coloque su password root.

wget https://raw.githubusercontent.com/keikurono/haarpcache/master/installHaarp.sh
chmod +x installHaarp.sh
bash installHaarp.sh

Next. next …:

Para los que tienen en paraleo a mikrotik, agregar:

acl localnet src 192.0.3.0/24

en el squid.conf. Pueden guiarse de esta parte del video:

Instalación Manual:


Manual de instalación: http://keikurono.github.io/haarpcache/#installing
Manual de reinstalación: http://keikurono.github.io/haarpcache/#reinstall-or-update
Manual de instalación del Haarp-Viewer (desde codigo fuente): http://keikurono.github.io/haarp-viewer/

Para capturar/observar las IP de sus clientes que hacen uso del HaarpCache, editar la opción ‘FORWARDED_IP false’ a ‘FORWARDED_IP true’ en el haarp.conf  – Para los instalados con script no es necesario hacer esto.

*Para los que SI quieran usar el plugin general, editar el archivo /etc/haarp/haarp.lst, descomentar la linea primera (quitar la almohadilla ‘#’) y reiniciar el servicio haarp y squid (service haarp restart; service squid restart). Para hacer esta edicion desde windows ver el segundo video colgado en este post (entre minuto 10 y minuto 11). Igualmente a ese video y utilizando el winscp se puede hacer esta edición.

*Recomendaciones: Si ya tienes instalado el haarpcache asegurate que el LOGLEVEL en el haarp.conf  sea 0 (zero), para permitir un mejor flujo del sistema.

Captura – HaarpViewer:


hc1
hc2

Lista de plugins soportados:


Youtube (https not supported), Netflix (Video -testing- and Images), DoubleClick (Block of ADS), Googlevideo, Dailymotion, AOL, Vimeo, Metacafe, Modovideo, Bitgravity, Globo, Terra, Viddler, Justin, Edgecastcdn, Youku, Wrzuta, 5min, Viddler, Tumblr, Facebook (https not supported);

Bomusica, Bullafina, Coqui, Cutmu, Domusica, Domusicas, Dungeonbusters, Goobeo, Gooveo, Miniclip, Molenillo, Mp3-Buscador, Musicaveo, Ning, Nofeehost, Sonicomusica, Turner, Vevos;

4shared, Mediafire, Etrustdownloads, Ziddu;

Akamaihd, Blogspot, Imageshack, Issuu, Mercadolibre, Submanga, Ytimg;

Avast, Avgate, Eset, Mcafee, Avira, Bitdefender;

Windowsupdate, Adobe, Nvidia (drivers);

Porntube, Xvideos,
Pornhub, Redtube, YouPorn, Serviporno, Tube8;

Appspot, Cloudfront, Juegosdiarios, Juegosjuegos, Netpocket, Nordeus, Popcap, Socialpointgames, Telaxo, Tetrisfb, Steam, Vostucdn, Wooga, Zgncdn, Blizzard (World of Warcraft, Diablo 3, Starcraft, etc), League of Legends;

Disneylatino, Friv, Geewa, Hulkshare, Kixeye, Llnwd, Maguinamotors, Manabar;

SpeedTest; Plugin General.


 

 

NEW RELEASE: HaarpCache v2.1.1

Pueden seguir los avances del sistema en el Grupo de desarrolladores interesados en el projecto HaarpCache o Forks de ThunderCache 3.1.

+¿Cambios urgentes o mantenimiento del sistema?, escríbame a:
kei.haarpcache(at)gmail.com

haarp_logo

Nota: Instalación en paralelo a Mikrotik (*SCRIPT*)

HaarpCache Sistema de almacenamiento en caché automático de dominios dinámicos.

HaarpCache es un fork de ThunderCache 3.1 que en comparación a otros caches es un cache inteligente en el sentido del almacenamiento y en el despacho de archivos. Es decir almacena cada pedazo del vídeo o archivo juntándolos todo en un único recurso en el disco, aún sin importar si estas llegaron completas o no.
Con ello, el HaarpCache puede despachar incluso cuando se piden partes de un archivo que en mayor tamaño está en cache. En conclusión HaarpCache da soporte a la tecnología MPEG-DASH.

ChangeLog:

  • Update of the eset plugin.
  • Reducing the workload on the haarpclean.
  • Limit of count of users in the database.

Instalación desde un SCRIPT (sólo para sistemas Debian y Ubuntu):


su
coloque su password root.

wget https://raw.githubusercontent.com/keikurono/haarpcache/master/installHaarp.sh
chmod +x installHaarp.sh
bash installHaarp.sh

Next. next …:

Para los que tienen en paraleo a mikrotik, agregar:

acl localnet src 192.0.3.0/24

en el squid.conf. Pueden guiarse de esta parte del video:

Instalación Manual:


Manual de instalación: http://keikurono.github.io/haarpcache/#installing
Manual de reinstalación: http://keikurono.github.io/haarpcache/#reinstall-or-update
Manual de instalación del Haarp-Viewer (desde codigo fuente): http://keikurono.github.io/haarp-viewer/

Para capturar/observar las IP de sus clientes que hacen uso del HaarpCache, editar la opción ‘FORWARDED_IP false’ a ‘FORWARDED_IP true’ en el haarp.conf  – Para los instalados con script no es necesario hacer esto.

*Para los que NO quieran usar el plugin general, editar el /etc/haarp/haarp.lst, comentar la primera linea y reiniciar el servicio haarp y squid (service haarp restart; service squid restart).

*Recomendaciones: Si ya tienes instalado el haarpcache asegurate que el LOGLEVEL en el haarp.conf  sea 0, para permitir un mejor flujo del sistema.

Captura – HaarpViewer:


hc1
hc2

Lista de plugins soportados:


Youtube (https not supported), Netflix (Video -testing- and Images), DoubleClick (Block of ADS), Googlevideo, Dailymotion, AOL, Vimeo, Metacafe, Modovideo, Bitgravity, Globo, Terra, Viddler, Justin, Edgecastcdn, Youku, Wrzuta, 5min, Viddler, Tumblr, Facebook (https not supported);

Bomusica, Bullafina, Coqui, Cutmu, Domusica, Domusicas, Dungeonbusters, Goobeo, Gooveo, Miniclip, Molenillo, Mp3-Buscador, Musicaveo, Ning, Nofeehost, Sonicomusica, Turner, Vevos;

4shared, Mediafire, Etrustdownloads, Ziddu;

Akamaihd, Blogspot, Imageshack, Issuu, Mercadolibre, Submanga, Ytimg;

Avast, Avgate, Eset, Mcafee, Avira, Bitdefender;

Windowsupdate, Adobe;

Porntube, Xvideos,
Pornhub, Redtube, YouPorn, Serviporno, Tube8;

Appspot, Cloudfront, Juegosdiarios, Juegosjuegos, Netpocket, Nordeus, Popcap, Socialpointgames, Telaxo, Tetrisfb, Steam, Vostucdn, Wooga, Zgncdn;

Disneylatino, Friv, Geewa, Hulkshare, Kixeye, Llnwd, Maguinamotors, Manabar;

SpeedTest; Plugin General.


 

NEW RELEASE: HaarpCache v2.1.0

Pueden seguir los avances del sistema en el Grupo de desarrolladores interesados en el projecto HaarpCache o Forks de ThunderCache 3.1.

+¿Cambios urgentes o mantenimiento del sistema?, escríbame a:
kei.haarpcache(at)gmail.com

haarp_logo

Nota: Instalación en paralelo a Mikrotik (*SCRIPT*)

HaarpCache Sistema de almacenamiento en caché automático de dominios dinámicos.

HaarpCache es un fork de ThunderCache 3.1 que en comparación a otros caches es un cache inteligente en el sentido del almacenamiento y en el despacho de archivos. Es decir almacena cada pedazo del vídeo o archivo juntándolos todo en un único recurso en el disco, aún sin importar si estas llegaron completas o no.
Con ello, el HaarpCache puede despachar incluso cuando se piden partes de un archivo que en mayor tamaño está en cache. En conclusión HaarpCache da soporte a la tecnología MPEG-DASH.

ChangeLog:

  • Improve performance for the use of the Mysql.
  • Fixed the problem: ‘general protection ip:7fc4e8d35b9f sp:7fff604fde10 error:0 in libmysqlclient.so’.
  • Update regular expression (in the haarp.lst file) for netflix, globo and amazonwas. Deleted amazonwas plugin.

Instalación desde un SCRIPT (sólo para sistemas Debian y Ubuntu):


su
coloque su password root.

wget https://raw.githubusercontent.com/keikurono/haarpcache/master/installHaarp.sh
chmod +x installHaarp.sh
bash installHaarp.sh

Next. next …:

Para los que tienen en paraleo a mikrotik, agregar:

acl localnet src 192.0.3.0/24

en el squid.conf. Pueden guiarse de esta parte del video:

Instalación Manual:


Manual de instalación: http://keikurono.github.io/haarpcache/#installing
Manual de reinstalación: http://keikurono.github.io/haarpcache/#reinstall-or-update
Manual de instalación del Haarp-Viewer (desde codigo fuente): http://keikurono.github.io/haarp-viewer/

Para capturar/observar las IP de sus clientes que hacen uso del HaarpCache, editar la opción ‘FORWARDED_IP false’ a ‘FORWARDED_IP true’ en el haarp.conf  – Para los instalados con script no es necesario hacer esto.

*Para los que NO quieran usar el plugin general, editar el /etc/haarp/haarp.lst, comentar la primera linea y reiniciar el servicio haarp y squid (service haarp restart; service squid restart).

*Recomendaciones: Si ya tienes instalado el haarpcache asegurate que el LOGLEVEL en el haarp.conf  sea 0, para permitir un mejor flujo del sistema.

Captura – HaarpViewer:


hc1
hc2

Lista de plugins soportados:


Youtube (https not supported), Netflix (Video -testing- and Images), DoubleClick (Block of ADS), Googlevideo, Dailymotion, AOL, Vimeo, Metacafe, Modovideo, Bitgravity, Globo, Terra, Viddler, Justin, Edgecastcdn, Youku, Wrzuta, 5min, Viddler, Tumblr, Facebook (https not supported);

Bomusica, Bullafina, Coqui, Cutmu, Domusica, Domusicas, Dungeonbusters, Goobeo, Gooveo, Miniclip, Molenillo, Mp3-Buscador, Musicaveo, Ning, Nofeehost, Sonicomusica, Turner, Vevos;

4shared, Mediafire, Etrustdownloads, Ziddu;

Akamaihd, Blogspot, Imageshack, Issuu, Mercadolibre, Submanga, Ytimg;

Avast, Avgate, Eset, Mcafee, Avira, Bitdefender;

Windowsupdate, Adobe;

Porntube, Xvideos,
Pornhub, Redtube, YouPorn, Serviporno, Tube8;

Appspot, Cloudfront, Juegosdiarios, Juegosjuegos, Netpocket, Nordeus, Popcap, Socialpointgames, Telaxo, Tetrisfb, Steam, Vostucdn, Wooga, Zgncdn;

Disneylatino, Friv, Geewa, Hulkshare, Kixeye, Llnwd, Maguinamotors, Manabar;

SpeedTest; Plugin General.


 

Conversión de un RaptorCache v2.0 a un HaarpCache v2.0

Pueden seguir los avances del sistema en el Grupo de desarrolladores interesados en el projecto HaarpCache o Forks de ThunderCache 3.1.

+¿Cambios urgentes o mantenimiento del sistema?, escríbame a:
kei.haarpcache(at)gmail.com

haarp_logo
En el siguiente videotutorial mostramos como ‘convertir’ un raptorcache 2.0 en uno de haarpcache 2.0.
Para esto imaginamos que tenermos la siguiente topologia de red:
topo_haarp
A continuación se muestran los pasos seguidos para la instalacion del HaarpCache sobre el raptor ya instalado.

Comandos:

cat /etc/crontab  | while read line; do if [[ $line != *"Raptor"* ]]; then echo "$line";else break; fi done >> /tmp/crontab
cat /tmp/crontab > /etc/crontab
update-rc.d -f raptor remove 
killall raptor
wget https://raw.githubusercontent.com/keikurono/haarpcache/master/installHaarp.sh
chmod +x installHaarp.sh
bash installHaarp.sh

Agregar la red LAN detrás del Mikrotik en el squid.conf (https://youtu.be/lifoBQoK4Mc?t=10m5s)

Cambiar las cadenas “X-Cache-xxx: Hit from Raptor” a “X-Cache: Hit from Haarp” en el Mikrotik (https://youtu.be/lifoBQoK4Mc?t=12m54s)

squid -k reconfigure
service haarp restart

Saludos!.

NEW VERSION: HaarpCache v2.0b

Pueden seguir los avances del sistema en el Grupo de desarrolladores interesados en el projecto HaarpCache o Forks de ThunderCache 3.1.

+¿Cambios urgentes o mantenimiento del sistema?, escríbame a:
kei.haarpcache(at)gmail.com

haarp_logo

Nota: Instalación en paralelo a Mikrotik (*SCRIPT*)

HaarpCache Sistema de almacenamiento en caché automático de dominios dinámicos.

HaarpCache es un fork de ThunderCache 3.1 que en comparación a otros caches es un cache inteligente en el sentido del almacenamiento y en el despacho de archivos. Es decir almacena cada pedazo del vídeo o archivo juntándolos todo en un único recurso en el disco, aún sin importar si estas llegaron completas o no.
Con ello, el HaarpCache puede despachar incluso cuando se piden partes de un archivo que en mayor tamaño está en cache. En conclusión HaarpCache da soporte a la tecnología MPEG-DASH.

ChangeLog:


  • Plugin general.
  • Adding script for check status of haarp; update process installation from a script
  • Update reg. expressions for multiples plugins; reedit some messages of errors for Debug mode.
  • Fixed problem with reader of header HTTP.

Instalación con SCRIPT:


su
coloque su password root.

wget https://raw.githubusercontent.com/keikurono/haarpcache/master/installHaarp.sh
chmod +x installHaarp.sh
bash installHaarp.sh

Next. next …:

Para los que tienen en paraleo a mikrotik, agregar:

acl localnet src 192.0.3.0/24

en el squid.conf. Pueden guiarse de esta parte del video:

Instalación Manual:


Manual de instalación: http://keikurono.github.io/haarpcache/#installing
Manual de reinstalación: http://keikurono.github.io/haarpcache/#reinstall-or-update
Manual de instalación del Haarp-Viewer (desde codigo fuente): http://keikurono.github.io/haarp-viewer/

Para capturar/observar las IP de sus clientes que hacen uso del HaarpCache, editar la opción ‘FORWARDED_IP false’ a ‘FORWARDED_IP true’ en el haarp.conf  – Para los instalados con script no es necesario hacer esto.

*Para los que NO quieran usar el plugin general, editar el /etc/haarp/haarp.lst, comentar la primera linea y reiniciar el servicio haarp (service haarp restart).

*Recomendaciones: Si ya tienes instalado el haarpcache asegurate que el LOGLEVEL en el haarp.conf  sea 0, para permitir un mejor flujo del sistema.

Captura – HaarpViewer:


hc1
hc2

Lista de plugins soportados:


Youtube (https not supported), Netflix (Video and Images), DoubleClick (Block of ADS), Googlevideo, Dailymotion, AOL, Vimeo, Metacafe, Modovideo, Bitgravity, Globo, Terra, Viddler, Justin, Edgecastcdn, Youku, Wrzuta, 5min, Viddler, Tumblr, Facebook (https not supported);

Bomusica, Bullafina, Coqui, Cutmu, Domusica, Domusicas, Dungeonbusters, Goobeo, Gooveo, Miniclip, Molenillo, Mp3-Buscador, Musicaveo, Ning, Nofeehost, Sonicomusica, Turner, Vevos;

4shared, Mediafire, Etrustdownloads, Ziddu;

Akamaihd, Amazonaws, Blogspot, Imageshack, Issuu, Mercadolibre, Submanga, Ytimg;

Avast, Avgate, Eset, Mcafee, Avira, Bitdefender;

Windowsupdate, Adobe;

Porntube, Xvideos,
Pornhub, Redtube, YouPorn, Serviporno, Tube8;

Appspot, Cloudfront, Juegosdiarios, Juegosjuegos, Netpocket, Nordeus, Popcap, Socialpointgames, Telaxo, Tetrisfb, Steam, Vostucdn, Wooga, Zgncdn;

Disneylatino, Friv, Geewa, Hulkshare, Kixeye, Llnwd, Maguinamotors, Manabar;

SpeedTest; Plugin General.


 

Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.

Únete a otros 87 seguidores