INSTALANDO HAARPCACHE v1.1 – UN CACHE INTELIGENTE

NEW: HaarpCache v1.2

  • Update 16/03/13: Nueva interfaz web para HaarpCache
  • Update 26/03/13: (FAQ) Como incorporar código de otros plugins en HaarpCache.
  • Update 27/03/13: Mejoras en plugin de Facebook.
  • Update 31/03/13: (FAQ) Integración con el Mikrotik.
  • Update 06/05/13: + plugin de speedtest (Thx a Samuel Espinoza por los testes!).
  • Update 18/05/13: Limpieza automática del HaarpCache.
  • Update 13/06/13: Actualización del plugin para el bloqueo de publicidad en Youtube.
  • Update 26/06/13: Actualización del HaarpClean (limpieza del cache), corrección  y mejora: Thx to Oscar  Vaquero Montecino.
  • Update 04/07/13: 1º actualización del core y plugin para: Youtube.
  • Update 05/08/13: Para aquellos que instalaron antes de este mensaje, y para Impedir la corrupción de los videos de Youtube, cambiar la opción  “FLV_MIN 1000” a “FLV_MIN 819200” en /etc/haarp/haarp.conf.
  • Update 19/08/13: Modificación de la captura de URL’s para facebook en Haarp.list (Aqui los cambios).
  • Important Update  24/09/13: Cambio en el ‘Content-Type’ para los videos del Youtube (de videos/x-flv a application/octet-stream) esto genera compatibilidad en audio y vídeo. Aqui los pasos para actualizar el Haarp
  • Update 31/10/13: Descomentar la linea de “http.*\.googlevideo\.com.*videoplayback” en el haarp.lst.
  • Update 12/11/13:  Video Instalation: https://www.youtube.com/watch?v=s9GhTwJJ-Yk

HaarpCache es un fork de ThunderCache 3.1, que en comparación a otros caches es un cache inteligente en el sentido del almacenamiento y en el despacho de archivos. Es decir almacena cada pedazo del vídeo o archivo juntándolos todo en un único recurso en el disco, aún sin importar si estas llegaron completas o no. Con ello, el HaarpCache puede despachar incluso cuando se piden partes de un archivo que en mayor tamaño está en cache.

En conclusión HaarpCache da soporte a la tecnología MPEG-DASH.

En concreto, ¿Que trae de nuevo este cache?:

  1. Cache dinámico e inteligente.
  2. Plugins editados, para funcionamiento inteligente.
  3. Multidisco.
  4. Bloqueo de publicidad en Youtube.
  5. Soporte a las solicitudes ‘Partial Content’ (Youtube en HTML5) .
  6. Código fuente.

Instalación y Configuración

Instalamos dependencias:

su
apt-get update
apt-get install build-essential mysql-server \
mysql-client php5 apache2 php5-mysql libblkid-dev \
libcurl4-gnutls-dev libmysqlclient15-dev \
libapache2-mod-auth-mysql libapache2-mod-php5 \
 sharutils curl autoconf bind9 squid3

Instalamos el Haarp:

#(Distribuciones Debian)
apt-get install git
cd /usr/src
git clone git://github.com/keikurono/haarpcache.git
cd haarpcache
./configure
make clean
make
make install

Nota: Si tienen un error, en la compilación, puede deberse al uso de su compilador g++: Instalar el g++-4.4, y luego hacer: ./configure CXX=g++-4.4  y seguir con el ‘make clean’, ‘make’, etc.

Agregamos la base de datos:

mysql -u root -p < haarp.sql

Para que surtan los efectos, nos pedirá que ingresemos la contraseña root de mysql.

Editamos el archivo de configuración del haarp (/etc/haarp/haarp.conf):

MYSQL_USER <USER_MYSQL>
MYSQL_PASS <PASS_MYSQL>
PIDFILE /var/log/haarp/haarp.pid
ACCESSLOG /var/log/haarp/access.log
ERRORLOG /var/log/haarp/error.log

“USER_MYSQL” y “PASS_MYSQL” son el usuario y password de tu cuenta en mysql, como usuario pueden colocar ‘root’, sin comillas.

Hacemos que arranque cuando se inicie el sistema:

cd /etc/init.d
update-rc.d haarp defaults 98

Agregamos al final del archivo /etc/squid/squid.conf (o en /etc/squid3/squid.conf, cual tengan):

# Haarp 1.1
#=========================================================#
acl haarp_lst url_regex -i "/etc/haarp/haarp.lst"
cache deny haarp_lst
cache_peer <TU_PROXY_LAN> parent 8080 0 proxy-only no-digest
dead_peer_timeout 2 seconds
cache_peer_access <TU_PROXY_LAN> allow haarp_lst
cache_peer_access <TU_PROXY_LAN> deny all

Donde “TU_PROXY_LAN” es la IP de su servidor en la LAN.

Hacemos al squid transparente: cambiando la linea http_port 3128 por: http_port 3128 transparent, en el archivo squid.conf anterior.

Luego antes de la linea:

http_access deny !Safe_ports

Insertamos:

acl red_local src <IP_RED_LAN>
http_access allow red_local

Donde “IP_RED_LAN” es por ejemplo “192.168.1.0/24″ (la red de tu LAN) Comentamos la linea:

#hierarchy_stoplist cgi-bin ?

Configuramos los DNS, agregamos en /etc/resolv.conf:

nameserver 8.8.8.8
nameserver 8.8.4.4

En el caso que que deseemos otros DNS, colocarlos cambiando aquellas IPs (8.8.x.x).

Redireccionamos las peticiones de http al squid y enmascaramos:

sudo iptables -t nat -A POSTROUTING -o <ETH_WAN> -j SNAT  --to <IP_IFACE_WAN>
sudo iptables  -t nat -A PREROUTING -i <ETH_LAN> -p tcp --dport 80 -j REDIRECT --to-port 3128
echo 1 > /proc/sys/net/ipv4/ip_forward

ETH_WAN es la interface de tu tarjeta de red que da a Internet (ej: eth0, eth1), IP_IFACE_WAN es la ip de la interface anterior. ETH_LAN es la interface de la tarjeta LAN.

Las reglas anteriores deben ser guardadas en un archivo por ejemplo: ‘/etc/init.d/reglas_proxy.sh’. Para que las reglas se carguen, cada vez que reiniciemos el servidor, agregamos la linea: “/etc/init.d/reglas_proxy.sh” antes del exit, al final del archivo /etc/rc.local. No olvidar dar permisos de ejecución.

La limpieza del sistema Haarp, se hace automáticamente, todo depende de si sus discos estén llenos o no (el llenado o no de los discos, depende del valor de la variable CACHE_LIMIT configurado en /etc/haarp/haarp.conf).

En el archivo /etc/crontab, agregamos:

01 12   * * *   root    /etc/init.d/haarpclean

* Bloqueo de publicidad de Youtube: El Haarp trae consigo  un plugin para el bloqueo del Ads-Youtube.

* Reportes: Haarpcache trae consigo el tradicional visor de estadísticas (echo en PHP). Pero pueden instalar este nuevo reporteador con tecnología Ajax.

En caso de usar la pagina PHP, copiamos: “cp /etc/haarp/haarp.php /var/www/haarp.php”, luego editamos el archivo: /var/www/haarp.php, cambiando la linea:

if (!( $db = new PDO('mysql:host=localhost;dbname=haarp', 'root','haarpcache') ) ) {

Modificando donde dice root con nuestro usuario mysql (por defecto dejarlo igual); y donde dice haarpcache reemplazarlo por el password mysql.

Se accede, ingresando a: http://-ip_server_proxy-/haarp.php, reemplazando el “-ip_server_proxy-” por la ip del servidor.

* Multidisco: Para agregar nuevos disco o particiones como discos caches, se deben de agregar los directorios de montaje de estas particiones, ellas deben de colocarse en el formato: dir1| dir2 | dir3 .. etc. Por ejemplo si tengo montado dos particiones, uno en el directorio /haarp1/ y el otro en el directorio /haarp2/, entonces vamos al archivo de configuración del Haarp (por defecto: /etc/haarp/haarp.conf) y editamos el valor de la variable CACHEDIR:

CACHEDIR /haarp1/ | /haarp2/

Y listo, con esto el sistema cache tomará los dos directorios como discos cache.

* QoS: El manejo de velocidades de descarga de archivos en cache, puede ser realizado utilizando las aplicaciones iptables y tc del mismo Gnu/Linux, ver las configuraciones aquí. Si se usa otro router externo, como Mikrotik, ver su configuración en el FAQ.

Finalmente reiniciamos el servicio y listo:

/etc/init.d/haarp restart
squid -k reconfigure

Aquí una foto del relatorio: Relatorio – Espero les agrade!, en la misma página del github hay para colocar una Wiki, así que si existe alguna duda con la programación del sistema podemos ir armando algunas cosas. – También hay una paleta para colocar problemas que pueda haber, así que si gustan pueden dejarlos ahí, y así nos ordenamos.. – El proyecto está en licencia GPLv2, así que el programa es de acceso libre y su uso es de su propia responsabilidad.

Pequeña explicación del funcionamiento de HaarpCache:

Lo haré con un ejemplo, supongamos que tenemos un archivo en el servidor de youtube, este vídeo se llama video_youtube.flv, y supongamos que pesa 10MB y dura 20 minutos. Ahora, supongamos que tenemos un usuario A en nuestra red, que le da curiosidad de ver dicho vídeo, pues le llamo la atención el gráfico de presentación que tenia este, pero el usuario no quiere ver dicho vídeo desde el inicio, le interesa ver solo la parte que le llamo la atención, y adelanta el vídeo hasta la mitad del mismo, o sea hasta el minuto 10, y después de transcurrido 3 minutos este se impacienta y adelanta el vídeo aún más, colocandolo en el minuto 16 y desde ahí lo ve hasta el final. El resultado total, es que nuestro usuario sólo vio el vídeo desde el minuto 10 al minuto 13, y luego desde el minuto 16 hasta el minuto 20. Hasta aquí, ¿Que creen que sucedería si usáramos un sistema cache tradicional?, uno como los del thundercache 3x, 4x, 5x … 7.0?, pues simplemente no podrían hacer cache del vídeo. O en todo caso lo harían pero guardando los pedazos del video (del min 10 al min 13 y del min 16 al min 20) como archivos separados y sin importar si estos están solapados o incluidos unos de otros (Caso thundercache 3.1.2 o storeurl.pl). En contraste a como lo hace el haarpcache, que guarda los pedazos vistos en un único archivo y sin redundancia. Ahora que pasa si viene otro usuario B, y quiere ver el video anterior, que derrepente está de moda, o está en la pagina principal del youtube y le da curiosidad de verlo también, pero él decide verlo desde el inicio (desde el minuto cero), y como nos tiene acostumbrado la pagina de youtube, decide enviarle el vídeo por pedazos, supongamos que una primera parte, desde el minuto cero al minuto 12. Entonces el haarpcache toma la peticion de ver el video video_youtube.flv desde el minuto 0 al minuto 12, pero se dá cuenta que en el cache ya tiene el mismo vídeo desde el minuto 10 al minuto 13. Por lo tanto decide darnos el pedazo que le falta (minuto 0 al minuto 10), descargando desde internet, pero a la vez que guarda esta parte faltante en el cache, pegándolo en el mismo archivo único del inicio; y la parte del minuto 12 al minuto 13 es un mini Hit pues esta ya lo tiene en cache, por lo tanto no lo descarga de nuevo, sino que nos lo envía desde el mismo cache (mini Hit). Hasta aqui el archivo guardado en cache corresponde al vídeo de youtube desde el minuto 0 al minuto 13 y del minuto 16 al minuto 20, todo esto en un único archivo. Que pasaría si el usuario B prosigue ver el vídeo hasta el final, pues entonces, el haarpcache procederá a guardar la otra parte que le faltaba (del minuto 13 al minuto 16, que seguramente verá el usuario B) y terminaría por completar el archivo video_youtube.flv, justo como lo tienen en el servidor de youtube, en un único archivo. La ventaja de esto es que si vemos un vídeo desde el minuto 5 al minuto 60 por ejemplo, en los caches tradicionales lo guardarían todo ello, en el mejor de los casos, como un archivo indistinto e independiente; ocurriendo que cuando alguien quiera ver el mismo vídeo desde el minuto 0 al 60 (todo), el cache tradicional verá que ese pedazo de vídeo no lo tiene en cache (ya que el que tiene en el disco, tiene otro tamaño, nombre, etc). Por lo tanto lo descargará nuevamente desde Internet; desperdiciando los ¡55 minutos! que se habían descargado anteriormente. Cosa que no ocurre con el haarpcache que descarga la parte faltante y lo demás te lo entregará desde el cache sin descargar de nuevo desde Internet[*], guardando lo que pueda faltar en un único archivo (sin redundar espacios) y entregando las partes cacheadas anteriormente a velocidad LAN. O peor aún si queremos ver el vídeo anterior desde el minuto 10 al minuto 50, en los caches tradicionales, ellos a lo más verán que ese pedazo no lo tienen cacheado, ya que no es igual al del pedazo 5-60 minutos, por lo tanto tendrán que descargarlo desde Internet!; y para colmo te guardarán el pedazo de vídeo en otro archivo haciendo redundancia con el anterior. Esto no ocurre en el haarpcache, que notará que este pedazo de vídeo lo tiene incluido en la sección de 5-60 minutos, por lo tanto te dará aquella parte que solicitaste en HIT o sea a velocidad LAN, sin descargar de Internet.

[*]Finalmente, decir que el sistema es más complejo de lo que he tratado de explicar aquí, espero que quede claro en un futuro FAQ que colocaré debajo.

FAQ

Q:¿Qué son los mensajes MISS o HIT que se ven en los archivos LOG?

  • HIT es cuando el recurso no lo descarga desde internet sino desde el cache.
  • MISS es cuando un recurso no se encuentra en el cache, se está descargando desde internet y se está almacenando por primera vez.

Q:¿Cómo puedo verificar si estoy haciendo un Hit o un Miss?

Una forma fácil de comprobar si estás haciendo un HIT o MISS, es usando el navegador Chrom. Podemos llevarlo acabo, siguiendo los siguientes pasos (por ejm. si queremos verificar el funcionamiento del Youtube):

  • Nos dirigimos a la página de Youtube.
  • Abres el debug de chomium (presionando F12).
  • Asistimos un vídeo de la página.
  • Nos dirigimos al panel que abrimos anteriormente, y hacemos Click a la paleta que dice “Network”. En ella tendremos una lista de las conexiones que nuestra pagina está enviando hacia internet.
  • Hacemos Click en aquellas que contengan el nombre “videoplayback”, nos aparecerá otro panel al lado.
  • Verificamos si cerca del final de este panel nos aparecen el mensaje: “Haarp: HIT from” o “Haarp: MISS from“, y ya con ellas sabremos si vino o no del cache.

Instalando el plugin firebug, se puede hacer lo mismo en Firefox.

Aquí una pequeña vista de como ver el mensaje HIT: Haarp_HIT Q:¿Tengo un plugin en ThunderCache, puedo hacer que funcionen en HaarpCache?

Sí, sólo cambia la linea:

extern "C" resposta getmatch(const string url) {

por esta:

extern "C" resposta hgetmatch2(const string url) {
y agregar debajo de la linea: “responsa r;” lo siguiente:
r.range_min = 0;
r.range_max = 0;

Eso es todo.

Q:¿Cómo configuro el HaarpCache con Mikrotik?

Lo probaremos con dos topologías:

El primero usando un Mikrotik con tres o más interfaces ethernet y otro con dos interfaces.

Utilizando sólo 3 interfaces:

INTERNET 
| |
eth1 (dhcp)
MIKROTIK eth3 {192.0.4.1/24} ——{192.0.4.15}HaarpCache
eth2 {192.0.3.1/24}
| |
LAN

En el HaarpCache:

  • Realizar las mismas configuraciones para el squid.conf de este manual, adicionando debajo de las reglas: acl red_lan … otras redes más por ejemplo:

    acl red_mik_1 192.0.4.0/24 http_access allow red_mik_1

    Donde el 192.0.4.0/24 representa a una red LAN en el Mikroik.

  • No es necesario las reglas de iptables (Si anteriormente se probó el sistema usando 2 tarjetas como en este manual, por favor quitar el script que pudiéramos tener dentro del rc.local, y luego reiniciar o hacer iptables -t nat -F).

En el Mikrotik:

/ip firewall nat \

add action=masquerade chain=srcnat comment=”Masquerate for Internet” disabled=no out-interface=ether1 \

add action=masquerade chain=srcnat comment=”Masquerate for HaarpCache” disabled=no out-interface=ether3 \

add action=dst-nat chain=dstnat comment=”Redirect to HaarpCache” disabled=no dst-port=80 in-interface=ether2 protocol=tcp to-addresses=192.0.4.15 to-ports=3128 \

/ip firewall mangle \

add action=mark-connection chain=postrouting comment=”MarkConnect HaarpCache” content=”X-Cache: HIT from Haarp” disabled=no new-connection-mark= “Connect – HaarpCache” out-interface=ether2 passthrough=yes src-address=192.0.4.0/24 \

add action=mark-packet chain=postrouting comment=PacketMark-Haarp connection-mark=“Connect – HaarpCache” disabled=no new-packet-mark=Packet-Haarp out-interface=ether2 passthrough=yes

Aquí las reglas de QoS, con 1.5MB para el haarpcache:

/queue tree add burst-limit=0 burst-threshold=0 burst-time=0s comment=Q-HIT-Haarp disabled=no limit-at=0 max-limit=12M name=Queue-HIT-Haarp packet-mark=Packet-Haarp parent=global-out priority=1 queue=default

Utilizando dos interfáces ether (y HAARP dentro de la LAN)

INTERNET 
| |
eth1 (dhcp)
MIKROTIK 
eth2 {192.0.3.1/24}
| |
LAN ——{192.0.3.15}HaarpCache
 
En el HaarpCache: Igual que en el caso anterior.En el Mikrotik:

/ip firewall nat \

add action=masquerade chain=srcnat comment=”Masquerate for Internet” disabled=no out-interface=ether1 \

add action=src-nat chain=srcnat comment=”Masquerate for HaarpCache” disabled=no dst-address=192.0.3.15 out-interface=ether2 to-addresses=192.0.3.1 \

add action=dst-nat chain=dstnat comment=”Redirect Haarp — in — lan” disabled=no dst-port=80 protocol=tcp src-address=!192.0.3.15 to-addresses=192.0.3.15 to-ports=3128 \

/ip firewall mangle \

add action=mark-connection chain=postrouting comment=”MarkConnect HaarpCache” content=”X-Cache: HIT from Haarp” disabled=no new-connection-mark= “Connect – HaarpCache” out-interface=ether2 passthrough=yes src-address=192.0.4.0/24 \

add action=mark-packet chain=postrouting comment=PacketMark-Haarp connection-mark=“Connect – HaarpCache” disabled=no new-packet-mark=Packet-Haarp out-interface=ether2 passthrough=yes

Aquí las reglas de QoS, con 1.5MB para el haarpcache:

/queue tree add burst-limit=0 burst-threshold=0 burst-time=0s comment=Q-HIT-Haarp disabled=no limit-at=0 max-limit=12M name=Queue-HIT-Haarp packet-mark=Packet-Haarp parent=global-out priority=1 queue=default

Note que en comparación con las reglas anteriores, sólo modificamos las dos últimas lineas de las reglas “ip firewall nat”.

Any problem or bug please report it here below or on any of these: Github or Bitbucket. Sugerencias?, mandarlas también :) Saludos!

About these ads
Post a comment or leave a trackback: Trackback URL.

Comentarios

  • Beast  On 11 febrero, 2013 at 12:59 am

    Maestro, lo tenemos de vuelta, q bueno, tu aporte es muy grande, muy agradecido, espero poder dar mi granito de arena a este gran proyecto

  • Walter  On 11 febrero, 2013 at 9:02 am

    Hola después de tanto esperar al fin !!! que buen aporte sos un GROSO!!!

  • Everson Saivercon  On 11 febrero, 2013 at 7:47 pm

    Mas uma vez amigo Kei parabéns pelo projeto. Já testando e logo fazendo o feedback.

  • keikurono01  On 12 febrero, 2013 at 12:45 am

    Gracias por los comentarios, cualquier cosa el código está disponible!:)

  • Vincent Jn  On 12 febrero, 2013 at 6:55 am

    y el harp.cfg pàra ver las estadisticas???

  • Vincent Jn  On 12 febrero, 2013 at 6:59 am

    harp.cgi donde lo encuentro

  • Vincent Jn  On 12 febrero, 2013 at 8:23 am

    /usr/lib/cgi-bin/haarp.cgi: error while loading shared libraries: libcgi.so: cannot open shared

  • keikurono01  On 12 febrero, 2013 at 10:26 am

    Acabo de agregar al manual como configurar el visor.

    Saludos.

  • Anónimo  On 12 febrero, 2013 at 11:24 am

    consulta: ? esto se instala en debian + squid ?
    funciona como tproxy?

    muy buen aporte
    saludos

    • keikurono01  On 12 febrero, 2013 at 11:29 am

      Teniendo el código fuente lo puedes llevar en cualquier distribución, en 32 o 64 bits etc..

      No llegue probar con tproxy.
      Salu2.

  • Anónimo  On 12 febrero, 2013 at 2:40 pm

    Muy bueno,, voy a probarlo con debian 64 bits
    Es necesario hacer ajustes para mejorar el squid o con esto solo, ya no hace falta tunning de squid?

  • RAYDave  On 12 febrero, 2013 at 6:34 pm

    CAPOOO!! Hoy entré de casualidad para retomar la idea de implementar un cache en mi WISP y me encuentro con esta nueva entrada. En un par de horas me pongo a jugar. Gracias por el aporte! :D

  • RAYDave  On 12 febrero, 2013 at 11:21 pm

    Bueno, después de muchas pruebas al parecer Youtube queda cacheado, pero creo que la página de reporte no mide correctamente el tamaño de los archivos almacenados, sólo ví recién unos cuantos MB al ver un vídeo en 1080p. Dejo captura: http://i.imgur.com/BO9yhQX.png

    Saludos!

  • Anónimo  On 13 febrero, 2013 at 6:14 am

    que recomendaciones de hardware me harias para un entorno de 400 usuarios? de internet

    que procesador
    que memoria ram
    cuantos discos ?
    gracias

  • Anónimo  On 13 febrero, 2013 at 9:52 am

    Excelente aporte bueno es grato saber de ti pero dinos ahora tendrás un poco de tiempo o aun estas saturado y gracias por el aporte

    • keikurono01  On 13 febrero, 2013 at 10:02 am

      Estaré haciendo cambios fuertes en el código muy esporádicamente.
      pero ahí está el código fuente, para todos, así que no sólo yo podre ayudar, puede ser cualquiera!.
      Saludos

  • grover  On 13 febrero, 2013 at 10:06 pm

    Buenas y gracias por tan grande aporte al instalar esta version en ubuntu server 12 de 32 bits tengo este error al hacer make:
    collect2: ld devolvió el estado de salida 1
    make[1]: *** [haarp] Error 1
    make[1]: se sale del directorio «/usr/src/haarpcache/haarp»
    make: *** [all] Error 2
    me puedes dar una orientada a que se debe este error

    • keikurono01  On 14 febrero, 2013 at 7:30 pm

      Prueba haciendo primero:
      apt-get update
      apt-get upgrade
      apt-get install build-essential
      e intenta de nuevo el ./configure, make clean, make y make install.
      Salu2.

      • grover  On 14 febrero, 2013 at 10:26 pm

        muchas gracias por tu respuesta, ya probé lo que indicaste pero sigo teniendo el mismo error además que ya probé en dos equipos y con el mismo resultado, sera que tengo algún problema con mysql tal vez,alguna otra idea.
        de todos modos te lo pego todo lo que me sale luego de hacer el make clean y el make Gracias

        http://pastebin.com/raw.php?i=TdetErwt

        • keikurono01  On 14 febrero, 2013 at 10:51 pm

          Ahora recuerdo que tenia el mismo error, lo solucione como dice en la Nota de arriba ..
          instalando otro compilador, que compilador tienes? g++ –version
          instalate el g++-4.4 (apt-get install g++-4.4) e intenta de nuevo.

          Salu2.

        • Anónimo  On 15 febrero, 2013 at 12:09 am

          Gracias por tu ayuda ya solucione el problema era en la compilacion con lo del g++ auque segui todo no se que paso pero fue error mio.
          otra consulta cuando carga un video ya cacheado en un equipo cliente este deberia cargar todo en un rato o por bloques a medida que reproduce??
          nuevamente gracias..

        • keikurono01  On 15 febrero, 2013 at 12:40 am

          El video carga por partes (hablamos de youtube), lo he probado con firefox y llega a cargar todo entero, depende del navegador, aunque hay que ver si este funcionamiento en firefox es constante.

          Saludos.

          • Javier Eduardo Sola  On 30 septiembre, 2013 at 1:45 pm

            Hay un plugin que se llama youtube center, hay que deshabilitar la opcion dash playback para poder volver al tipo de buffering antiguo (o sea, que cargue constantemente).

  • Anónimo  On 13 febrero, 2013 at 10:38 pm

    Keikurono, muchas gracias por este excelente aporte, la verdad que ver que publicas el código fuente me alegra muchísimo, nunca llegué a usar harpcache porque no liberabas el código, pero ahora es de admirar tu trabajo, en serio, muchas, muchas gracias ;). PDTA: Buen bonus el de bloqueo de publicidad en youtube. Si en algo te puedo ayudar solo avisa ;) (cuento con conocimiento php, cgi, bash scripting, html, jquery, mysql) facebook.com/zerolinux

    • Anónimo  On 15 febrero, 2013 at 7:31 pm

      Hola esta muy bueno el cache que publicaste, felicidades ….pero no estoy de acuerdo con el comentario de arriba especialmente esta parte “nunca llegué a usar harpcache porque no liberabas el código”ese comentario da mucho que desear de esa persona..simplemente deberia dar las gracias y ya…
      Pero bueno lo echo echo esta, solo sigue adelante con este trabajo y espero que todos los que dominan linux ayuden ha desarrollar mas esta aplicacion, auque a mi modo de ver lo tiene todo…

      • Anónimo  On 15 febrero, 2013 at 11:52 pm

        Hola, lo decía porque es de admirar cuando una persona libera el código, por otro lado, nunca estaba de acuerdo con que “cerraran” el código del Haarp siendo un fork de algo bajo licencia GNU/GPL, ya que por obligacion debería si o si tambien seguir la misma licencia o elegir una compatible, excepto si fuese bajo licencia BSD pero esta no seria el caso de HAARP. No se a que te referís con eso de “da mucho que desear de esa persona” pues bueno, te cuento que ayudo en lo que puedo, y al igual que el amigo Keikurono cuando creo algo lo comparto junto con el código fuente. Por otro lado, si lo decís porque piensas que soy extremista, pues creo que en cierta forma si; ni siquiera uso mikrotik, ya que ellos se están alimentando del trabajo de la comunidad y son gente hipócrita escudándose bajo un supuesto GNU/GPL que no respetan, espero que la Free Software Foundation tome cartas en el asunto muy pronto al igual que lo hizo con cisco hace ya unos años. Saludos

        • keikurono01  On 16 febrero, 2013 at 12:49 am

          Solo quiero decir que el codigo les pertenece a todos y es como debio de ser. Al inicio el haarpcache v1.0 no poseía cambios significativos con respecto al tc.3.1 y no vi la necesidad de arrojar algo sin muchas modificaciones, en cambio este haarp a mi parecer amerita compartirse, hice muchas modificaciones a tal punto que jugaba más con el havp que con el thunder.

          Cheken el codigo, cualquier cosa me pueden consultar.

        • Anónimo  On 16 febrero, 2013 at 10:39 pm

          Hola, y disculpa mal interprete tus palabras ahora que lo explicas mejor solo me queda disculparme por mis palabras.

  • RAYDave  On 17 febrero, 2013 at 12:16 am

    keikurono: ¿Habría posibilidades de crear un plugin para Grooveshark? Hay un proyecto llamado Grooveshark-cache-2, tal vez puedas tomar prestado código de allí (Esta bajo la GPL): https://github.com/anto987/grooveshark-cache-2

    Un abrazo!

    • keikurono01  On 17 febrero, 2013 at 3:30 pm

      Hay una esperanza de unirlos, pero el groovershark-cache al parecer no está funcionando

  • Adrian  On 18 febrero, 2013 at 1:33 pm

    Hola alguien me puede ayudar o me puede pasar el archivo de squid.conf por que no lo puedo hacer funcionar tengo squid3 gracias

  • Erick Colindres  On 21 febrero, 2013 at 5:52 pm

    Amigo con una pregunta, tu plugin de mediafire funciona es que estuve probando haarpcache en su primera version y no hacia cache de mediafire, es que descargo mucho de mediafire y me gustaria saber antes de instalar, Saludos

    • keikurono01  On 21 febrero, 2013 at 8:35 pm

      La versión anterior si soporta mediafire (lo actualice aquella vez), esta versión también lo soporta.

  • Vincent Jn  On 22 febrero, 2013 at 6:50 am

    [948285.265297] haarp[13617]: segfault at 3 ip b720abb0 sp bf90d24c error 4 in libc-2.13.so[b71c9000+156000]

    cuando veo los mensajes del kernel me sale ese error

  • hector  On 22 febrero, 2013 at 9:31 am

    buenas, muy buen aporte. cuando quiero configurar la base de datos mysql me tira este error:
    mysql -p <haarp.sql
    Enter password:
    ERROR 1071 (42000) at line 4: Specified key was too long; max key length is 1000 bytes

    Cómo puedo corregirlo??
    gracias

  • sespinoza  On 22 febrero, 2013 at 10:29 am

    Alguna recomendación para descargar el serber ubuntu o CentOS o con que distro puedo trabajar mejor muchas gracias y si hay alguien que puede darme una mano para crear mas plugin para los juegos online?

    • keikurono01  On 22 febrero, 2013 at 4:18 pm

      Bueno, elige el que más te convenga, personalmente uso el ubuntu server 64bits. y corre bien!, depende del hardware tambien.
      Para crear los plugins es igual a como se hacian en thundercache.

  • Anónimo  On 23 febrero, 2013 at 10:14 pm

    pls check your code utils.cpp for haarp fixed http://pastebin.com/raw.php?i=a4dnFtE3

  • Anónimo  On 27 febrero, 2013 at 9:26 am

    Keikurono, muchas gracias por este excelente aporte. me podrías resolver unas inquietudes??
    cuando un cliente mira un video lo guarda a la primera visita o espera a cuantas visitas???
    como puedo verificar si un video queda cacheado ya que e mirado un video varias veces y en la pagina de reportes no muestra cache de youtube pero si de ytimg y de fotos de facebook (fbcdn.photos)??

    gracias.

    • keikurono01  On 27 febrero, 2013 at 10:31 am

      Dime que vídeo y navegador probaste..

      Una forma fácil de comprobar si estás haciendo un hit o miss, es usando el Chromium:

      Entras a Youtube, abres el debug de chomium (presionando F12), saldrá un panel debajo de la pagina, luego vas donde dice Network, entras a ver el vídeo que desees y en ese panel, te empezarán a mostrar todas las conexiones que se estan enviado a internet en ese momento. Ahi mismo, verás los nombres de las URLs a donde se están haciendo las peticiones actualmente, en ellas hay unas que deben de contener la cadena “videoplaback?”, cuando les hagas Click te saldrá otro panel al lado, en ese panel se te mostrarán las cabeceras de envió y retorno de esa petición; cuando se abra el panel, vas hacia abajo de este, y verificas si en ellas contienen el mensaje: “Haarp: HIT from” o “Haarp: MISS from”, ya con ellas verificas si vino o no del cache.

      Lo mismo puedes hacer en firefox, instalando el plugin firebug.

      El vídeo debería de guardarse a la primera visita (juntando todas las partes descargadas), en el peor de los casos, en caso que faltase alguna parte, se debería de almacenar en la segunda. Más de eso ya es poco probable.

      • Anónimo  On 27 febrero, 2013 at 10:20 pm

        keikurono muchas gacias por responder mi pregunta.
        el navegador que uso es chrome y mozilla en un equipo cliente que tiene windows 7. ya verifique y al parecer no me esta haciendo el cache de video de youtube ya que al mirar el videoplayback no miro por ningún lado lo de haarp.
        que podría ser entonces??

        gracias

        • keikurono01  On 27 febrero, 2013 at 10:39 pm

          *Nunca te funciona Youtube?.
          Ve si no tienes comentada la entrada “http.*\.youtube\.com.*videoplayback\?” en haarp.conf.
          Y prueba lo siguiente:
          ls /etc/haarp/plugins/youtube.com.so
          ls -la /usr/local/sbin/haarp
          dime que te arroja.

          Salu2.

      • Anónimo  On 27 febrero, 2013 at 11:44 pm

        saludos

        videos no me ha funcionado.
        la linea “http.*\.youtube\.com.*videoplayback\? no se encuentra comentada

        /etc/haarp# ls /etc/haarp/plugins/youtube.com.so
        /etc/haarp/plugins/youtube.com.so

        etc/haarp# ls -la /usr/local/sbin/haarp
        -rwxr-xr-x 1 root staff 233783 feb 26 22:00 /usr/local/sbin/haarp
        root@ORION:/etc/haarp#

        • Anónimo  On 27 febrero, 2013 at 11:58 pm

          una captura de la pag de reporte de harp http://i.imgur.com/lvlWFZD.png?1

        • keikurono01  On 28 febrero, 2013 at 12:06 am

          Esto podria verlo personalmente, tendrias que instalarte el teamviewer y darme tu login y pass por email: kei.haarpcache gmail.com.
          Creo que hay algo externo al sistema que está ocurriendo, verifica tus entradas del haarp en el squid.conf.

          • Diego  On 4 abril, 2014 at 1:21 pm

            Hola. A mi me paso exactamente lo mismo. No guarda los archivos de youtube. En la carpeta /haarp/ se crea el directorio youtube con sus subdirectorios pero no guarda ningun archivo.
            Si me guarda por ejemplo windowsupdate, ytimg

  • Vincent Jn  On 5 marzo, 2013 at 6:43 am

    [1832272.138278] haarp[29177]: segfault at 0 ip 08072575 sp bfce8300 error 4 in haarp[8048000+36000]

  • Orlando  On 10 marzo, 2013 at 1:14 pm

    Hola, realice la instalación siguiendo todos los pasos de la instalación, conseguí que haga cache de videos, pero no se hace el cache de paginas estáticas, como puedo hacer que se realicen las dos tareas en paralelo

    • keikurono01  On 10 marzo, 2013 at 3:48 pm

      Para hacer cache con haarp, depende de los plugins, en estos momentos no tiene plugins para paginas estáticas. (para ello puedes crear tu mismo los plugins o sugerir algunos, o en todo caso tener en cuenta que el proxy (squid) ya está haciendo esa labor)

  • Anónimo  On 13 marzo, 2013 at 8:06 am

    Gracias por este excelente aporte Keikurono
    he seguido el tutorial y me a funcionado perfecto pero se me a presenta problemas con el facebook, al iniciar sesión solo carga la primera pagina al querer ver mas historias se queda cargando y al querer chatear no envía los mensajes…. si des-abilito el squid anda bien. me podrias echar una mano???

    muchas gracias.

    • keikurono01  On 13 marzo, 2013 at 2:38 pm

      He visto que esto sucede cuando alguien externo a tu red quiere o hace uso de tu proxy. (comúnmente provenientes de rusia, sí toda una historia).
      La solución a ello es bloquear las entradas a tu server:

      En linux (Yo tengo el haarp en un linux que se conecta directo a internet, o sea no uso mikrotik):
      creas un script, en /etc/init.d/bloqueo.sh
      y pegas esto dentro:

      #!/bin/bash
      IF_ISP=(ethx ethy)
      for IF in ${IF_ISP[@]}; do
      iptables -I INPUT 1 -i $IF -p tcp -m state –state NEW ! –dport 22 -j LOG –log-prefix “Quieren Entrar?–” –log-level 4
      iptables -I INPUT 2 -i $IF -p tcp -m state –state NEW ! –dport 22 -j DROP
      done

      Cambias lo que hay en el parentesis del IF_ISP por la lista separada por espacios de todas tus interfaces que dan al router.

      luego haces: sudo chmod +x /etc/init.d/bloqueo.sh

      Executas: sudo /etc/init.d/bloqueo.sh

      y finalmente: pegas la linea “/etc/init.d/bloqueo.sh” al final del archivo /etc/rc.local (antes de la linea exit).

      Lo que hace el script es bloquear las entradas que no sean por el puerto 22(ssh) a tu server, venidos desde afuera de tu red.

      Para ver si hay alguien o hay conexiones entrantes bloqueadas haces:

      tail -f /var/log/syslog -n 100 | grep “Entrar” y verás las conexiones bloqueadas.

      Hasta ahora eso me resulta, creo suponer que tienes el mismo problema.

      En caso que uses mikrotik, tambien hay scripts que te permiten hacerlo ahi, buscalos por internet son accesibles.

      Salu2

      • Anónimo  On 15 marzo, 2013 at 5:25 pm

        hola keikurono01
        pues ya ise lo que me recomendaste y nanda sigoteniendo el mismo problema el Face solo carga el primer pantallaso y no carga mas se queda cargando… no se que puede ser…… :;c

        • keikurono01  On 15 marzo, 2013 at 9:02 pm

          Estos días no tengo una red para hacer las pruebas, pero puedes deshabilitar el facebook comentado la linea que contiene “fbcdn\.net\” anteponiendo a ella un ‘#’.

        • keikurono01  On 15 marzo, 2013 at 11:52 pm

          Otra cosa, te arroja lineas lo del: cat /var/log/syslog | grep “Entrar” ?

        • Anónimo  On 16 marzo, 2013 at 7:05 pm

          no ninguna linea

        • keikurono01  On 16 marzo, 2013 at 7:11 pm

          Estas seguro que lo hiciste bien?, prueba haciendo: iptables -vS o iptables -vnL
          dime que te arroja, deberian de salir las reglas de arriba.

          Salu2

        • Anónimo  On 16 marzo, 2013 at 8:56 pm

          root@SINET:~# iptables -vnL
          Chain INPUT (policy ACCEPT 1653K packets, 1449M bytes)
          pkts bytes target prot opt in out source destination
          0 0 LOG tcp — eth1 * 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:!22 LOG flags 0 level 4 prefix `Quieren Entrar?’
          0 0 DROP tcp — eth1 * 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:!22
          0 0 LOG tcp — eth1 * 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:!22 LOG flags 0 level 4 prefix `Quieren Entrar?’
          0 0 DROP tcp — eth1 * 0.0.0.0/0 0.0.0.0/0 state NEW tcp dpt:!22

          Chain FORWARD (policy ACCEPT 661K packets, 244M bytes)
          pkts bytes target prot opt in out source destination

          Chain OUTPUT (policy ACCEPT 1746K packets, 1523M bytes)
          pkts bytes target prot opt in out source destination
          root@SINET:~#

          es lo que me arroja

        • keikurono01  On 16 marzo, 2013 at 9:37 pm

          Parece que lo has echo bien(si eth1 es la wan y reiniciaste el haarp y squid), lamentablemente ese error no puedo reproducirlo por tanto, la unica forma de ayudarte sería dejandome entrar a tu server, si deseas enviame los datos de tu teamviewer o si quieres dejame entrar por ssh (password root e ip): envialos a kei.haarpcache gmail.com
          Salu2

        • keikurono01  On 19 marzo, 2013 at 11:35 pm

          *Info: Por lo que se vió lo sucedido fue por un himpase con la configuración del squid, ya el amigo nos comentará.

  • Johan Mejía  On 15 marzo, 2013 at 11:25 am

    buen aporte keikurono01, estoy intentando de instalar el cache y me sale este error y nose a que se debe, es la segunda ves que lo trato de instalar y lo mismo

    root@debian:/# cd /etc/init.d
    root@debian:/etc/init.d# update-rc.d haarp defaults 98
    update-rc.d: using dependency based boot sequencing
    insserv: warning: script ‘K01haarp’ missing LSB tags and overrides
    insserv: warning: script ‘haarp’ missing LSB tags and overrides

  • Johan Mejía  On 15 marzo, 2013 at 12:45 pm

    quizás sea con la instalación del debian, solo se marca sistema base o que mas opciones?

  • Anónimo  On 16 marzo, 2013 at 9:40 pm

    saludos
    gracias por tu aporte
    E seguido el tuto y me ha funcionado perfecto … ahora mi pregunta es que como podemos hacer para que lo cacheado que no haga Hits sea borrado después de cierto tiempo algo como lo asías en thundercache que revisaba la línea “X-Cache: Hit from Thunder”.

    • keikurono01  On 16 marzo, 2013 at 9:47 pm

      Hola, el script de limpieza debe estar listo esta semana, lo de detectar la cabecera “X-Cache: …” es para determinar si lo que se esta descargando vienen o no del cache, con ello saber si se envia a velocidad lan o no…

      • RazaMetaL  On 18 mayo, 2013 at 8:28 pm

        Hola Keikurono01,

        El script de limpieza de la version 1.0 se puede utilizar en esta versión?

        Hay alguna manera de ejecutarlo como tarea programada?

        Saludos,

        • keikurono01  On 19 mayo, 2013 at 2:29 pm

          Ok, acabo de actualizar las fuentes, incluido el limpiador.
          Actualizo el post para especificar un poco sobre ello.

  • Anónimo  On 20 marzo, 2013 at 2:07 pm

    youtube always miss, pls check the code

  • hector  On 21 marzo, 2013 at 9:39 am

    estoy intentando instalar haarp siguiendno la guia con git en un linux zentyal (ubuntu server 12.04) y al hacer make me manda este error:

    database_mysql.cpp:(.text+0x122): undefined reference to `mysql_num_fields’
    database_mysql.cpp:(.text+0x131): undefined reference to `mysql_num_rows’
    database_mysql.cpp:(.text+0x140): undefined reference to `mysql_fetch_fields’
    database_mysql.cpp:(.text+0x1a2): undefined reference to `mysql_data_seek’
    database_mysql.cpp:(.text+0x1ae): undefined reference to `mysql_fetch_row’
    database_mysql.o: In function `Database::getError()':
    database_mysql.cpp:(.text+0x21c): undefined reference to `mysql_error’
    database_mysql.o: In function `Database::clear()':
    database_mysql.cpp:(.text+0x208): undefined reference to `mysql_free_result’
    database_mysql.o: In function `Database::close()':
    database_mysql.cpp:(.text+0x248): undefined reference to `mysql_close’
    connectiontohttp2.o: In function `ConnectionToHTTP2::Cache()':
    connectiontohttp2.cpp:(.text+0x307d): undefined reference to `dlopen’
    connectiontohttp2.cpp:(.text+0x3096): undefined reference to `dlsym’
    connectiontohttp2.cpp:(.text+0x320b): undefined reference to `dlerror’
    connectiontohttp2.cpp:(.text+0x3222): undefined reference to `dlclose’
    connectiontohttp2.cpp:(.text+0x40ef): undefined reference to `dlerror’
    collect2: ld returned 1 exit status
    make[1]: *** [haarp] Error 1
    make[1]: Leaving directory `/usr/src/haarpcache/haarp’
    make: *** [all] Error 2

    cómo puedo solucionarlo?
    gracias

    • keikurono01  On 21 marzo, 2013 at 10:51 am

      Por favor leer la nota que está debajo de la parte de compilación en el manual.

      • hector  On 26 marzo, 2013 at 12:09 pm

        he logrado compilarlo y lo tengo funcionando. Tuve que desinstalar g++4.6 para ello pero por suerte esta ok.

        Te consulto por los plugins. Puedo compilar los .cpp que tengo en thundercache 3.1.2 para usarlos con haarp? o es distinta la programacion de los mismos?

        gracias

  • Anónimo  On 23 marzo, 2013 at 6:08 pm

    Grande, me funciona a la perfección!!! gracias

  • Osmany  On 26 marzo, 2013 at 12:36 pm

    Hola,

    Estoy intentando compilar pero me da los siguientes errores depues de cambiar el compilador:

    cd haarp && make clean
    make[1]: Entering directory `/usr/src/haarpcache/haarp’
    cd plugins && make clean
    make[2]: Entering directory `/usr/src/haarpcache/haarp/plugins’
    rm -f *.so
    make[2]: Leaving directory `/usr/src/haarpcache/haarp/plugins’
    rm -f haarp *.o
    make[1]: Leaving directory `/usr/src/haarpcache/haarp’
    cd haarp/plugins && make clean
    make[1]: Entering directory `/usr/src/haarpcache/haarp/plugins’
    rm -f *.so
    make[1]: Leaving directory `/usr/src/haarpcache/haarp/plugins’

    Tambien actualice e installe el essential

    Que puede ser?

    Gracias por tu ayuda

  • Samuel Espinoza  On 26 marzo, 2013 at 11:17 pm

    alguien me puede ayudar con el CentOS estoy con la v 6.4
    ya hice el procedimiento para instalar

    yum -y – install httpd
    yum -y – install mysql-server mysql
    yum -y – install php
    yum -y – install php-mysql

    yum -y install mysql-devel —–> esto para el cliente mysql

    al poner el comando ./configure me arroja el error:

    [root@activa haarpcache]# ./configure
    checking for g++… g++
    checking whether the C++ compiler works… yes
    checking for C++ compiler default output file name… a.out
    checking for suffix of executables…
    checking whether we are cross compiling… no
    checking for suffix of object files… o
    checking whether we are using the GNU C++ compiler… yes
    checking whether g++ accepts -g… yes
    checking for a BSD-compatible install… /usr/bin/install -c
    checking for ar… ar
    checking for perl… perl
    checking for gcc… gcc
    checking whether we are using the GNU C compiler… yes
    checking whether gcc accepts -g… yes
    checking for gcc option to accept ISO C89… none needed
    checking for initgroups… yes
    checking for setgroups… yes
    checking OS… Linux
    checking for main in -lmysqlclient… no
    configure: error: “libmysqlclient was not found! Please install libmysqlclient or correspondent for your system”
    [root@activa haarpcache]#

    alguien me puede ayudar!!!!

    • keikurono01  On 26 marzo, 2013 at 11:44 pm

      Prueba hacer:
      cp /usr/lib64/mysql/libmysqlclient* /usr/lib64/ (en 64 bits)
      Quisas tengas otro impase despues, instala:
      yum install libblkid-devel

  • Samuel Espinoza  On 27 marzo, 2013 at 6:39 am

    login as: root
    root@10.10.0.2’s password:
    Last login: Wed Mar 27 14:34:04 2013 from 10.10.0.3
    [root@activa ~]# cp /usr/lib64/mysql/libmysqlclient* /usr/lib64/
    cp: ¿sobreescribir «/usr/lib64/libmysqlclient_r.so»? (s/n) s
    cp: ¿sobreescribir «/usr/lib64/libmysqlclient_r.so.16»? (s/n) s
    cp: ¿sobreescribir «/usr/lib64/libmysqlclient_r.so.16.0.0»? (s/n) s
    cp: ¿sobreescribir «/usr/lib64/libmysqlclient.so»? (s/n) s
    cp: ¿sobreescribir «/usr/lib64/libmysqlclient.so.16»? (s/n) s
    cp: ¿sobreescribir «/usr/lib64/libmysqlclient.so.16.0.0»? (s/n) s
    [root@activa ~]# yum install libblkid-devel
    Loaded plugins: fastestmirror, security
    Loading mirror speeds from cached hostfile
    * base: centosc5.centos.org
    * extras: centosy.centos.org
    * rpmforge: mirror.us.leaseweb.net
    * updates: centosc5.centos.org
    Setting up Install Process
    Package libblkid-devel-2.17.2-12.9.el6.x86_64 already installed and latest version
    Nothing to do
    [root@activa ~]#

    ya hice lo que me dijiste y ahun nada me sale esto ??? alguna ayuda por favor o en que estoy fallando
    CentOS 6.4 (64 bits)

      • Osmany  On 27 marzo, 2013 at 1:37 pm

        Hola,

        Acabo de terminar de instalarlo y todo funciona al 100%, gracias amigo por la excelente herramienta, pero tengo un problemita, si en el mozilla firefox configuro el proxy apuntando al puerto 3128 del squid, no me registra en el access.log del haarp nada, pero si lo habilito apuntando al puerto 8080, registra todo, como puedo resolver para que aunque no se habilite ningun puerto registre las descargas en access.loh del haarp?

        Saludos y gracias

        • keikurono01  On 27 marzo, 2013 at 2:47 pm

          Si seguiste la configuración como te lo di en el manual, entonces solo las peticiones al puerto 80 serán enviados al squid (y por tanto al haarp) (por tanto no es necesario redireccionar en el navegador).

          si quieres redireccionar al squid desde el navegador, tendras que cambiar el http_port del squid.conf deshabilitando la transparencia.

  • Samuel Espinoza  On 27 marzo, 2013 at 11:30 pm

    Hola desinstale el CentOS e Instale el Debian y todo esta corriendo normal al momento ya tengo levantado el cache me falta integrar al mikrotik en fin
    otra duda al tratar de poner el nuevo visor al instalar las librerias me sale un error

    root@debian:/usr/src/libcgi#root@debian:/usr/src/libcgi# ./autogen.sh
    root@debian:/usr/src/libcgi# root@debian:/usr/src/libcgi# ./configure –prefix=/usr
    -bash: root@debian:/usr/src/libcgi#: No such file or directory

    ALGUNA AYUDA?

    • keikurono01  On 28 marzo, 2013 at 12:43 am

      Si te fijas estas ejecutando: “root@debian:/usr/src/libcgi#”

      Y lo estas copiando de más.

  • Samuel Espinoza  On 30 marzo, 2013 at 5:17 pm

    Ayuda me sale el siguiente error al tratar de instalar el nuevo visor

    root@debian:~# cd /usr/src
    root@debian:/usr/src# git clone https://github.com/keikurono/libcgi.git
    root@debian:/usr/src# cd libcgi
    root@debian:/usr/src/libcgi# ./autogen.sh
    root@debian:/usr/src/libcgi# ./configure –prefix=/usr
    -bash: ./configure: No such file or directory
    root@debian:/usr/src/libcgi#

    y como configuro transparente para usar con mikrotik alguien me puede dar una mano le puedo pagar por la asesorioa y lo realiza por el teamviewer

  • Kikin  On 30 marzo, 2013 at 5:26 pm

    Hola amigo, ya termine de armar mi pc para probar el haarpCache. 5 gb en ram y 1tb en disco con procesador intel core quad. antes quiero preguntar lo siguiente, por la ram que tengo necesito instalar el debian 64 bits, puedo cargar el haarpCache en esta version sin problemas? o hay una version 64 bits? saludos y espero resuelvas mi duda.

  • Samuel Espinoza  On 30 marzo, 2013 at 6:02 pm

    keikurono01 dame una minito tu porfa ya segui el manual del link con mikrotik y nada y depaso revisas mi server que dices te doy mi id a tu correo ok muchas gracias mira q todos aca en mi barrio estaran recontra agredecidos

    • keikurono01  On 30 marzo, 2013 at 6:15 pm

      Hola, perdon pero yo no uso mikrotik, asi que por ese lado no podré ayudarte.

      te puedo ayudar con lo del haarp si gustas.

      te recomiendo probar esto:

      LAN -> Mikrotik -> HaarpCache -> Router

      Es creo la forma más fácil, asi sólo modificas la ip de entrada del haarpcache (con la ip de router de donde ya está apuntando el mikrotik) y modificas las ips de salida del haarp y la ip de entrada del router para que queden en una misma red.

      Si gustas mandame un correo a: kei.haarpcache gmail.com

  • Samuel Espinoza  On 30 marzo, 2013 at 6:31 pm

    un problema mas me sale el error?

    root@debian:/usr/src/haarp-ext-js-viewer/src# make
    gcc logfile.o report.o utils.o -Wall -lcgi -lmysqlclient -ldl -o report.cgi
    gcc haarp.c -Wall -lcgi -lmysqlclient -ldl -o haarp.cgi
    root@debian:/usr/src/haarp-ext-js-viewer/src# make install
    make: *** No rule to make target `install’. Stop.
    root@debian:/usr/src/haarp-ext-js-viewer/src#

    PD: te envie un mensaje para que puedas hacer correr o verifiques mi instalacion con el HARP me parece no haberlo hecho bien

    • keikurono01  On 30 marzo, 2013 at 6:38 pm

      Omitir el paso del make install, no es necesario. (gracias por el reporte nuevamente).

  • Samuel Espinoza  On 30 marzo, 2013 at 6:40 pm

    Te volvi a mandar un correo para que lo dejes operativo mi HARP pues neceito que este OK para ponerlo a produccion

  • Samuel Espinoza  On 30 marzo, 2013 at 8:26 pm

    Hola Beast ya se tiene instalado el server y segui un manual de otra web para poder integrarlos debe de ser similar solo poseo una tarjeta de red y no puedo redireccionar el trafico de mi wan a mi cache server como hago?

  • Samuel Espinoza  On 30 marzo, 2013 at 11:09 pm

    Hola K por favor indicarme si es compatible con Haarp para hacer transparente la red con una sola tarjeta de red:

    #==============================
    #Transparent Mode & Example ACL
    #==============================
    http_port 3128 transparent
    acl mylocalnet src 0.0.0.0/0.0.0.0
    http_access allow mylocalnet

    and IPTABLES example:

    # DNAT port 80 request comming from LAN systems to squid 8080 aka transparent proxy .zaib.
    iptables -t nat -A PREROUTING -i eth0 -p tcp –dport 80 -j DNAT –to 192.168.2.2:3128

    • keikurono01  On 31 marzo, 2013 at 12:21 am

      Estoy tratando de ver si puedo instalarme el mikrotik para verlo de cerca (si es con mikrotik y en paralelo no necesitaras dos tarjetas)

      • Beast  On 31 marzo, 2013 at 1:19 am

        Saludos, puedes explicarme mejor o quizas con una grafica a groso modo como esta red y q deseas hacer, x q todo lo q intentas hacer con el squid con el mk es bastante simple

    • keikurono01  On 31 marzo, 2013 at 10:45 am

      Acabo de terminar un pequeño test, sobre mikrotik y haarpcache (en paralelo), Por lo que probé logré colocar el mikrotik al lado del haarp y un cliente detras de mikrotik (con el haarp funcionando), en conclusión:

      *El squid.conf es el mismo que se usa en este manual.
      *No se necesita para esto dos tarjetas de red.
      *Las reglas que use para realizar la conexión fueron:
      /ip address
      add address=192.0.3.1/24 comment=”IP for LAN” disabled=no interface=ether2 network=192.0.3.0
      add address=192.0.4.1/24 comment=”IP For HaarpCache” disabled=no interface=ether3 network=192.0.4.0

      Para la RED:

      INTERNET
      |
      |
      eth1 (dhcp)
      MIKROTIK eth3 {192.0.4.1/24} ——{192.0.4.15}HaarpCache
      eth2
      {192.0.3.1/24}
      |
      |
      LAN

      /ip firewall nat
      add action=masquerade chain=srcnat comment=”Masquerate for Internet” disabled=no out-interface=ether1
      add action=masquerade chain=srcnat comment=”Masquerate for HaarpCache” disabled=no out-interface=ether3
      add action=dst-nat chain=dstnat comment=”Redirect to HaarpCache” disabled=no dst-port=80 in-interface=ether2 protocol=tcp to-addresses=192.0.4.15 to-ports=3128

      /ip firewall mangle
      add action=mark-connection chain=postrouting comment=”MarkConnect HaarpCache” \
      content=”X-Cache: HIT from Haarp” disabled=no new-connection-mark=\
      “Connect – HaarpCache” out-interface=ether2 passthrough=yes src-address=\
      192.0.4.0/24
      add action=mark-packet chain=postrouting comment=PacketMark-Haarp connection-mark=\
      “Connect – HaarpCache” disabled=no new-packet-mark=Packet-Haarp out-interface=\
      ether2 passthrough=yes

      Aqui las reglas de QoS, con 1.5MB para el haarpcache:

      /queue tree
      add burst-limit=0 burst-threshold=0 burst-time=0s comment=Q-HIT-Haarp disabled=no limit-at=0 max-limit=12M name=Queue-HIT-Haarp packet-mark=Packet-Haarp parent=global-out priority=1 queue=default

      Salu2

  • Samuel Espinoza  On 30 marzo, 2013 at 11:16 pm

    encontre un manual para unir con mikrotik lo que quiero que me confirme K es que si es correcto la parte de iptables y de squid

  • hector  On 31 marzo, 2013 at 11:15 am

    aqui un breve manual de cómo poner haarpcache de parent para el webproxy de mikrotik. (es para thunder, pero esta claro que sirve para haarp)

  • hector  On 31 marzo, 2013 at 11:16 am

    http:// www. ryohnosuke. com/foros/showthread.php?t=336

  • anonimo  On 31 marzo, 2013 at 8:41 pm

    esta instalación esta hecha para trabajarlo con 2 tarjetas verdad? si es que lo quisiera hacer trabajar junto a mi mk, debo configurar toda esta linea:
    sudo iptables -t nat -A POSTROUTING -o -j SNAT –to
    sudo iptables -t nat -A PREROUTING -i -p tcp –dport 80 -j REDIRECT –to-port 312

  • Kikin  On 1 abril, 2013 at 7:05 pm

    Hola. oye tengo problemas con la instalación de haarpcache. desde que pongo esta instruccion ” apt-get install build-essential mysql-server \
    mysql-client php5 apache2 php5-mysql libblkid-dev \
    libcurl4-gnutls-dev libmysqlclient15-dev \
    libapache2-mod-auth-mysql libapache2-mod-php5 \
    sharutils curl autoconf ” descarga y de ahi me solicita que introdusca el cd de instalacion, lo introdusco pero no lo jala. Podrias ayudarme que necesito hacer. tengo Debian amd 64bits

    • keikurono01  On 1 abril, 2013 at 8:43 pm

      Hay algo mal, ya que no tiene nada que ver con lo del CD.

      Por ultimo trata de instalar cada cosa por separado.

  • Samuel Espinoza  On 1 abril, 2013 at 7:34 pm

    Hola una mano con el iptables ya que no puedo editarlo

    • keikurono01  On 1 abril, 2013 at 8:39 pm

      El iptables es el firewall, no un archivo, si puedes dale una revisada al FAQ de arriba, hoy lo actualice.

  • Samuel Espinoza  On 1 abril, 2013 at 7:54 pm

    Hola kikin debes de tener configurado tu pc con internet eso es suficiente prueba con el comando ping google.com y fijate si tienes respeusta

    • Kikin  On 4 abril, 2013 at 4:30 pm

      Gracias samuel. ya he revisado mi salida a internet y efectivamente tengo salida a internet de echo he descarhado algunos paquetes desde el mismo debian. me desespere y creo que voy a desestresarme unos dias y le seguire intentando.

  • Samuel Espinoza  On 1 abril, 2013 at 9:05 pm

    Disculpen la ignorancia pero nada con iptables debo de estar econtra mal una ayuda por favor me sale lo siguiente

    root@debian:~# iptables -t nat -A POSTROUTING -o -j SNAT –to 10.10.0.2
    -bash: eth0: No such file or directory
    root@debian:~#

    • keikurono01  On 1 abril, 2013 at 10:06 pm

      Si desde el server tienes ping entonces ya no es necesario lo del iptables (Agregare esto al manual, ya que parece que no es necesario).
      Salu2

  • system_urrutia  On 2 abril, 2013 at 2:11 am

    Saludos a todos, estoy incursionando en el mundo de los isp y pues he decidido hacer unas pruebas con maquinas virtuales antes de pasar a fisico o mejor dicho trabajare con vistuales ya que dispongo de una sola maquina para esto les explico mi diagrama de red
    Servidor
    —————————
    | SB = W8 |
    Wam–192.168.1.103 —->|SV = VirtualBox |—Lan—>192.168.15.1/24
    |MV-1 = Mikrotik |
    | MV-2= Debian(HC) |
    ————————
    SB=Sistema Base
    SV=Sistema VIrtualizador
    MV1= Maquina Virtual 1
    MV2=MAquina VIrtual 2
    CH=Haarpache

    la pregunta es como hago para vincular mikrotik que esta en una maquina virtual a HaarpaCache que también esta en otra maquina virtual si solo tengo 2 interfaces de red

  • system_urrutia  On 2 abril, 2013 at 9:56 am

    alguien que ne ayude a configurar Mikrotik y HaarpCache usando maquinas virtuales

    • keikurono01  On 2 abril, 2013 at 10:19 am

      Lo que yo hice lo puedes ver arriba en los comentarios.
      Yo lo hice usando vmware, virtualize tres maquinas, una con Mikrotik, otra con windows 7(como host usuario del mikrotik), y una para el haarpcache (ubuntu server 12.04 64bits)

      Creé tres tarjetas de red para el mikrotik, dos en modo Host-Only y otro en modo nat(para la wan, la ip lo cogia como DHCP, servido de manera automatica por el vmware, hacia mi maquina principal).

      En la maquina con Windows y ubuntu, lo carge cada uno con una tarjeta de red (modo Host-Only).

      Los detalles puedes verlo en los post de arriba.

      • system_urrutia  On 11 abril, 2013 at 10:59 pm

        ayuda, help, f1, llevo días, noches, madrugadas, tratando de hacer la integración de mikrotik con haarpcache, y nada primero sufri para instalar haarpcache en debian pero lo logre ahora escribo en la consola del mikrotik, el script de las reglas que se deben poner y no me funciona estoy al borde de la locura ya no se que hacer, serias tan amable de hacer un vídeo paso a paso de como se hace esto y subirlo a youtube, creo que mas de uno te estaría agradecido

        • keikurono01  On 12 abril, 2013 at 12:44 am

          Quizas puedas comunicarte con Samuel, que parece termino de configurarlo con exito.

          Sobre el problema es en la configuración del mikrotik?, muestra el ip firewall export.

      • Eduardo Mamani  On 20 enero, 2014 at 8:41 pm

        hola keikurono01 no te conozco pero la verdad estoy impresionado por tu forma de ayudar , yo leo y leo tb quiero hacer pruebas gracias ante mano miles de gracias.

  • Samuel Espinoza  On 5 abril, 2013 at 1:02 pm

    Alguien probo la integración por favor tengo problemas con la integración MKT

    /queue tree
    add burst-limit=0 burst-threshold=0 burst-time=0s comment=Q-HIT-Haarp disabled=no limit-at=0 max-limit=12M name=Queue-HIT-Haarp packet-mark=Packet-Haarp parent=Main priority=1 queue=default

  • Samuel Espinoza  On 5 abril, 2013 at 1:05 pm

    /queue tree
    add burst-limit=0 burst-threshold=0 burst-time=0s c
    omment=Q-HIT-Haarp disabled=no limit-at=0 max-limit=12M name=Queue-HIT-Haarp packe
    t-mark=Packet-Haarp parent=Main priority=1 queue=default

    input does not match any value of parent

    me sale el siguiente error

    input does not match any value of parent

  • Samuel Espinoza  On 5 abril, 2013 at 1:10 pm

    parent=\ global-out
    no debería de ir así o estoy mal si alguien me corrige por favor

  • Anónimo  On 5 abril, 2013 at 8:18 pm

    Ola instalei o haarpcache e funcionou muito bem com 2 interfaces de rede eth0 link de internet e eth1 saida para a lan mais agora to usando apenas uma interface ligada ao mikrotik 5.20 com cabo de rede crossower porem nada fica armazenado no haarpcache so vejo o relatorio sera que alguem poderia me ajudar

    Topologia

    Link 192.168.1.1

    Mikrotik interface link 192.168.1.10
    interface cache 192.168.10.1
    interface clientes 10.1.1.1

    HaarpCache Linux 10.04 192.168.1.2

    Pelo Putty o haarpcache da ping normalmente para qualquer dominio

    Alguem poder da uma ajuda nessas configurações como ficariam nessas faixas de ip

    /etc/network/interfaces
    /etc/rc.local

    E como seria as regras no Mikrotik ja fiz as que estão no tutorial porem na funcionaram

    Meu email : jonasuniverso32@gmail.com

    Manaus/AM/Brasil

    • keikurono01  On 5 abril, 2013 at 8:50 pm

      Olá, eu acho que voce tem que colocar o ip do haarpcache como: 192.168.10.2

      remove as regras do iptables no servidor (iptables -t nat -F)

      deixar as regras do squid iguais (mudar ip na configuraçao do squid.conf com as novas ips para o haarpcache).

      mais detalle procurar no FAQ.

  • Samuel Espinoza  On 6 abril, 2013 at 4:24 am

    cuando trato de visualizar el nuevo HaarpViewer me sale el siguiente error:

    LibCGI Warning: Failed to open include file hc.html

  • Samuel Espinoza  On 6 abril, 2013 at 4:46 am

    LINEA DEDICADA (IP PUBLICA)
    |
    |
    |
    MIKROTIK (rb 450g)
    ETH 1 ETH 2 ETH 3 ETH 4 ETH 5
    | | |
    | | |
    Ingreso Server Salida Lan
    Wan haarp con internet
    ip:xx ip:xx ip:xx

    como lo configuro no me cachea nada ya hice todo los pasos y nada

    • Samuel Espinoza  On 6 abril, 2013 at 4:55 am

      se des configuro la grafica explico:
      en mi eth1 esta el ingreso como wan
      en mi eth2 esta el servidor cache haarp
      en la eth3 y 4 no hay nada esta vacio
      en la eth5 sale la lan

      como seria mi configuracion para que pueda cachear

  • Samuel Espinoza  On 6 abril, 2013 at 5:51 am

    ya logre configurar pero cada que veo la pagina y verifico me sale:

    Content-Type:video/mp4
    Date:Sat, 06 Apr 2013 10:48:19 GMT
    Expires:Sat, 06 Apr 2013 10:48:19 GMT
    Last-Modified:Fri, 15 Feb 2013 05:08:39 GMT
    Proxy-Connection:keep-alive
    Server:gvs 1.0
    Via:1.0 localhost (squid/3.1.6)
    X-Cache:MISS from localhost
    X-Cache-Lookup:MISS from localhost:3128
    X-Content-Type-Options:nosniff

    me habrá faltado algo? ayuda por favor

  • Samuel Espinoza  On 6 abril, 2013 at 10:50 am

    pensé que habia hecho algo mal pero no me esta jalando los plugins del youtube ni del facebook y otros que he ido probando algún error en la programación?

  • Samuel Espinoza  On 6 abril, 2013 at 12:11 pm

    login as: root
    root@10.10.0.2’s password:
    Linux nebo 2.6.32-5-amd64 #1 SMP Mon Feb 25 00:26:11 UTC 2013 x86_64

    The programs included with the Debian GNU/Linux system are free software;
    the exact distribution terms for each program are described in the
    individual files in /usr/share/doc/*/copyright.

    Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
    permitted by applicable law.
    Last login: Sat Apr 6 11:50:39 2013 from 10.10.10.254
    root@nebo:~# tail -f /var/log/haarp/access.log
    1365268055.000 (3118) 10.10.0.2 MISS/200 28278 GET http://sphotos-e.ak.fbcdn.net/hphotos-ak-ash3/p480x480/168528_452043994874496_1530865150_n.jpg – NONE/- –
    1365268058.000 (3120) 10.10.0.2 MISS/200 41977 GET http://sphotos-f.ak.fbcdn.net/hphotos-ak-ash3/r180/p480x480/486872_358210190929058_577589346_n.jpg – NONE/- –
    1365268059.000 (3121) 10.10.0.2 MISS/200 46658 GET http://sphotos-h.ak.fbcdn.net/hphotos-ak-snc6/p480x480/181096_271291379651307_338954404_n.jpg – NONE/- –
    1365268060.000 (3122) 10.10.0.2 MISS/200 57834 GET http://sphotos-c.ak.fbcdn.net/hphotos-ak-frc3/p480x480/425524_4363630728551_2007223707_n.jpg – NONE/- –
    1365268071.000 (3123) 10.10.0.2 MISS/200 39306 GET http://sphotos-f.ak.fbcdn.net/hphotos-ak-snc7/s480x480/579123_447264941976236_809664414_n.jpg – NONE/- –
    1365268103.000 (3126) 10.10.0.2 MISS/404 248 GET http://liveupdate.symantecliveupdate.com/engine$2cnis$2cinstalldir_18.7.2.3_symalllanguages_livetri.zip – NONE/- –
    1365268103.000 (3125) 10.10.0.2 MISS/404 248 GET http://liveupdate.symantecliveupdate.com/nis$20product$20update_18.7.2.3.3_symalllanguages_livetri.zip – NONE/- –
    1365268103.000 (3124) 10.10.0.2 MISS/304 286 GET http://liveupdate.symantecliveupdate.com/mui$2cnis$2cmuidir_18.0.0_symalllanguages_livetri.zip – NONE/- –
    1365268103.000 (3127) 10.10.0.2 MISS/404 248 GET http://liveupdate.symantecliveupdate.com/branding$2cnis$2cbrandingdir$2coem$20symantec_18.0.0_symalllanguages_livetri.zip – NONE/- –
    1365268120.000 (3128) 10.10.0.2 MISS/200 115421 GET http://sphotos-e.ak.fbcdn.net/hphotos-ak-prn1/p526x296/534868_528627973849663_1638411467_n.jpg – NONE/- –
    ^C
    root@nebo:~# tail -f /var/log/haarp/error.log
    06/04/2013 12:03:36 === Starting Haarp
    06/04/2013 12:03:36 Running as user: root, group: root
    06/04/2013 12:03:36 Process ID: 3052
    ^C
    root@nebo:~#

    • keikurono01  On 6 abril, 2013 at 1:22 pm

      Ahi veo que esta haciendo cache del facebook…

      Cuando ves de nuevo las fotos de arriba no hacen hits?

      Para mas detalles, ver si carga el plugin etc, cambia el LOGLEVEL de 0 a 1 en el haarp.conf, los resultados puedes llevarlos a pastebin.com, para no alargar mucho los mensajes aqui.

      Salu2.

  • Samuel Espinoza  On 6 abril, 2013 at 1:55 pm

    http://goo.gl/2soIo

    LO QUE RESALTO ME SALE
    1.- “the file is not on disk” al cargar facebook
    2.- al cargar youtube no cache el video solo las imagenes como muestra
    3.- al cargar http://pastebin.com/ me sale Conexión a 66.252.2.46 fallida.
    El sistema ha devuelto: (110) Connection timed out

    • keikurono01  On 6 abril, 2013 at 3:36 pm

      1.- Eso quiere decir que el archivo no lo encontró en el cache, por ello se dispone a guardarlo por primera vez (MISS)
      2.- Si, y también hace Hit. En el facebook también lo veo normal, ademas según el log todo es MISS pues todas las fotos que reporta son todas distintas. (todo lo que dice después del File: xxxx.jpg, son las ubicaciones donde se guardan en el disco).
      3.- Puedes usar ese nuevo server o el Bitbucket o GitHub como recomiendo en el post,

      *Lo del youtube, sería interesante si me mandaras las peticiones youtube.com/videoplayback?xxxx que te muestran los logs del squid.

      *Puede que estes usando https para ver los videos (verifica las urls del videoplayback, con el chromium debug F12 panel de network como en la figura del manual), si es así entonces no hay forma de que el squid y menos el haarp puedan tomarlo para hacer el cache.

    • keikurono01  On 6 abril, 2013 at 3:40 pm

      En conclusion, si no se muestran los videos en el log del haarp, quiere decir que no quedo tomado por la expresion regular incluida en el haarp.lst:
      en el caso youtube: http.*\.youtube\.com.*videoplayback\?
      esto quiere decir dos cosas, puede que estes usando https en el videoplayback o que en tu caso (caso extraño) estas descargando los videos de youtube con otros parámetros de manera que para el haarp resulta diferentes (ya no es un videplayback por ejemplo).

  • Samuel Espinoza  On 6 abril, 2013 at 7:37 pm

    http://pastebin.com/eqAGnqqB

    Ahi esta las urls del videoplayback y si veo que esta en http

    el log de squid3 te lo envié al correo completo para que puedas analizarlo

    • keikurono01  On 6 abril, 2013 at 9:25 pm

      Deberias de poder hacer cache de al menos una parte de ese video.

      deberias de tener el archivo “b7a76159ba597ea4.flv” (buscalo haciendo: find /haarp/youtube/ -name b7a76159ba597ea4.flv)

      Si no se encuentra entonces puede ser que este algo corrupto en tu haarp.lst, verifica que este descomentada la linea: http*\.youtube\.com\/videoplayback… etc

      verifica tus reglas de squid.conf con las del haarp.

      reinicia el haarpcache, y luego el squid.

  • Samuel Espinoza  On 7 abril, 2013 at 12:53 pm

    mi configuración esta como el post ya revise y también esta descomentado puedes revisarlo por teamw? porfa

  • Anónimo  On 7 abril, 2013 at 2:35 pm

    Tem como usar apenas uma interface de rede (eth0) no Haarpcache e alguem pode mostrar o aquivo rc.local por que nao consigo interagir com mikrotik

  • Samuel Espinoza  On 7 abril, 2013 at 7:31 pm

    O cache Haarp funciona com uma placa de rede eth0 e se possível integrar mikrotik como você tem que definir cuidadosamente sua LAN e WAN para endereços no natearlo firewall sigue el tutorial y todo bien

  • Samuel Espinoza  On 7 abril, 2013 at 9:49 pm

    Al parecer hay un problema con el enmascaramiento que haces ya que restringe la red no puedo hacer ping desde mi pc hacia el server cache pero en el terminal de MKT si puedo hacer ping al server cache igual manera puedo hacer ping desde el server cache hacia el MKT y cuando recomiendan es solo un enmascaramiento osea solo para el wan o internet alguna modificación?

  • Samuel Espinoza  On 8 abril, 2013 at 3:40 pm

    Hola denuevo si llegue a configurar bien el lio es que tengo varias redes con distinta ip y puerta de enlace
    Ejemplo
    10.10.10.1 — ip para 2.4 ghz
    192.168.2.1 — ip para acces point cliente
    192.168.3.1 — Ip Cliente Busines
    10.10.0.1 —- Ip para server cache

    Los cuales no puedo hacer ping desde mi pc con ip 10.10.10.100 al server cache que tiene ip 10.10.0.2 y viceversa leyendo en los foros encontre que era por el enmascaramiento no se si es correcto?

    • keikurono01  On 8 abril, 2013 at 10:14 pm

      Intente en deshabilitar el enmascaramiento, y siguó igual (parece que no es necesario), así que pienso que es un problema en el ip route de mikrotik (debe tener una configuración extra)

  • Samuel Espinoza  On 8 abril, 2013 at 10:33 pm

    se podra hacer un plugin o incrementar para cachear speed test.net y los demas test de velocidad?

    acl speedtest_allow_url url_regex -i \.speedtest\.net\/ speedtest
    acl speedtest_allow_url url_regex ^http:\/\/speedtest\.*
    acl speedtest_allow_dom dstdomain .speedtest.net

    storeurl_access allow speedtest_allow_url
    storeurl_access allow speedtest_allow_dom

    # Speedtest
    refresh_pattern speedtest.*\.(jp(e?g|e|2)|tiff?|bmp|gif|png|swf|txt|js) 0 50% 180 store-stale negative-ttl=0

    Algo asi?

  • Samuel Espinoza  On 8 abril, 2013 at 10:48 pm

    http://pastebin.com/Qmj1raRH

    Este es un squid de lusca cache y funciona correctamente youtube alguien me puede compartir un squid3.conf para ver derrepente no tengo algo habilitado por eso no puedo cachear youtube

    Aqui les dejo mi squid.conf Haarp

    http://pastebin.com/tkD48hUc

    • Anónimo  On 9 abril, 2013 at 10:02 pm

      Debes de comentar la linea: hierarchy_stoplist cgi-bin ?

      • Samuel Espinoza  On 10 abril, 2013 at 7:07 am

        #hierarchy_stoplist cgi-bin ?
        Al tener des habilitado consulta cachés vecinas para ciertos objetos.
        ¡¡¡¡ solución para mi cahce en youtuve los que tiene squis 3x verifiquen este punto

  • Samuel Espinoza  On 9 abril, 2013 at 8:56 pm

    Sigo sin poder hacer cache a youtube alguien me puede ayudar????

  • Viktor  On 10 abril, 2013 at 12:36 am

    wow excellent tutorial keikurono01. I will try this and see how it works for me.

  • Samuel Espinoza  On 10 abril, 2013 at 6:58 am

    Excelente comentando #hierarchy_stoplist cgi-bin ? solucione el cache de youtube ahora si esta cheando gracias anónimo por tu nombre pes jajaja

  • Samuel Espinoza  On 11 abril, 2013 at 10:03 pm

    Hola de nuevo no se si puedes revisar la eficiencia del cache el el haarpviener la eficiencia esta duplicando y no esta arrojando estadisticamente bien los cálculos por fa si lo revisas

    • keikurono01  On 12 abril, 2013 at 12:45 am

      Es una de las cosas que se tienen que arreglar, supongo que eso sucede cuando navegas por youtube.

  • Samuel Espinoza  On 12 abril, 2013 at 7:41 am

    Como reinstala Haarp sin borarr mi cache?

    tengo el siguiente error ayuda por favor en cache.log y no me esta haciendo cache en nada

    http://pastebin.com/tZh7hvP8

    • keikurono01  On 12 abril, 2013 at 11:09 am

      Para reinstalar:

      cd /usr/src
      rm -r haarpcache
      git clone “https://github.com/keikurono/haarpcache”
      cd haarpcache
      ./configure
      make clean
      make
      make install

      Salu2

  • Samuel Espinoza  On 12 abril, 2013 at 1:07 pm

    http://pastebin.com/mEZCnTfp

    Hola pueden revisar por favor este código un plugin para speed test no corre algún otro error?

    • keikurono01  On 12 abril, 2013 at 1:46 pm

      Lo del speed es para saber la velocidad de down y up de tu cache?…
      por que no veo mucho sentido hacele un plugin….

  • Samuel Espinoza  On 12 abril, 2013 at 2:50 pm

    ahh el sentido es que los clientes vean cuanto llega como para que queden admirados lo otro es que yo ya compra ese speed test en lusca chache y con un disco normal la velocidad me llegaba a 60mbs y con un disco solido me llegaba a 100mbs

  • Samuel Espinoza  On 12 abril, 2013 at 2:59 pm

    Con el Harrp como puedo restringir el acceso a skype, facebook y a paginas pornográficas pero espesificamente a una ip de cliente?

    • keikurono01  On 12 abril, 2013 at 5:30 pm

      Es más recomendable hacerlo con el squid (como se hace en este manual, usando url_block), o con reglas firewall en el mikrotik.

  • Samuel Espinoza  On 13 abril, 2013 at 3:45 pm

    Hola keikurono no me confirmaste si esta bien editado el plugin ya que no corre cuando lo compilo no hace cache

    • Samuel Espinoza  On 13 abril, 2013 at 5:46 pm

      cual es el comando para compilar solo ese plugins???

      • Samuel Espinoza  On 13 abril, 2013 at 7:24 pm

        Sorry no lo vi es por ejemplo
        g++ -I. -fPIC -shared -g -o eset.com.so eset.com.cpp

        Como hago para cachear en eset nod32 v4,5,6
        Las descargas los realiza ejemplo:

        if ( (url.find(“.eset.com/”) != string::npos) &&
        (url.find(“.nup”) != string::npos) && (url.find(“update.ver”) == string::npos)
        ) {

        eset_upd\v4\
        eset_upd\v5\
        eset_upd\v6\

        o solo hay que modificar el reg
        http.*\.eset\.com\.eset_upd\/.*\.nup

  • Anónimo  On 14 abril, 2013 at 12:33 pm

    tengo problemas en la instalación, te agradecería por favor si me corriges. Me bota este error cuando edito despues de editar el archivo haarp.conf y aplicar los siguientes comandos:

    root@debian:/etc/init.d# update-rc.d haarp defaults 98
    update-rc.d: using dependency based boot sequencing
    insserv: warning: script ‘haarp’ missing LSB tags and overrides

  • Anónimo  On 14 abril, 2013 at 4:44 pm

    buenas tardes, estoy instalando el cache pero cuando lo integro con el mikrotik el internet deja de funcionar.

    “No es necesario las reglas de iptables (Si anteriormente se probo el sistema usando 2 tarjetas como en este manual, por favor quitar el script que pudieramos tener dentro del rc.local, y luego reiniciar o hacer iptables -t nat -F)”

    eso quiere decir que ingreso esta configuración? :
    sudo iptables -t nat -A POSTROUTING -o -j SNAT –to
    sudo iptables -t nat -A PREROUTING -i -p tcp –dport 80 -j REDIRECT –to-port 3128
    echo 1 > /proc/sys/net/ipv4/ip_forward

    la ip de mi mk es : 192.168.10.1
    del debian es: 192.168.10.2

    agradeceria enormente tu ayuda, muchas gracias

  • Samuel Espinoza  On 14 abril, 2013 at 5:11 pm

    No deberías de tocar el iptables ya que no es necesario hacer alguna modificación
    Para la inegracion de MK debes de seguir el tutorial definiendo bien tu lan y tu wan

    • Anónimo  On 14 abril, 2013 at 11:46 pm

      disculpa LAN y WAN en el mk verdad? hasta ahora cuando redirijo el trafico el internet se va, hasta el visor me sale pero no hay inter cuando lo integro

      • Samuel Espinoza  On 15 abril, 2013 at 8:57 am

        Si las de tu MK fijate bien en tu /ip firewall nat y en el /ip firewall mangle
        “A mi tambien se me iba pero debes de saber en el manual cual es tu wan y lan y tu haarpcache

        • Anónimo  On 15 abril, 2013 at 3:42 pm

          nuevamente molestando, he instalado paso a paso pero el problema creo comienza con la edicion del archivo squid.conf, cuando quise editarlo me di cuenta que ese archivo no existía así q lo instalé con un “apt-get install squid3″ y nose si esa haya sido la solución correcta, a mi parecer ésta instalación se hace asumiendo que el squid ya esta instalado y bien configurado, es asi? luego de ese inconveniente he hecho todos los pasos al pie de la letra

          • keikurono01  On 15 abril, 2013 at 4:22 pm

            para ubicar tu squid.conf, puedes hacer: updatedb
            locate squid.conf

            luego de eso te mostrará todos los squid.conf en tu sistema.

            (en squid3: /etc/squid3/squid.conf)

  • Samuel Espinoza  On 14 abril, 2013 at 6:30 pm

    Como hago para cachear en eset nod32 v4,5,6
    Las descargas los realiza ejemplo:
    if ( (url.find(“.eset.com/”) != string::npos) &&
    (url.find(“.nup”) != string::npos) && (url.find(“update.ver”) == string::npos)
    ) {
    eset_upd\v4\
    eset_upd\v5\
    eset_upd\v6\
    o solo hay que modificar el reg
    http.*\.eset\.com\.eset_upd\/.*\.nup

    • keikurono01  On 15 abril, 2013 at 4:24 pm

      Quieres pasar un plugin de thunder a haarp?, lee el FAQ.

      • Samuel Espinoza  On 15 abril, 2013 at 4:45 pm

        Si ya lo hice sino estoy tratando de editar el plugin que tienes de eset nod 32 el problema es que no cache las versiones 4,5,6 por que la ruta de actualizacion es: eset.com/eset_upd\v4\ como hago:
        Es necesario modificar el plugin o solo el reg

        • keikurono01  On 15 abril, 2013 at 4:51 pm

          Asi como está, hace cache de todos los archivos que terminan o tienen extención .nup.

          en el haarp.lst: “http.*\.eset\.com.*\.nup”

          no es necesario especificar las versiones, ya que esa linea ya las esta tomando, pero como te digo para las extenciones .nup.

  • Samuel Espinoza  On 15 abril, 2013 at 9:41 pm

    Hola Keikurono por favor puedes revisar este plugin

    http://pastebin.com/mEZCnTfp

    no me trabaja aparentemente

    • keikurono01  On 16 abril, 2013 at 12:17 am

      Y la expresion regular en haarp.lst?

      • keikurono01  On 16 abril, 2013 at 12:37 am

        Como esta hecho el haarp, veo que tendras problemas, pues el sistema coje el plugin respectivo, dependiendo de la url.

        o sea si la url es por ejempl: http://c.speedtest.net/flash/standard-wide-long.swf?v=326308, entonces el sistema toma “c.speedtest.net” (dominio de la url) y a partir de este empieza a concatenar todos los subdominios con cantidad de caracteres menores a 3 (tomandolos de derecha a izquierda). Asi en este caso resulta “speedtest.net”, por tanto el plugin a buscar es: “speedtest.net.so”, se supone que debes de tener ese plugin, en el codigo que muestras veo que para una url como esta: “http://speedtest4.claro.com.pe/speedtest/upload.php?x=0.7752903765067458″, el sistema buscará el plugin “claro.com.pe.so”, el cual seguramente no existe, por ello no funciona:

        sobre el pedazo de codigo donde esta esto detallado lo puedes ver aqui: https://github.com/keikurono/haarpcache/blob/master/haarp/utils.cpp#L501

        Otra cosa, puedes testear los plugins sin necesidad de ponerlos en producción o usandolos junto con el haarp.

        Para ello vas a /usr/src/haarpcache/haarp/plugins/

        y ahi hay un archivo llamado teste.c: necesita ser compilado (g++ -I. -ldl -rdynamic -o teste teste.c) en el mismo archivo teste.c dice como hacerlo.

        Luego con ello pruebas cualquier plugin por ejemplo el de justin.tv:

        ./teste ./justin.tv.so “http://media6.justin.tv/archives/2011-2-18/live_user_peruanojapones_1297987490.flv”

        La salida en este caso es:
        Opening ./justin.tv.so
        Loading symbol …
        retorno:
        Match: 1
        Domain: justin
        File: live_user_peruanojapones_1297987490.flv
        range_min: 0
        range_max: 0
        Closing library…
        Time: 0.48100 msec.

        El Match 1 te dice si esa URL de entrada hace que el plugin informe al haarp que haga cache de aquel recurso; además de que ese archivo pertence al dominio justin. File el nombre del archivo ..etc

  • Anónimo  On 18 abril, 2013 at 5:41 pm

    Buenas amigo estoy en la prueba y he notado que el haarpViewer no esta mostrando los hit de los videos cachados de facebook, sera que te ha pasado??

    • keikurono01  On 19 abril, 2013 at 12:30 am

      Se agradece el test, lo revisaré, tener en cuenta que aveces los videos vienen con https y ahi no se puede lograr cachear.

  • Kikin  On 18 abril, 2013 at 10:19 pm

    Hola, Buenas noches. amigo estoy de vuelta instalando haarp, pero mira estoy instalando uno por uno cada paquete, estoy presentando problemas al cargar este apt-get install build-essential, cuando intento instalarlo, se queda hasta 99 % y solicita el cd, de ahi no pasa. ya instale sin problemas los demas paquetes, solo es este en el que tengo problemas. que estara pasando alguna otra forma de poder instalarlo. tengo debian amd 64. ayuddaa por favor

    • keikurono01  On 19 abril, 2013 at 12:05 am

      Mejor prueba en un ubuntu server 12.04 es el que uso para hacer esta instalación.

      • Kikin  On 19 abril, 2013 at 10:42 am

        ok gracias pruebo con ubuntu y comento saludos

        • Kikin  On 19 abril, 2013 at 3:17 pm

          Ya consegui instalar haarp con ubuntu server. en mi red la administro con mikrotik, lo que prosigue es configurar mikrotik con haarp. pero tengo dudas y quisiera que me lo aclararas por favor. mi consulta es por lo siguiente. ya probe a thunder 3.1 y nom e gusta por muchas cosas pero en particular por el retardo de respuesta en la navegacion o por los videos se atoran etc. en thunder 7 sigo presentando lo mismo. ambos los he configurado de forma paralela. ahora mi idea es adaptar una 2da ethernet a haarp y ponerlo al frente, es desir que mi mikrotik vea a haarp como la puerta de enlace para salir a internet y con el marcado de paquetes detectar si los paquetes vienen de internet o solo del haarp. es esto posible ? LAN ->mikrotik -> HaarpCache -> Internet. Saludos

          • keikurono01  On 20 abril, 2013 at 2:11 am

            Sí es posible, solamente en mikrotik deberas de reconocer las cabeceras que contengan el “X-Cache: Hit from Haarp” o “Haarp: Hit from haarp” (con puerto 80 como puerto de origen) y listo.

  • Samuel Espinoza  On 20 abril, 2013 at 8:09 am

    Hola tengo el inconveniente que se tranca el harp cache al reiniciar me sale

    root@nebo:~# /etc/init.d/haarp restart
    Shutting down Haarp …
    Starting Haarp …
    Starting Haarp Version: 1.1
    Could not create server (already running?)
    Exiting..
    root@nebo:~#

    y al tratar de ingresar al youtube o cualquier otra pagina cacheada no carga para resolver tengo que reiniciar el server y se normaliza normalmente me pasa cada 3 o 4 dias estando en produccion las 24 horas alguna solucion o comentario de el porque?
    cuando quiero ver el log no me muestra nada se queda asi:
    root@nebo:~# tail -f /var/log/haarp/access.log

    pero si veo el log del apache.

    • keikurono01  On 20 abril, 2013 at 11:08 am

      La mejor forma de reiniciar es haciendo: killall haarp; luego, /etc/init.d/haarp restart ..

  • chaco  On 20 abril, 2013 at 1:44 pm

    Saludos keikurono01, gracias por tu gran trabajo, tengo montando el haarpcache1.1 en un contenedor en proxomox y anda normal, pero hay videos de youtube que no cachea y otros si, parece ser al azar pero no se pq sera. Nisiquiera les crea la entrada en el directorio /haarp.

    que crees que pueda ser?

    • keikurono01  On 20 abril, 2013 at 4:14 pm

      Hola, lee lo del FAQ, para saber cuando hace cache o no..
      Tener en cuenta que en las ultimas semanas youtube cambio su forma de enviar los videos, ahora los envia con nombres variables, por ello (y para no redundar en guardar el mismo video varias veces) se procedio a ignorarlos por el momento. Para saber si el video que estas viendo es el de nombres variables, fijate en los parámetros de envío en el chromium-browser(leer el FAQ), podrás notar que el id viene con un nombre como este: “o-AP12XBPgAQYKaDgXHQrLrLbeu-DrODWvc8crZq2eeUVt”, cuando empieza con “o-A..” entonces son los que vienen con nombres variables, por ello el haarp los descarta y no los graba.

      algunos detalles aqui: https://github.com/keikurono/haarpcache/issues/2

      Asi deberás de hallar el “id”: http://perufw.files.wordpress.com/2013/04/imagen_see_id1.jpg

  • system urrutia  On 24 abril, 2013 at 7:34 am

    Saludos, he logrado instalar Haarpcache pero llego hasta la parte en la que dice que hay qie modificar el squid, pregnto:
    01- Es necesario tener el squid instalado en la maquina donde se instalo el HaarpCache ya que tengo pensado ponerla en paralelo a Mikrotik y segun tengo entendido solo se necesita una sola interfaz de red, por favor me corrijen en esto los esperto si estoy equivocado, ya que hasta ahora estoy aprendiendo de mikrotik y de todo esto por mis propios medios.
    02-Como configuro el Haarp para que reciba el trafico del Mikrotik
    03- Comohago para entrar al panel de control del Haarp
    esto lo estoy haciendo de la siguiente manera tengo una pc en la que he instalado debian y haarp sobre ella he montado una maquina virtual con mikrotik usando el programa de virtualizacion VirtualBox, favor les pido su colaboracion en este proyecto de verdad me urje

    • hector  On 24 abril, 2013 at 7:43 am

      Fijate más arriba en los comentarios, dejé un link para conectar haarp+mikrotik. No necesitas usar squid, el proxy de mikrotik hace ese trabajo

    • keikurono01  On 24 abril, 2013 at 11:26 am

      01: sí
      02: lee el FAQ.
      03: Lee el manual, ip_server/haarp.php o si instalaste la version moderna del visor, entonces: ip_server/cgi-bin/haarp.cgi

      Lo del todo en uno está para pensarlo.

  • Samuel Espinoza  On 25 abril, 2013 at 12:47 pm

    http://pastebin.com/JEn8CkhH

    Puedes guiarme si este plugin que es de brazilfw cache que parametros hay que cambiar? para que funcione con Haarp Cache?

    http://pastebin.com/JEn8CkhH

  • Samuel Espinoza  On 27 abril, 2013 at 6:58 am

    Una Pregunta donde creo una lista para que salte el proxy cache por ejemplo en los bancos cuando ingresa y te detectya proxy te saca de linea?

    • kiekurono01  On 28 abril, 2013 at 1:49 pm

      Hay una forma para hacer el proxy altamente anonimo, si no me equivoco es colocando:

      forwarded_for off
      via off

      Salud2

  • Samuel Espinoza  On 29 abril, 2013 at 5:26 pm

    Otra consulta como puedo hacer para ver que paginas son mas solicitadas en mi red y a partir de eso ver si son cacheadas por squid y si no lo son crear su plugins?

  • Samuel Espinoza  On 29 abril, 2013 at 6:13 pm

    http://pastebin.com/mEZCnTfp

    ayuda con este plugin alguna otra manera de cachear este test de velocidad?

    http://pastebin.com/mEZCnTfp

    • keikurono01  On 1 mayo, 2013 at 8:20 pm

      Hola, según como se explica aqui: http://perufw.wordpress.com/2013/02/11/instalando-haarpcache-v1-1-un-cache-inteligente/#comment-1065

      al parecer tendras que copiar el mismo plugin con otros nombres:

      vas a la carpeta de plugins (defecto: /usr/src/haarpcache/haarp/plugins/) y haces:
      cp speedtest.net.so movistar.com.pe.so
      cp speedtest.net.so claro.com.pe.so
      cp speedtest.net.so olo.com.pe.so

      es obvio que despues llevas esos “nuevos” plugins al directorio: /etc/haarp/plugins/

      • Samuel Espinoza  On 2 mayo, 2013 at 8:12 pm

        Me sale el siguiente error al tratar de compilar:

        root@nebo:/usr/src/haarpcache/haarp/plugins# g++ -I. -fPIC -shared -g -o movistar.com.pe.so movistar.com.pe.cpp
        movistar.com.pe.cpp: In function ‘resposta hgetmatch2(std::string)':
        movistar.com.pe.cpp:29: error: expected ‘)’ before ‘{‘ token
        root@nebo:/usr/src/haarpcache/haarp/plugins#

        algún error?

        • keikurono01  On 2 mayo, 2013 at 10:21 pm

          El plugin si se compila: http://pastebin.com/raw.php?i=rRUZ029X

          • Samuel Espinoza  On 3 mayo, 2013 at 8:48 pm

            Ya compile el plugin y solo cache en speed test y de telefonica mira este es el acl de el lusca cache como puedo aplicar esto para el Haarp Cache

            #speedtest
            }elsif (m/^http:\/\/(.*)\/speedtest\/(.*\.(jpg|txt))\?(.*)/) {
            print $x . “http://www.speedtest.net.SQUIDINTERNAL/speedtest/” . $2 . “\n”;

            y cache todo los speed test sin modificar nada mas o poner otros parametros

  • pablo  On 2 mayo, 2013 at 4:52 am

    buenas, tengo un problema, he seguido todos tus pasos en la instalación y configuración del haarpcache pero no me guarda en el disco nada de lo que visito y los log estan limpios, esta instalado en una maquina debian 64 bits si puedieras ayudarme me vendria muy bien gracias

    • keikurono01  On 2 mayo, 2013 at 5:52 pm

      Fijate las configuraciones del haarp en el squid.conf

      debes de tener logs en el squid (access.log), para asegurarte que no es el squid.

      por si acaso fijate tambien en el /var/log/syslog si no es algo con el haarp.

  • Samuel Espinoza  On 5 mayo, 2013 at 9:36 pm

    AL HACER CACHE AL PLUGIN http://pastebin.com/raw.php?i=fcKwaeYm
    cuando veo el HaarViewer me sale en la estadistica:
    Acceso5/Operation7 y Acceso5/DWinstal con una x en rojo que significa que no esta activo alguna recomendacion pues parece que no toma el cache?

    • keikurono01  On 5 mayo, 2013 at 9:49 pm

      No, lo que pasa es que los nombres que tienes es Acceso5/xxx y esos nombres el haarpview no los encuentra de la misma forma en el haarp.lst por ello el lo marca como que no lo encuentra o que no esta activo.. etc.
      Habrá que hacerle ajustes al mismo …

      Por ello en este caso el funcionamiento del plugin es independiente a si sale en rojo o no.. si esta bien el plugin entonces debería de funcionar todo bien.

  • Samuel Espinoza  On 6 mayo, 2013 at 8:56 pm

    Ya compile el plugin1 para cahce de speed test y solo cachea en speed test y de telefonica mira este es el acl de el lusca cache como puedo aplicar esto para el Haarp Cache
    #speedtest
    }elsif (m/^http:\/\/(.*)\/speedtest\/(.*\.(jpg|txt))\?(.*)/) {
    print $x . “http://www.speedtest.net.SQUIDINTERNAL/speedtest/” . $2 . “\n”;

    cachea todo los speed test sin modificar nada mas o poner otros parametros

    • keikurono01  On 6 mayo, 2013 at 10:55 pm

      Ahora le di una revisión seria, y he modificado un poco el core del haarp , además de agregar un plugin propio del speedtest.

      Para hacerlo funcionar tienes que reinstalar, pero esto no implica para nada borrar algo o algo peor, sólo haz lo siguiente;

      cd /tmp/
      git clone https://github.com/keikurono/haarpcache.git
      cd haarpcache
      ./configure
      make <– si tienes problemas actuar como dice el manual.
      rm -f /usr/local/sbin/haarp (eliminamos el bin antiguo del haarp)
      cp haarp/haarp /usr/local/sbin/haarp (copiamos el que acabamos de compilar)
      agregar la linea:
      "http.{1,4}speedtest(\w|-)*(\.|\w)+\/speedtest\/(random.*\.jpg|latency\.txt)\?.*"
      al final de tu haarp.lst (eliminar las otras lineas si las tubieras del speedtest!).
      Colocamos el nuevo plugin:
      cp haarp/plugin/speedtest.net.so /etc/haarp/plugin/
      reiniciar el haarp:

      /etc/init.d/haarp restart
      cargar la configuracion del squid o el lusca:
      squid3 -k reconfigure
      lusca -k reconfigure.

      Listo, cualquier problema avisar.

      *Quizás esto pueda servir para los que quieran el speedtest, y hayan echo la instalación del haarp antes de la fecha de este mensaje.

  • Anónimo  On 7 mayo, 2013 at 5:01 am

    Los vídeos de youtube no me los cachea, solo me guarda una imagen de la portada, como podría solucionar eso fallo, por lo demas funciona perfecto?
    gracias

  • Samuel Espinoza  On 7 mayo, 2013 at 10:41 am

    Hola keikurono01 gracias por lo speed test lo probare etsa tarde.

    Sobre el tema de youtube de seguro has visto pero en el foro de lusca cache ya están tratando de dar un solución si te sirve el comentario te dejo el link y la forma que están dando solución si es posible mejorarla ya que programación no es mi fuerte:

    https://code.google.com/p/lusca-cache/wiki/YouTubeAprilFix

    • Samuel Espinoza  On 7 mayo, 2013 at 10:43 am

      aqui postean el fix utilizado el 02/05/2013

      https://code.google.com/p/squid-cacheboy-helper-tools/downloads/list

    • keikurono01  On 7 mayo, 2013 at 5:30 pm

      Segun entiendo lo que quiere hacer es cambiar el nombre del archivo de los videos de youtube con el nombre de su watch (que aparece en la url de este)

      por ejemplo http://www.youtube.com/watch?v=KoVHC0s_sZs, tomará el “KoVHC0s_sZs” como nombre del archivo, esto lo hace consiguiendo el referer de la peticion “youtube.xxx.xx/generate_204?… “.

      Habria que probar, pero sí, por ahi era la idea de los referer.. pero no estoy seguro si siempre funcionará, y además que cambiaria todo lo que se tiene en cache….. por que los nombres de los archivos conseguidos de esta forma difieren con los que tenemos cacheados. .. (o sea todo de cero de nuevo… )

      Otra cosa a favor es que si los videos de youtube tienen esos nombres, podría ser más fácil conseguir los titulos de los videos .. y con ello almacenar los videos junto con los titulos o hasta con sus descripciones..

  • Samuel Espinoza  On 7 mayo, 2013 at 10:08 pm

    y tu que recomiendas ya que con youtube no se tiene nada seguro hoy sale algo y mañana pueden variar?

    • keikurono01  On 7 mayo, 2013 at 10:45 pm

      El problema son los “id=o-Axxxxx” no es cierto?, es de lo que estamos hablando. Ultimamente no me los encuentro mucho.

      Hay algo interesante, al parecer el thundercache 7.1 no tiene esos problemas, ellos consiguen obtener el nombre del video youtube asi sea este dinámico.
      Como lo hacen?, pues al parecer tengo una idea de como pero … hay que probarla, y ahun asi habria que testear y ver si algún cambio posterior del youtube haga que estropee lo que tengamos cacheados. Veré si me da tiempo para hacerlo….

      En todo caso por ahora la forma facil de solucionar estos problemas es estar actualizando el plugin del youtube cuando sea necesario.

  • Francesc  On 8 mayo, 2013 at 10:56 am

    Felicidades por tu proyecto , he estado testando tu “complemento” y realmente funciona correctamente en un entorno LAN , pero en diferentes VLANS algo ocurre que no funciona correctamente :? ( todo intentar creando acl all , algo de subneting y nada de nada)

  • Samuel Espinoza  On 10 mayo, 2013 at 12:32 pm

    Hola en la web https://github.com/keikurono/haarpcache/blob/master/haarp/plugins/speedtest.net.cpp

    Las lineas de compilacion no coinciden cuidado algun novato trate de compilarlo y se maree
    // use this line to compile
    // g++ -I. -fPIC -shared -g -o 4shared.com.so 4shared.com.cpp

    //~ Ex:
    //~ http://speedtest.movistar.com.pe/speedtest/latency.txt?x=1365780932390
    //~ http://speedtest4.claro.com.pe/speedtest/random750x750.jpg?x=1367893686447&y=2

    que significa esto? debo de agregar algun lugar mas?

    • keikurono01  On 10 mayo, 2013 at 9:35 pm

      Vale la aclaración, acabo de modificarlo (Y).

      Las urls simplemente son algunos ejemplos de url que puede jugar el plugin, lo que viene despues del haarp.lst es la expresión regular o la linea que debe de ir en el haarp.lst. Ya por defecto está ahi pero comentado, si se quiere usar se descomenta y listo.

  • Samuel Espinoza  On 12 mayo, 2013 at 7:01 pm

    1.- No se si es mi maquina o es el plugin de spedtest hago un test de velocidad y lo cachea, a los dos dias hago la misma prueba y nada no coge lo cacheado vuelvo hacer test y recién toma del cache?
    No se si consideraste o hace el cache a

    http://c.speedtest.net/flash/standard-wide-long.swf?v=329375

    2.- Otra consulta donde agrego otra url ejemplo?

    http://o.speedtest.olo.com.pe/speedtest/latency.txt?x=1365781928671

    • keikurono01  On 12 mayo, 2013 at 7:51 pm

      1.- Para ello debes usar esto en el haarp.lst:
      http.{1,7}speedtest(\w|-)*(\.|\w)+\/(speedtest|flash)\/(random.*\.jpg|latency\.txt|.*\.swf)\?.*
      El que viene por defecto sólo guarda el txt (para el ping) y el jpg para la medida de descarga.

      2.- Con el Regex de arriba se soluciona, ahora estoy cambiando el código, para mejorar lo que se tenía, por defecto lo dejare para tomar el txt y el jpg.

      Salu2.

  • Anónimo  On 13 mayo, 2013 at 9:27 am

    hola que tal saludos a todos los de este foro. saben es mi primera vez con el mikrotik, y ya tengo el servidor gracias al manual aqui explicado. pero donde tengo detalles es como direccionar los paquetes al haarpcache. ya se que estan alli las reglas, pero es solo de copiar y pegar o como.. agradezco infinitamente su ayuda… deverdad gracias

    • Samuel Espinoza  On 13 mayo, 2013 at 10:36 am

      Hola si los puedes copiar y pegar previamente antes tienes que tener definido tus interfaces abres la consola de new terminal y ahí copias y pegas.

      • Anónimo  On 13 mayo, 2013 at 11:37 am

        gracias por tu pronta respuesta amigo. sabes hice todo asi como esta copie y pegue pero no me jalo es mas se me habia bloqueado el mikrotik. te agradeceria si tienes algun manual… que explique paso a paso.

        te explico tengo lo siguiente en el mikrotik..

        eth1= de nombre wan: la red que conecta a interner

        eth2= de nombre lan: hospot

        eth3= aqui quiero poner el haarpache

        de antemano gracciias muchas gracias.

        • Samuel Espinoza  On 13 mayo, 2013 at 12:50 pm

          Si se te va a ir la linea si no lo aplicas bien a mi me paso la primera vez que implemente jajajaja ahí en el manual te dice que interface usa y para que tu tienes que relacionarlos y acomodarlos al tuyo por ejemplo tu eth1 es tu wan y ya tienes enmascaramiento no es necesario copiar esa parte sigue con con tu eth3 que es de tu haarpcache ahí vas hacer el enmascaramiento el eth2 es la lan casi igual al tuyo me parece que estas fallando solo en la parte primera en querer dar doble enmascaramiento a tu eth1 no se que tipo de conexión tengas si es por ppoe o por ip fija en tu eth1

          • Anónimo  On 13 mayo, 2013 at 1:04 pm

            gracias por ayudarme. tengo la eth1 la wan por ip fija. que es del modem de telmex. podrias ayudarme sinceramente ya intente y no me sale jajaj. seria genial contar con tu ayuda utilzas skpy?

            • Samuel Espinoza  On 13 mayo, 2013 at 5:08 pm

              si tengo skype ahhh ya puedes hacer ping a tu server o tiene internet tu server? agregame haber que podemos hacer sespinoza@spymac.com

  • Samuel Espinoza  On 13 mayo, 2013 at 1:08 pm

    1.- keikurono01 que Regex el que inicialmente has puesto? para la integración de speedtest?
    2.- Disculpa pero el test de velocidad esta loqueandome jaaaja como hago para cachear este test de telefónica y americatel?

    http://medidor.speedy.com.pe/myspeed/index.php

    http://speedtest.americatelnet.com.pe/

    Son muy distintos ya que uno esta en java y el otro en php

    • keikurono01  On 13 mayo, 2013 at 4:51 pm

      1.- Voy a verlo de cerca. El regex que te dí era para hacer cache del swf que decias.
      2.- El primer link es otro plugin, para hacer cache del segundo habrá que hacer un cambio drastico al plugin del speedtest …

      Dejame verlos…

  • Samuel Espinoza  On 13 mayo, 2013 at 6:07 pm

    alguien sabe donde subir imágenes sin registrarse y lo puedan ver tambien sin registrarse?

  • juan  On 15 mayo, 2013 at 5:00 pm

    Como va este cache? alguien lo esta testeando?

  • Samuel Espinoza  On 15 mayo, 2013 at 5:07 pm

    Yo lo estoy testeando lo tengo en produccion y va todo bien si tienes alguna duda o consulta déjalo aquí ya que es gratuito y tienes el código fuente para que puedas modificarlo

  • Samuel Espinoza  On 17 mayo, 2013 at 2:47 pm

    keikurono alguna novedad con lo de speed test?

  • Sebastian  On 20 mayo, 2013 at 1:03 pm

    hola, como puedo hacer para ponerme en contacto con algunos de ustedes para poder instalar esta aplicacion en mi ISP ?

    • Samuel Espinoza  On 20 mayo, 2013 at 6:22 pm

      Es fácil sigue el tutorial y en la parte que no puedas lo posteas para alguien aqui te ayude aunque el tuto esta fácil y simple

  • Matias  On 20 mayo, 2013 at 3:27 pm

    Hola, antes que nada estoy tremendamente agradecido por lo que haces!… por otro lado, te queria comentar que al instalar con le procedimiento que das, me tira “../install-sh: ../etc/haarp/haarpclean does not exist” el comando -# make install- . Es obvio que haarpclean no se encuentra, de donde deberia sacar el mismo? gracias nuevamente! saludos!

    • keikurono01  On 20 mayo, 2013 at 4:14 pm

      Se agradece el reporte.

      He actualizado las fuentes (sólo cambio en el makefile), por favor intente instalar de nuevo.

  • Anónimo  On 21 mayo, 2013 at 11:27 am

    hola a todos, los que hacen posible esta comunidad. desde hace días he querido instalar poner el mikrotik en paralelo con el haarp cosa que no le logrado. segun yo tengo instalado ya el haarp en una pc. y tengo el rb450g. el rb lo tengo funcionando. ya pero solo dos puerto el eth1 como wan y eth2 como lan. alguien me podria hechar la mano para ponerlo junto al mikro. se agradece de antemano.. saludos y bendiciones a todos.

    • Samuel Espinoza  On 21 mayo, 2013 at 4:01 pm

      Es fácil define bien parte por parte tu red en tu eth3 usa para el haarpcache sigue las reglas de arriba ahh tienes que tener en cuenta el eth3 si lo estas usando como swich o master port o bridge ahi esta el truco lo demás es el código que posteo kei

      • Anónimo  On 22 mayo, 2013 at 8:26 am

        gracias por responder, pero como puedo saber si lo tengo en swich o master ya que es la primera vez que tengo el mikrotik.. perdon si paresco ignorante pero no se como es cuando esta en ese modo.

        • Samuel Espinoza  On 22 mayo, 2013 at 12:37 pm

          Ejecuta este comando tal cual esta en la imagen en la consola de tu MK

  • Samuel Espinoza  On 23 mayo, 2013 at 7:39 pm

    Hola kei ya hice las pruebas en speed test y todo bien en claro y telefónica pero en OLO no corre el test se chupa alguna otro solución?

  • Samuel Espinoza  On 24 mayo, 2013 at 3:57 pm

    Dentro de Speed Test sale 3 servidores uno de movistar otro de claro y otro de olo el cual trabaja cacheando el de movistar y claro pero el de olo no cachea

    http://o.speedtest.olo.com.pe/speedtest/latency.txt?x=1365781928671

    otro es de

    http://www.internautas.org/testvelocidad

    Otra duda no hay forma de que cache sin adicionar mas plugins o si me puedes mandar una muestra del plugin testdevelocidad.es ya que solo subiste el copilado

    • keikurono01  On 25 mayo, 2013 at 8:55 pm

      Aqui me esta funcionando bien, hice HIT de los dos, creo que hay algo en tu haarp.lst, recordar que el haarp por defecto tiene las lineas del speedtest deshabilitados, estas son las lienas que deberías de tener:
      http.{1,7}speedtest(\w|-)*(\.|\w)+\/speedtest\/(random.*\.jpg|latency\.txt)\?.*
      http.{1,10}testdevelocidad.{1,5}\/speedtest\/(random.*\.jpg|latency\.txt)\?.*
      http.{1,7}(\.|[a-z]|[0-9]|-)+(\/\w+)?(\/speedtest)+\/(random[0-9]+x[0-9]+\.jpg|latency\.txt)

      Asegurate de haber reinstalado bien el sistema, y luego reiniciar el servico haarp y squid.

      El código del testdevelocidad es el mismo que del speedtest, sólo que como el del testdevelocidad es otro dominio pues entonces su plugin debe de corresponder con el mismo nombre y por ello ese plugin es un copia del de speedtest (así es como funciona el coje de los plugins).

      Salu2.

  • jaime  On 25 mayo, 2013 at 1:44 am

    Hola, me podrían ayudar a instalar el nuevo visor, ya que cada vez que intento instalar libcgi :
    ./configure –prefix=/usr

    config.status: creating Makefile
    config.status: creating src/config.h
    config.status: src/config.h is unchanged
    Por tanto cuando hago make:
    cc -shared -shared -fPIC,-Wl,-soname,libcgi.so.0 -o src/libcgi.so src/error.sh.o src/cgi.sh.o src/session.sh.o src/base64.sh.o src/md5.sh.o src/string.sh.o src/general.sh.o src/list.sh.o src/cookie.sh.o
    cc: error: unrecognized command line option â-fPIC,-Wl,-soname,libcgi.so.0â
    make: *** [src/libcgi.so] Error 1
    make install
    /usr/bin/install -c -D -m 0644 src/libcgi.a //usr/lib/libcgi.a
    /usr/bin/install: no se puede efectuar `stat’ sobre «src/libcgi.a»: No existe el fichero o el directorio
    make: *** [install] Error 1

    Debido a que no puedo instalar la librería , no me deja instalar el nuevo visor , ya que sale esto al ejecutar en /usr/src / >make
    gcc -Wall -lcgi -lmysqlclient -ldl -c -o report.o report.c
    report.c:24:24: fatal error: libcgi/cgi.h: No existe el fichero o el directorio
    compilation terminated.
    make: *** [report.o] Error 1
    alguna , idea , de antemano gracias .

    • keikurono01  On 25 mayo, 2013 at 8:39 pm

      Te aseguraste en seguir los paso a paso?. debes de estar dentro del directorio /usr/src/libcgi para realizar el make. (y antes haber echo el ./autogen.sh)
      Para rehacer el proceso de instalado, ir a /usr/src, hacer: rm -r libcgi, y recién ahi proceder con la instalación.
      Salu2

      • jaime  On 27 mayo, 2013 at 6:27 pm

        Hola , si efectivamente me encuentro en /usr/src/libcgi# cuando hago el ./autogen.sh y posteriormente el ./configure –prefix=/usr , hasta ahí parece todo bien pero cuando intento lanzar el make me lanza el suiguiente error :”cc -shared -shared -fPIC,-Wl,-soname,libcgi.so.0 -o src/libcgi.so src/error.sh.o src/cgi.sh.o src/session.sh.o src/base64.sh.o src/md5.sh.o src/string.sh.o src/general.sh.o src/list.sh.o src/cookie.sh.occ: error: unrecognized command line option â-fPIC,-Wl,-oname,libcgi.so.0â make: *** [src/libcgi.so] Error 1″ y por tal no se puede instalar , bueno y ni hablar del visor , porque si no se instala el libcgi no deja instalarlo.

      • jaime  On 27 mayo, 2013 at 6:34 pm

        a k el error más detallado cuando hago el make:

        /usr/src/libcgi# make
        cc -Wall -D_REENTRANT -fPIC -c src/error.c -o src/error.sh.o
        cc -Wall -D_REENTRANT -fPIC -c src/cgi.c -o src/cgi.sh.o
        src/cgi.c: In function âcgi_param_filesâ:
        src/cgi.c:247:8: warning: implicit declaration of function âftruncateâ [-Wimplicit-function-declaration]
        src/cgi.c:281:5: warning: implicit declaration of function âtrimâ [-Wimplicit-function-declaration]
        src/cgi.c: In function âcgi_escape_special_charsâ:
        src/cgi.c:633:2: warning: pointer targets in return differ in signedness [-Wpointer-sign]
        cc -Wall -D_REENTRANT -fPIC -c src/session.c -o src/session.sh.o
        cc -Wall -D_REENTRANT -fPIC -c src/base64.c -o src/base64.sh.o
        cc -Wall -D_REENTRANT -fPIC -c src/md5.c -o src/md5.sh.o
        src/md5.c: In function âmd5â:
        src/md5.c:81:2: warning: pointer targets in passing argument 2 of âMD5Updateâ differ in signedness [-Wpointer-sign]
        src/md5.c:48:6: note: expected âconst unsigned char *â but argument is of type âconst char *â
        cc -Wall -D_REENTRANT -fPIC -c src/string.c -o src/string.sh.o
        cc -Wall -D_REENTRANT -fPIC -c src/general.c -o src/general.sh.o
        cc -Wall -D_REENTRANT -fPIC -c src/list.c -o src/list.sh.o
        cc -Wall -D_REENTRANT -fPIC -c src/cookie.c -o src/cookie.sh.o
        cc -shared -shared -fPIC,-Wl,-soname,libcgi.so.0 -o src/libcgi.so src/error.sh.o src/cgi.sh.o src/session.sh.o src/base64.sh.o src/md5.sh.o src/string.sh.o src/general.sh.o src/list.sh.o src/cookie.sh.o
        cc: error: unrecognized command line option â-fPIC,-Wl,-soname,libcgi.so.0â
        make: *** [src/libcgi.so] Error 1

        Ayúdenme a solucionarlo .
        Saludos.

        • keikurono01  On 28 mayo, 2013 at 6:07 pm

          Quizás te falte instalar alguna librería, (cerciorarse la salida del configure, quizás diga que falta instalar algo).

          Si no es así entonces pruebe modificando el Makefile:
          Cambiando la linea: SHAREDOPT = -shared -shared -fPIC,-Wl,-soname,libcgi.so.0

          por: SHAREDOPT = -shared -shared -fPIC

          Luego de eso hacer el make .. etc.

          • jaime  On 28 mayo, 2013 at 8:18 pm

            Hola , gracias compañero keikurono01 por este gran aporte de conocimiento a la comunidad , te comento que al editar el archivo Makefile y sustituir las lineas de SHAREDOPT = -shared -shared -fPIC,-Wl,-soname,libcgi.so.0 por SHAREDOPT = -shared -shared -fPIC, se soluciono el problema de la instalación .
            Ahora ya pude instalar el nuevo visor , solo que con un pequeñísimo detalle el cual solo muestra una imagen gif en mosaico y nada más en el navegador al entrar en http://ip_proxy/cgi-bin/haarp.cgi , no se si se debe a que se omitieron las lineas “-Wl,-soname,libcgi.so.0″ en el Makefile o si hay que copiar el archivo cgi-bin en ” cp -R /usr/lib/cgi-bin /var/www/”. alguna idea .
            Saludos .

            • keikurono01  On 28 mayo, 2013 at 11:17 pm

              Hola, puede intentar instalar desde este otro lugar el libcgi: git://github.com/rafaelsteil/libcgi.git (en vez del github.com/keikurono/libcgi.git) y realizar los pasos siguientes como se indican en el manual para su instalación.

              Si igual tiene problema, sugiero hacerlas llegar a la pagina: https://github.com/rafaelsteil/libcgi (actuales desarrolladores del libcgi) fácil te dan una salida.

  • Samuel Espinoza  On 25 mayo, 2013 at 2:32 pm

    ::SOS:: YOUTUBE ENPEZANDO A FALLAR
    Alguien le ha pasado YOUTUBE carga la primera parte del video de ahí ya no se ve el video pero si el audio sigue pasando algún error en el cacheo?
    * Hice las pruebas con 3 videos distintos y va el mismo error

  • Samuel Espinoza  On 28 mayo, 2013 at 3:05 pm

    ya no se congela el video debió ser un error leve todo esta normal

  • DiegOS  On 31 mayo, 2013 at 6:21 pm

    Hola. una consulta. el haarp funciona sin instalar el bind9?

    • keikurono01  On 31 mayo, 2013 at 6:52 pm

      Sí, si quieres instalate el bind9 aparte (apt-get install bind9) y luago configuras el resolve.conf y los dns_nameservers del squid.

  • DiegOS  On 3 junio, 2013 at 7:12 am

    Hago lo siguiente:
    root@server:~# killall haarp
    root@server:~# /etc/init.d/haarp restart
    Shutting down Haarp …
    Starting Haarp …
    Starting Haarp Version: 1.1
    Could not create server (already running?)
    Exiting..
    root@server:~#

    ¿Que puede estar pasando? Para solucionarlo tengo que reiniciar el servidor.

    • keikurono01  On 3 junio, 2013 at 8:51 am

      Hay un problema con el haarp.pid (por defecto debe de estar en /var/log/haarp/haarp.pid), revisa que lo tengas en aquella ubicación y dale permisos de escritura, puedes configurar la ubicación del pid en el haarp.conf.

      • Vladimir  On 21 octubre, 2013 at 9:02 am

        Buenos Días, me sucede lo mismo, noto que cuando queda funcionando en un par de dias aparece el mismo mensaje
        root@server:~# killall haarp
        root@server:~# /etc/init.d/haarp restart
        Shutting down Haarp …
        Starting Haarp …
        Starting Haarp Version: 1.1
        Could not create server (already running?)
        Exiting..

        lo deje funcionando el día sábado, y hoy lunes no funciona, nuestro servidor esta prendido 24 horas al día por que pasara esto?

  • DiegOS  On 3 junio, 2013 at 7:49 am

    No me funciona Youtube.
    Haciendo tail /var/log/haarp/error.log
    All childs busy, spawning new (now: 518) – SERVERNUMBER might be too low
    03/06/2013 09:56:02 All childs busy, spawning new (now: 520) – SERVERNUMBER might be too low
    03/06/2013 09:56:03 All childs busy, spawning new (now: 522) – SERVERNUMBER might be too low
    03/06/2013 09:56:04 All childs busy, spawning new (now: 524) – SERVERNUMBER might be too low

    • keikurono01  On 3 junio, 2013 at 8:49 am

      Esta usándolo en producción?, el error dice que tienes el SERVERNUMBER muy bajo, cambialo en el haarp.conf

      Salu2.

  • DiegOS  On 3 junio, 2013 at 6:17 pm

    Si. Lo estoy usando en producción. Probe SERVERNUMBER 800 y MAXSERVERS 1000 y funciona de a ratos.
    Utilizo [AMD] K8 [Athlon64/Opteron] con 2M de ram. Serán pocos recursos?

    tail error.log
    03/06/2013 20:25:59 (127.0.0.1) Could not read server header (127.0.0.1/profile.ak.fbcdn.net:80)
    03/06/2013 20:25:59 (127.0.0.1) Could not read server header (127.0.0.1/profile.ak.fbcdn.net:80)
    03/06/2013 20:25:59 (127.0.0.1) – Could not send body to browser
    03/06/2013 20:25:59 Connection Error (-10): Url: sphotos-b.ak.fbcdn.net/hphotos-ak-ash3/s160x160/531820_413216528777243_942202575_n.jpg
    03/06/2013 20:26:00 All childs busy, spawning new (now: 1001) – SERVERNUMBER might be too low

    • keikurono01  On 4 junio, 2013 at 3:21 pm

      Para cuantos usuarios?, creo que ni los 1000 te aguantan, tendrás que estar en 64 bits y con 8 GB de RAM para subir más el SERVERNUMBER.

      Salu2.

  • Samuel Espinoza  On 3 junio, 2013 at 10:38 pm

    Hola keikurono no se que tan cierto sea esto si me puedes sacar de dudas
    solo la versión 3.2 de SQUID permite SMP osea que se puede trabajar con mas de 1 nucleo en mi caso tengo 8 nuecleos me da a entender que el SQUID 3 que tengo instalado solo esta trabajando con un núcleo y los demás están por demás te dejo la web donde encontré si es cierto como lo implemento? según el manual?

    http://octavio.gnu.org.ve/squid-3-2-4-smp-en-debian-squeeze/

    Agradezco tu orientación por favor

    • keikurono01  On 4 junio, 2013 at 3:25 pm

      Parece interesante, pero no sé mucho sobre el SMP, nunca lo use …

      • Samuel Espinoza  On 4 junio, 2013 at 7:47 pm

        Pero es cierto y ahí esta como instalar en debían crees que se pueda hacer por favor si lo puedes testear y si es compatible con Haarp Cache

        • keikurono01  On 5 junio, 2013 at 7:20 pm

          Lo acabo de probar no del todo solo la parte de instalación lo hice sin problemas y según veo no vas a tener ningún problema con el haarp.. al menos de ojo parece que no!

  • Fernando Rivas  On 5 junio, 2013 at 3:50 pm

    Hola amigos, ante todo gracias, quiero consultarles sobre unos errores que me esta dando el haarp y no se bien que hacer, no ha cacheado nada y me muestra errores como estos:

    05/06/2013 16:14:51 (65.54.93.51) Could not read server header (192.168.12.102/au.download.windowsupdate.com:80)
    05/06/2013 16:15:00 (65.54.93.12) Could not read server header (192.168.12.102/au.download.windowsupdate.com:80)
    05/06/2013 16:15:01 (65.54.93.12) Could not read server header (192.168.12.102/au.download.windowsupdate.com:80)
    05/06/2013 16:15:14 (65.54.93.12) Could not read server header (192.168.12.102/au.download.windowsupdate.com:80)
    05/06/2013 16:15:15 Connection Error (-10): Url: r1—sn-j5ou8-02je.c.youtube.com/videoplayback?algorithm=throttle-factor&burst=40&cp=U0hWRVRTVV9JUkNONl9MTVlBOmVSVUNLZ0dmc3gw&cpn=kkxBcdFRdIh7jOP8&expire=1370487048&factor=1.25&fexp=901477%2C900352%2C924605%2C928201%2C901208%2C929123%2C929915%2C929906%2C925714%2C929919%2C929119%2C931202%2C932802%2C928017%2C912512%2C912518%2C911416%2C906906%2C904476%2C904830%2C930807%2C919373%2C906836%2C933701%2C926403%2C912711%2C929606%2C910075&id=cebcc8c5d4a74d60&ip=190.73.135.194&ipbits=8&itag=34&keepalive=yes&key=yt1&ms=au&mt=1370464718&mv=m&newshard=yes&range=3563520-5345279&ratebypass=yes&signature=A48B6D63D6C57F7C3471E31408DEBAC0D98AD79C.573F90955941AE539E8F35E73B4BA8479F7F3007&source=youtube&sparams=algorithm%2Cburst%2Ccp%2Cfactor%2Cid%2Cip%2Cipbits%2Citag%2Csource%2Cupn%2Cexpire&sver=3&upn=pLaKiI_SWLc

    Nuevamente gracias

    • keikurono01  On 5 junio, 2013 at 7:24 pm

      Esos mensajes son normales, ya que por ejemplo el “not read server header” es cuando no se puede conectar al servidor remoto o sea el “problema” es de la misma pagina, y no te extrañe que el mismo youtube pueda darte esos errores, el otro error: el de (-10) es cuando un usuario corto la descarga, o sea cerro el video o dejo de asistir … cosa que tambien es normal.

      Lo otro que no te hace cache, por favor enviar el access.log (cambiando previamente el LOGLEVEL en haarp.conf de 1 a 2) luego llevar el log a pastebin y colocar el link aqui para hacer el respectivo chekeo, aunque me inclino a que es una mala configuración revisar el manual.

      Salu2

      • Fernando Rivas  On 5 junio, 2013 at 9:11 pm

        Acá los archivos:
        access.log : http://pastebin.com/ztkcuCXW
        error.log : http://pastebin.com/tHg8XQ6w
        y mi haarp.conf : http://pastebin.com/9ULjWNW2

        He probado múltiples cosas y he tratado de depurar yo mismo pero no he conseguido hacerlo funcionar.

        • keikurono01  On 6 junio, 2013 at 12:07 am

          Hola fijate en el haarp.conf por defecto:

          https://raw.github.com/keikurono/haarpcache/master/etc/haarp/haarp.conf

          En tu archivo de configuración no tiene el sección de “extenciones”:

          Use tu archivo de configuración y tuve los mismos problemas que tu.

          Cambiar tambien el CACHEDIR /squid3/cache4/haarp por:
          CACHEDIR /squid3/cache4/haarp/ con “/” al final o sino cambiarlo como por defecto: “CACHEDIR/ /haarp/” tambien.

          Sería recomendable trabajar con el haarp.conf por defecto para no tener problemas.

          Salu2.

          • Fernando Rivas  On 6 junio, 2013 at 8:20 am

            Ya está funcionando amigo!, no pensé que hiciera falta dar permisos de escritura al directorio por que el proceso lo corre root, pero hice lo que me dijiste y está funcionando correctamente. Muchísimas gracias!

  • Anónimo  On 6 junio, 2013 at 8:17 am

    Gracias de por este increible aporte, veo que varios ya lo tienen corriendo y quizas algo este haciendo mal pero me sale este error una y otra ves:

    root@debian:/etc/init.d# cd /etc/init.d
    root@debian:/etc/init.d# update-rc.d haarp defaults 98
    update-rc.d: using dependency based boot sequencing
    insserv: warning: script ‘haarpclean’ missing LSB tags and overrides

    Intento con esta solución pero nada:

    http://dajul.com/2011/01/06/solucion-al-error-insserv-warning-script-x-missing-lsb-tags-and-overrides/

    (ese haarpclean no parece ser un archivo editable)

    Te agradeceria mucho si me pudieras ayudar con este problema, GRACIAS

    • Fernando Rivas  On 6 junio, 2013 at 9:33 am

      Amigo no lo he probado, pero creo que debería servir que quites del inicio haarpclean con update-rc.d, luego muevas /etc/init.d/haarpclean a un directorio en PATH, como /usr/bin/ , y una vez alli programas sus ejecuciones usando el crontab. al rato lo probaré de todas formas :)

      • Anónimo  On 7 junio, 2013 at 12:37 pm

        Hola Keikurono, efectivamente aplico esa solución y deja de aparecer el “K01haarp missing” pero me aparece el “haarpclean missing” y no me deja avanzar, he probado instalando el debian en 64 y 32 y el mismo error, agradecería enormemente tu ayuda

        • keikurono01  On 7 junio, 2013 at 5:16 pm

          Es un warning asi que se podría dejar de lado, ese comando lo que hace es arrancar el haarp desde el inicio de sesión, y el haarpclean es simplemente para limpiar el cache, pero eso es lanzado con el crontab (en el manual dice como configurar el horario de lanzamiento del script), por tanto no hay que preocuparse por ese mensaje.

  • system_urrutia  On 8 junio, 2013 at 8:19 am

    Saludos digo esto como sugerencia, agradeciendo a quienes desarrollaron este valioso script para hacer cache inteligente, viendo que ya hay muchos que lo han logrado poner en funcionamiento de forma estable, seria de gran ayuda si pudieran publicar una guía o un video de como hacer la instalación de forma exitosa y deponerlo en funcionamiento de forma básica, que seria lo mas elemental para el arranque de personas que no tenemos muchos conocimientos sobre códigos y comandos

  • Anónimo  On 9 junio, 2013 at 1:56 pm

    Agradesco enormemente por los aportes y todo este trabajo realizado de keikurono01. He seguido paso a paso este tuto y la verdad no consigo llegar al final de la instalacion. Cuando se menciona editar el archivo squid.conf este NO EXISTE y en ninguna parte de la instalacion veo que se instala este. Quisiera saber por favor en que momento o que requisitos(instalados previamente) debe de tener el server para instalar este cache. De antemano muchas y muchas gracias

    • keikurono01  On 9 junio, 2013 at 2:03 pm

      Deje eso como algo obvio pero sólo basta hacer:
      apt-get install squid3

      luego ubicar el conf en /etc/squid3/squid.conf

      Salu2

  • Anónimo  On 9 junio, 2013 at 4:05 pm

    hice todo paso y solo me sale esto:
    ¡Vaya! Google Chrome no ha podido establecer conexión con la página http://www.google.com.

    Esto se anade si es que trabajamos con mk?

    sudo iptables -t nat -A POSTROUTING -o -j SNAT –to \
    sudo iptables -t nat -A PREROUTING -i -p tcp –dport 80 -j REDIRECT –to-port 3128 \
    echo 1 > /proc/sys/net/ipv4/ip_forward

  • Anónimo  On 9 junio, 2013 at 4:25 pm

    me sale este mensaje cuando reinicio el squid(squid -k reconfigure) al final de todo el tuto:

    2013/06/09 11:18:09| aclIpParseIpData: unknown first address in ”
    FATAL: Bungled squid.conf line 769: acl red_local src
    Squid Cache (Version 3.1.6): Terminated abnormally.
    CPU Usage: 0.008 seconds = 0.000 user + 0.008 sys
    Maximum Resident Size: 17232 KB
    Page faults with physical i/o: 0

    ayuda porfa

    • keikurono01  On 9 junio, 2013 at 4:49 pm

      Hay un problema en la linea 769: “acl red_local src” revisar y corregir

      • Anónimo  On 9 junio, 2013 at 6:23 pm

        eso entendi, quizas me he equivocado en algo. En esa linea se coloca la

        acl red_local src
        http_access allow red_local
        Donde “IP_RED_LAN” es por ejemplo “192.168.1.0/24″ (la red de tu LAN?)

        o la IP de la interface donde se conecta el cache? he probado con las 2 y me sale el mismo error

        • keikurono01  On 9 junio, 2013 at 7:43 pm

          Sería algo asi como: “acl red_local src 192.168.0.0/24″ sin signos de menor igual u otro.
          si la ip de tu interface de haarp es 192.0.3.1 entonces colocas 192.0.3.0/24 por ejemplo..

  • Guillermo Nardoni  On 9 junio, 2013 at 8:20 pm

    Apoderte para FBCDN.
    Analizando el access.log de SQUID, noté que había varios archivos que no pasaba por haarp.
    Modifiqué /etc/haarp/haarp.lst para que los incluya y comenzó a cache y devolver hits de esos archivos antes no cacheados por squid y haarp.
    Archivos: /etc/haarp/haarp.lst
    REGLA ORIGINAL: #http.*(profile|s?photos|video).{0,5}\.ak\.fbcdn\.net\/.*(\.mp4\?.*|\_n\.jpg$|\.mp4$|\_n\.png$)
    REGLA MODIFICADA: http.*(profile|s?photos|video).{0,5}\.ak\.fbcdn\.net\/.*(\.mp4\?.*|\_[a-z]\.jpg$|\.mp4$|\_[a-z]\.png$)

    Si alguien quiere probar a ver si funciona para ustedes, estaría bueno.

    • keikurono01  On 9 junio, 2013 at 11:11 pm

      Si vale decir que lo deje en “_n.jpg” por que esos son justamente los archivos más grades, al menos desde que los testie, los otros son las figuras mas pequeñas, solo como aclaración.

      Salu2.

  • mcpana  On 12 junio, 2013 at 1:29 pm

    Excelente Trabajo amigo.. un Saludo desde Venezuela.. Te cuento, tengo 100 Clientes y uso como proxy el mikrotik y obvio quiero cambiar a HaarpCache que ya lo estoy testeando en un equipo que quiero designar para el cacheo y clientes obviamente, mi equipo tiene 2 Gigas de ram – Dual Core 3.6 Ghz y un disco duro pequeño pero creo que puedo servir por ahora de 160gb. te pregunto, ¿Tu crees que correara bien con esas característica? claro nunca esta los 100 clientes simultáneamente conectado, máximo 60 a 80.. Por ahora tengo ese equipo, tu sabes no esta fácil armar un mega equipo. Espero tu óptica, o si cualquier amigo comparte la info, como también su punto de vista :) MIL GRACIAS por tan valioso trabajo.. ;)

    • mcpana  On 12 junio, 2013 at 1:37 pm

      Se me olvidaba, el equipo es un ( Server HP ProLiant ML110 ) pero solo le he colocado esa cantidad de memoria ram.. espero prontico colocare aun mas!!

    • keikurono01  On 12 junio, 2013 at 10:48 pm

      Sería recomendable tener mas de 2 GB para esa cantidad de usuarios, además de más discos duros, con 50 usuarios uno puede llenar el cache a 2 GB por dia facilmente.

      Salu2.

  • Anónimo  On 14 junio, 2013 at 7:14 am

    Buenos Días :) Estoy tratando de instalar y al momento de colocar la siguiente

    ===============================================

    Hacemos que arranque cuando se inicie el sistema:
    cd /etc/init.d
    update-rc.d haarp defaults 98

    ===============================================
    Me muestra esto:

    servidor@test:/usr/src/haarpcache$ cd /etc/init.d
    servidor@test:/etc/init.d$ update-rc.d haarp defaults 98

    —-> update-rc.d: /etc/init.d/haarp: file does not exist
    servidor@test:/etc/init.d$
    :(

    • keikurono01  On 14 junio, 2013 at 9:59 am

      Hubo un error en la instalación entonces(pues no encuentra el haarp en etc.), rehacer el configure, make y make install. Sin errores…

      Salu2-.

  • Samuel Espinoza  On 14 junio, 2013 at 6:52 pm

    una consulta como borro solo lo cacheado de eset nod 32 y reseteo el contador en las estadisticas ya que no me deja actualizar en varios equipos al final corta la actualización y al des habilitar el cache si actualiza?

  • Macuare  On 15 junio, 2013 at 9:20 am

    Buenos Días.. Nuevamente, soy muy nuevo en estas lides del squid y/o linux.. voy realizando todos los pasos he ido aprendiendo muchísimo en cada problema o cada config, pero hay un paso donde estoy confundido y es el siguiente..

    =====================================================
    Comentamos la linea:

    1
    #hierarchy_stoplist cgi-bin ?
    Insertamos estas reglas, para los dns:

    1
    dns_nameservers 8.8.8.8 8.8.4.4
    Luego redireccionamos las peticiones de http al squid y enmascaramos:

    1
    2
    3
    sudo iptables -t nat -A POSTROUTING -o -j SNAT –to \
    sudo iptables -t nat -A PREROUTING -i -p tcp –dport 80 -j REDIRECT –to-port 3128 \
    echo 1 > /proc/sys/net/ipv4/ip_forward

    Donde ETH_WAN es la interface de tu tarjeta de red que da a Internet (ej: eth0, eth1) y IP_IFACE_WAN es la ip de la interface anterior.
    Igualmente ETH_LAN es la interface de la tarjeta LAN.

    Las reglas anteriores deben ser guardadas en un archivo por ejemplo: /etc/init.d/reglas_proxy.sh

    =====================================================

    Y mi pregunta es ( Las reglas anteriores deben ser guardadas en un archivo por ejemplo: /etc/init.d/reglas_proxy.sh ) <—— ¿ A cuales reglas te refieres? Porque iba todo bien o al menos entendía todo perfecto:

    ( hasta aqui )

    Luego antes de la linea:

    http_access deny !Safe_ports
    Insertamos:

    acl red_local src
    http_access allow red_local
    Donde “IP_RED_LAN” es por ejemplo “192.168.1.0/24″ (la red de tu LAN)

    =====================================================

    Recuerda que soy muy nuevo en esto, sin embargo uso linux desde unos meses, pero veo que hay pasos que no entiendo o al menos están en términos que no los nuevos podemos entender.. espero tu prontísima respuesta para continuar los pasos siguientes ;)

    • keikurono01  On 15 junio, 2013 at 9:47 am

      Las reglas son las de iptables. o sea las ultimas reglas, las anteriores corresponden a valores de configuración para el squid, que van en el archivo de configuración squid,conf.

      • Macuare  On 15 junio, 2013 at 10:04 am

        Muchas gracias por tan pronta respuesta, ¿ y cuando te refieres a: “Las reglas anteriores deben ser guardadas en un archivo por ejemplo: /etc/init.d/reglas_proxy.sh ” ?

        • keikurono01  On 15 junio, 2013 at 12:16 pm

          Son justamente los del “sudo iptables…” y el ultimo “echo 1 …” para la configuración del firewall.

          Creo que cambiaré el “las reglas anteriores” por “las tres ultimas reglas”.

          Salu2

          • Macuare  On 15 junio, 2013 at 2:10 pm

            Perfecto…! Es que creo que se tiende a confundir a nosotros los usuarios nuevos :(

            Gran Trabajo ;)

          • Macuare  On 15 junio, 2013 at 8:26 pm

            Buenas Noches, sabes estoy realizando una instalacion nuevamente desde 0, pero esta vez con Debian.. y hasta hora no he tenido ningun problema en los pasos, pero en el siguiente paso aparece un mensaje, lo posteo solo como inquietud ya que me arroja un mensaje y quisiera saber si es normal. Mil Gracias

            =======================================

            root@servidor:/etc/init.d# update-rc.d haarp defaults 98

            update-rc.d: using dependency based boot sequencing
            insserv: warning: script ‘haarp’ missing LSB tags and overrides
            insserv: warning: script ‘haarpclean’ missing LSB tags and overrides

            =======================================
            :)

  • Samuel Espinoza  On 25 junio, 2013 at 8:01 pm

    alguna novedad keikurono ya esta que se enfría el foro

    • keikurono01  On 26 junio, 2013 at 4:42 pm

      Hace poco Oscar nos compartió algunas mejoras del haarpclean.

      Youtube en html5 ha mudado, le daré una chekeada al plugin para html5.

      Saludos.

  • Samuel Espinoza  On 28 junio, 2013 at 7:37 pm

    Hola tengo este problema si pueden ayudar por favor.
    Loading plugin /etc/haarp/plugins/youtube.com.so
    1372466254.000 (2738) Resposta Match 1 Domain youtube File d3946085c20d8c15.flv
    1372466254.000 (2738) Cache limit (98/49) /haarp/
    1372466254.000 (2738) File: /haarp/youtube/8/9_26/d3946085c20d8c15.flv
    1372466254.000 (2738) The file is not on disk
    1372466254.000 (2738) MISS: Domain: youtube File: d3946085c20d8c15.flv
    1372466254.000 (2738) MAXMIN CANCEL: Domain: youtube File: d3946085c20d8c15.flv Size: 1781747
    1372466254.000 (2738) 10.10.0.2 MISS/302 1194 GET http://r20—sn-ab5e6m7r.c.youtube.com/videoplayback? – NONE/- –

    En la parte 1372466254.000 (2738) MAXMIN CANCEL: Domain: youtube File: que significa pues no me esta cacheando youtube dejo el link:

    en su mayoría todo de esta novela.

    • keikurono01  On 28 junio, 2013 at 8:49 pm

      El MaxMin es por dos razones, uno por las configuraciones que tienes sobre las restricciones en el peso de los archivos a cachear, según sus extenciones o dominons (configurados en el haarp.conf) y la otra es que el mismo servidor, en este caso youtube no te está enviando los datos, y por ello como el tamaño del los datos provenientes del servidor son menores a cero, por ello te salta el limite de maxmin.

      Tu caso es por la segunda cuestion….. pues si notas tambien muestra: MISS/302, el 302 es cuando el servidor esta redireccionando las peticiones a otro servidor (y por elllo su contenido es vacio)..

      Igual le doy una chekeada.

      Saludos.

    • keikurono01  On 28 junio, 2013 at 10:44 pm

      Para la siguiente semana, se vendran cambios en el haarp, parece que el youtube ha cambiado en varios aspectos.

  • RazaMetaL  On 29 junio, 2013 at 6:00 pm

    Hola,

    Al instalar el nuevo visor, tratando de compilar libcgi obtengo este error:

    cc: error: unrecognized command line option ‘-fPIC,-Wl,-soname,libcgi.so.0’

    Esto no me deja terminarl la compilacion. ¿cómo podría solucionarlo?

  • Fernando Rivas  On 29 junio, 2013 at 11:11 pm

    Saludos amigo keikurono, noté que el plugin avgate.net no me funcionaba ( uso avira free antivirus) e hice una ligera modificación y al parecer está funcionando bien ahora. Lo que hice fue modificar tanto el /etc/haarp/haarp.lst como la función hgetmatch2 del plugin para que reconocieran el dominio avira-update.com, lo demás lo dejé exactamente igual.

    • Samuel Espinoza  On 2 julio, 2013 at 10:38 pm

      puedes postear las modificaciones que has hecho?

      • Fernando Rivas  On 7 julio, 2013 at 9:14 pm

        Lo he estado revisando y va mal, captura archivos pero las actualizaciones se hacen mal xD, seguiré haciendo pruebas jejeje

  • Samuel Espinoza  On 7 julio, 2013 at 10:54 pm

    Hola estoy tratando de reinstalar y me arrija el eror:
    root@nebo:/usr/src# git clone .https://github.com/keikurono/haarpcache.
    Cloning into haarpcache….
    fatal: I don’t handle protocol ‘.https’
    root@nebo:/usr/src#

    ahun asi lo descargo y lo copio por tftp y al tratar de instalar me sale:
    root@nebo:/usr/src# cd haarpcache
    root@nebo:/usr/src/haarpcache# ./configure
    -bash: ./configure: Permission denied

    que pasara?

    • Anónimo  On 8 julio, 2013 at 12:59 am

      Hola, dejaste un punto delante del https…

      lo otro es por que el configure no tiene permisos de ejecución: prueba chmod +x configure …

      • Samuel Espinoza  On 8 julio, 2013 at 8:17 am

        como no tendria permisos si he ingresado con root? y del punto o me di cuenta solo hice copiar pegar??lo revisares

  • Samuel Espinoza  On 8 julio, 2013 at 2:37 pm

    a alguien le trabaja bien youtube? ya hice la actualización del core y del harp y nada algo habré hecho mal?

    • Fernando Rivas  On 8 julio, 2013 at 3:11 pm

      en mi caso actualicé y el youtube parece estar cacheando solo el primer pedazo de los videos, nada confirmado pero es la impresión que me da.

      • Samuel Espinoza  On 8 julio, 2013 at 4:46 pm

        el mio también cachea la primea parte pero de ahi se tranca ya no reproduce mas

        • Anónimo  On 12 julio, 2013 at 7:25 pm

          Si hay problemas, enviar los links de aquellos videos..

          Saludos

        • keikurono01  On 12 julio, 2013 at 7:28 pm

          Vi que algunos videos se han corrompido, si los videos que estan probando son los que ya se vieron antes de la fecha de la actualizacion del plugin, entonces me temo que traera problemas, si ya antes lo tenia con aquel video …

          Si hay nuevos videos y sucede algun problema enviar los links,

          Para los archivos corruptos sugeriría que se eliminen los videos de yotutube cacheados en un rango de un mes(el ultimo)…

          Saludos.

          • Fernando Rivas  On 13 julio, 2013 at 11:08 pm

            yo borré todo lo que tenía cacheado de youtube ( xD ) y al parecer está funcionando bien, igual les informo cualquier cosa

            • keikurono01  On 5 agosto, 2013 at 10:58 pm

              Cambiar las configuraciones en el haarp.conf, como se dice al inicio del post!.

              Salu2.

  • Anónimo  On 13 julio, 2013 at 7:25 pm

    mm si empiezo desde 0 en debian , no tendre que instalar nada mas antes de comenzar esta guia ? , como squid nada ?

  • Anónimo  On 13 julio, 2013 at 8:06 pm

    otra pregunta es que si solo funciona con una tarjeta de red ? no se mucho de esto :S

    • Fernando Rivas  On 13 julio, 2013 at 10:45 pm

      Hola, necesitarás un squid configurado como proxy transparente, sobre la tarjeta de red yo lo uso con una sola tarjeta de red y me funciona bien. Saludos :)

  • Samuel Espinoza  On 14 julio, 2013 at 11:19 am

    Hola se puede hacer un reinicio automático programado del sistema harap ya que ya te tenido dificultades hasta el momento que no trabaja el haarp y squid, después de reiniciar el server se normaliza mi server esta prendido todo el dia

  • Anónimo  On 15 julio, 2013 at 5:59 am

    Muchas Gracias Kei, voy a compilarlo para trabajarlo en el limeroot modo bridge y luego publicarlo como paquete en limeroot. Un Abrazo hermano y buen trabajo, hace rato que quería usar haarp pero no había podido cambiarme.

  • JUAN BRICEÑO  On 21 julio, 2013 at 1:59 pm

    pana mi nombre es juan y he seguido tus pasos desde que comensate con los post mi pregunta seria es posible fusionar los dos haarpcache ya que uno tiene patrones de refrescado de pagina y el otro guarda sololos videos y fotos

  • Francisco  On 24 julio, 2013 at 12:15 pm

    Bom dia,

    estou tentando posrtar para o freebsd, porem nao reconhece o libmsqlcliente, ha alguma modificação a ser feita no arquivo configure.

    • keikurono01  On 24 julio, 2013 at 1:34 pm

      O amigo: Everson Saivercon conseguiu instalar em freebsd, pode consultar…

      []s.

      • Francisco  On 24 julio, 2013 at 8:17 pm

        obrigado vou consultar o mesmo

        • Francisco  On 24 julio, 2013 at 8:59 pm

          obrigado, problema solucionado Bastou criar um link simbolico apontado para o diretorio /var/lib

  • Guillermo  On 25 julio, 2013 at 10:22 pm

    Anda perfecto con al actualización.- (desde CERO, borrando la cache)

  • Guillermo  On 30 julio, 2013 at 12:59 pm

    Estimados, alguien tiene problemas con el haarp cuando hace rotation de los logs?.
    Resulta ser que cuando logrotate hace su trabajo el proceso deja de funcionar.
    Eso me sucedía hace muuuuuuuuuuucho tiempo con squid luego se solucionó.

  • Guillermo  On 30 julio, 2013 at 1:04 pm

    allí encontré esto en el /var/log/syslog | grep haarp
    Jul 30 14:33:20 cpe-58-1-26-172 kernel: [419811.699402] haarp[26400]: segfault at 8 ip 0806a090 sp bfb17880 error 4 in haarp[8048000+33000]

    Jul 30 15:02:30 cpe-58-1-26-172 haarp: *** glibc detected *** /usr/local/sbin/haarp: munmap_chunk(): invalid pointer: 0xbfb12178 ***

    • Jeimeson  On 30 julio, 2013 at 4:37 pm

      Boa tarde!!
      o que você, teve que fazer para instalar no FreeBSD?
      O que teve que fazer mais?

      Obrigado.

  • Francisco  On 2 agosto, 2013 at 11:04 pm

    boa noite.,

    Estou a dias tentando compilar o haarp cache na plataforma freebsd, porem aparece erros ref. ao mysql embora ja tenha instalado o danado

    abaixo os erros

    connectiontohttp.cpp: In member function ‘virtual int ConnectionToHTTP::AnalyseHeaderLine(std::string&)':
    connectiontohttp.cpp:112: warning: format ‘%lld’ expects type ‘long long int*’, but argument 3 has type ‘int64_t*’
    g++: -lmysqlclient: linker input file unused because linking not done
    g++: -ldl: linker input file unused because linking not done
    g++ -Wall -O2 -lmysqlclient -ldl -DHAVE_CONFIG_H -c -o haarp.o haarp.cpp
    In file included from connectiontohttp2.h:6,
    from proxyhandler.h:6,
    from haarp.cpp:5:
    database_mysql.h:1:25: error: mysql/mysql.h: No such file or directory
    In file included from connectiontohttp2.h:6,
    from proxyhandler.h:6,
    from haarp.cpp:5:
    database_mysql.h:12: error: ‘MYSQL’ does not name a type
    database_mysql.h:13: error: ISO C++ forbids declaration of ‘MYSQL_RES’ with no type
    database_mysql.h:13: error: expected ‘;’ before ‘*’ token
    database_mysql.h:14: error: ‘MYSQL_ROW’ does not name a type
    database_mysql.h:15: error: ISO C++ forbids declaration of ‘MYSQL_FIELD’ with no type
    database_mysql.h:15: error: expected ‘;’ before ‘*’ token
    gmake[1]: *** [haarp.o] Error 1
    gmake[1]: Leaving directory `/usr/src/haarpcache-master/haarp’

    se alguem ja tiver passado por isso e puder ajudar-me eu agradeceria muito

    • keikurono01  On 3 agosto, 2013 at 11:19 am

      Ola, um colega : Everson Oliveira me dijo esto:


      Consegui compilar no FreeBSD, porem tive que fazer alguns arrumadadinhos.

      O Haarp esta procurando as pastas MYSQL e BLKID em /etc/include. Porem no FreeBSD elas ficam em /etc/local/include.

      Crei links simbolicos das pastas MYSQL e BLKID no diretorio /etc/include e consegui compilar.

      Verifiquei no codigo onde corrigir esse problema mas aparentimente esta tudo normal.

      Apesar de conseguir compilar e colocar o Haarp para rodar no FreeBSD sem ocorrer erros no log o mesmo não fez cache. Creio que falte alguma LIB. Estarei fazendo mais testes hoje.

      Assim que você tiver um tempo livre faz alguns testes ai também. Para compilar use o gmake.

      Ate mas

      De repente voce consigue fazer-lo tambem

      []s

      • Francisco  On 3 agosto, 2013 at 1:59 pm

        Cheguei ate esse ponto utilizando o gmake , criando os link simbolicos das pastas acima, agora ficou com 2 erros, ainda estou testando, assim que conseguir posto o resultado de como foi feito

        g++ -Wall -O2 -lmysqlclient -ldl -DHAVE_CONFIG_H -c -o proxyhandler.o proxyhandler.cpp
        g++: -lmysqlclient: linker input file unused because linking not done
        g++: -ldl: linker input file unused because linking not done
        g++ -Wall -O2 -lmysqlclient -ldl -DHAVE_CONFIG_H -c -o utils.o utils.cpp
        utils.cpp:24:25: error: blkid/blkid.h: No such file or directory
        utils.cpp: In function ‘void ordenar(llista**)':
        utils.cpp:353: warning: ‘prev’ may be used uninitialized in this function
        gmake[1]: *** [utils.o] Error 1
        gmake[1]: Leaving directory `/usr/src/haarpcache-master/haarp’
        gmake: *** [all] Error 2

  • keikurono01  On 5 agosto, 2013 at 11:00 pm

    Hola a todos, espero que con los cambios de configuración en el haarp.conf se pueda impedir las corrupciones, aun se sigue probando pero por ahora esta funcionando bien, corroborar (El cambio está en el inicio del post!)

    Saludos!

  • David Zapata  On 6 agosto, 2013 at 9:20 pm

    hola a todos.
    soy totalmente nuevo en linux y me interesa mucho este proyecto, hasta el momento estoy realizando las configuraciones basicas, voy en esta parte:

    Agregamos al final del archivo /etc/squid/squid.conf (o en /etc/squid3/squid.conf, cual tengan):

    # Haarp 1.1
    #=========================================================#
    acl haarp_lst url_regex -i “/etc/haarp/haarp.lst”
    cache deny haarp_lst
    cache_peer parent 8080 0 proxy-only no-digest
    dead_peer_timeout 2 seconds
    cache_peer_access allow haarp_lst
    cache_peer_access deny all

    El problema que tengo es que no tengo muy claro cual es mi direccion del proxy, tal vez sea la ip de la puerta de enlace de la red o la de mi servidor cache, tengo esta duda.

    Muchas gracias anticipadas por la ayuda

  • Grover Fernandez  On 8 agosto, 2013 at 6:17 pm

    Una consulta todo lo que esta cacheado es posible pasar a otro disco duro, pregunto esto por que mi disco que le pues es de 500 Gb y quiero ponerle uno de 2 teras sin perder lo que ya esta cacheado.
    Gracias

    • keikurono01  On 8 agosto, 2013 at 8:16 pm

      Si, aunque puedes hacer que haarp tome los dos discos sin problemas (tienes que encargarte de que el otro u otros discos esten formateados y montados), para adicionar discos ver el manual..

      Si quieres solo operar en uno de 500 GB, entonces mueve todos los archivos de un disco para otro, y tambien todo el contenido de la base de datos mysql de uno al otro….

      Salu2.

      • Grover Fernandez  On 9 agosto, 2013 at 9:04 am

        Gracias, mira que no conozco mucho de linux, pero lo que entiendo es que si instalo de nuevo el ubunto en el de 2 teras luego de reinstalar el squid y el haarp solo copio todo del otro disco especialmente el contenido de mysql y seguro lo del haarp y ya esta?? ha y otra consulta las actualizaciones del flash no cachea, por que? o que tengo que hacer???
        Gracias de nuevo..
        y de verdad muy bueno el cache

        • keikurono01  On 9 agosto, 2013 at 10:11 pm

          Si, solo copia el hd y el contenido del mysql de uno al otro… todo despues de terminar de instalar el haarp en el nuevo hd.

          Si quieres cachear el flash debes de tener un plugin para ello, si tienes uno del thundercache x, entonces puedes llevarlo al del haarp, fijate en el FAQ del manual de como hacerlo, el haarp no trae un plugin para el flash.

          • Grover  On 11 agosto, 2013 at 11:11 pm

            Gracias..por despejarme las dudas muy agradecido con tu aclaracion y nuevamente agradecerte por un excelente programa…

  • Carlos Acevedo  On 14 agosto, 2013 at 5:24 pm

    Hola estuve probando y funciona perfectamente, el único inconveniente que veo es que no me cachea lo de facebook porque ahora sólamente se ingresa por https o sea el puerto 443. Hay alguna forma de “obligar” a facebook a pasar por el puerto 80? o ahora solamente conecta mediante https?.Saludos desde Argentina

    • keikurono01  On 18 agosto, 2013 at 10:11 pm

      Hola, hay formas de poder examinar los https, usando proxys especiales para ello, tendrias que ver si es posible juntarlo con el haarp (proxy padre).

      Hice algunos cambios al haar.lst para coger mas rangos de urls del facebook (imagenes de akamai).

      Salu2

  • Jonas  On 15 agosto, 2013 at 8:01 pm

    os videos do youtube não estão fazendo hit no haarpcache mais dos outros sites estão normalmente qual sera o problema

    • keikurono01  On 18 agosto, 2013 at 10:13 pm

      Si es posible enviar los urls que contienen los videoplayback (ver FAQ).

      Es recomendable modificar el haarp.conf, como se dice en el manual, para no cachear datos de menor tamaño, pues pueden corromper los videos.

      Salu2.

  • Leandro Segovia  On 19 agosto, 2013 at 11:42 am

    Buenos días
    primero que nada para felicitarte sobre el proyecto me parece excelente que todavía haya personas que quieren ayudar a la comunidad

    una consulta
    youtube hizo un cambio que ahora te calcula el ancho de banda antes de entregarte el video por ejemplo si tienes un mega te lo entrega a 360p pero de un momento a otro si tu banda bajo te re calcula y te lo entrega a 240p
    mi pregunta es la siguiente HAARP soluciona este inconveniente?

    o habría alguna forma de forzar al pluggin a que solo lo entregue a 360p

    Saludos y gracias por toda tu ayuda

    Atentamente
    Leandro Segovia

    • keikurono01  On 19 agosto, 2013 at 2:50 pm

      La respuesta corta: Hice la prueba de realizar lo que dices hace un tiempo, y al parecer la solución no es simple, y si lo ves de forma general, solucionar lo que dices no es nada trivial…

      Salu2.

      • Leandro Segovia  On 19 agosto, 2013 at 5:04 pm

        muchísimas gracias por tu respuesta

        el inconveniente que se tendría es que se llegaría a tener el mismo vídeo en todas las resoluciones ya que depende en que resolución te lo entrega youtube

        con tu experiencia que recomendarías hacer para evitar esto ya que no alcanzaría tantos discos para almacenar miles y miles de videos en las 4 resoluciones

        Saludos Cordiales,
        Leandro Segovia

        • keikurono01  On 19 agosto, 2013 at 5:11 pm

          Lo que sería fácil es modificar el plugin para almacenar sólo algunas resoluciones, y el resto ignorarlos.

          O aún más fácil modificar la entrada del haarp.lst.

          • Leandro Segovia  On 19 agosto, 2013 at 5:38 pm

            crees que me puedas dar una mano con la modificación
            perdón el abuso pasa que no se mucho de programación en C

            saludos cordiales,
            Leandro Segovia

            • keikurono01  On 19 agosto, 2013 at 9:35 pm

              No se necesita modificar el plugin, puedes cambiar la linea del youtube “http.*\.youtube\.com.*videoplayback\?” del haarp.lst por este:

              “http.*\.youtube\.com.*videoplayback\?.*(itag=141|itag=136|itag=140).*”

              Los itag definen el formato del video y la resolución, en la linea de arriba he colocado para unos cuantos… la lista completa puedes verla aquí:

              http://users.ohiohills.com/fmacall/YTCRACK.TXT

              Al medio de aquella pagina puedes ver la lista completa de los itag puedes elegir el que te convenga, y luego colocarlos como en la linea de arriba..

              si hay dudas consultar.

  • Leandro Segovia  On 20 agosto, 2013 at 4:46 pm

    Buenas Tardes
    Excelente tu información me ayudo muchísimo, antes que nada muchas gracias por toda tu ayuda

    Ahora una consulta
    me gustaría enviarte un mail personal para trabajar en una cuestión con respecto a HAARP me podrías hacer llegar tu mail personal
    a mi correo
    segovia_leandro@hotmail.com

    muchas gracias por todo
    Saludos Cordiales,
    Leandro Segovia

  • Samuel Espinoza  On 24 agosto, 2013 at 9:38 pm

    Hola Kei mira tengo este error en el log al parecer me esta cancelando o no esta cacheando bien el youtube

    http://pastebin.com/Pm0XCK0U

    si puedes traducirme por favor

    • keikurono01  On 25 agosto, 2013 at 1:26 am

      Todos ellos tienen el “MAXMIN CANCEL”, si hiciste el cambio del FLV_MIN, entonces es justamente eso, estás colocando un limite para hacer el cache de sólo archivos que pesen más que aquella cantidad… (~800K)

      Eso se hizo para no corromper los archivos, ya que esas pequeñas partes vienen muchas en un mismo momento.

  • Leandro Segovia  On 29 agosto, 2013 at 10:31 pm

    Como estas
    una consulta que posibilitad habría de migrar la base de datos Mysql que usa HAARP a una base de datos MongoDB que es mucho mas flexible a la hora que busqueda y entrega de archivos

    Saludos cordiales,
    Leandro Segovia

    • keikurono01  On 29 agosto, 2013 at 11:23 pm

      Básicamente si se puede, pero hay que modifcar ciertas cosas en el core del haarp..

      Estaba pensado hacerlo… no te aseguro que lo haga pronto..

      (En principio sólo reemplazar todas las funciones de Mysql a MongoDB.)

      Salu2.

  • Leandro Segovia  On 31 agosto, 2013 at 9:55 am

    Buenos idas
    Muchas gracias por tu pronta respuesta y tu interés en los usuarios de tu sistema

    una consulta tal vez algún manual o tutorial de como instalar en 64 bits ya que me dio errores en la compilación

    saludos
    leandro

  • Leandro Segovia  On 31 agosto, 2013 at 4:22 pm

    Como estas
    Una consulta
    tengo ya mi squid funcionando en modo tproxy con una sola interface conectada a mi mikrotik y funciona a la perfecciónaparte de tener un squid depurado y con configuraciones para grandes redes.
    Voy a publicarlo en la pagina para que otras personas también puedan utilizarlo
    ahora viene lo siguiente que cambios se necesitaría hacer en HAARP para que funciona con tproxy

    Saludos Cordiales,
    Leandro Segovia

    • keikurono01  On 31 agosto, 2013 at 7:58 pm

      Lamentablemente el haarp no tiene la funcionalidad de TProxy, para ello hay que juntar el haarp con el squid… que es otro proyecto.. a futuro.

    • keikurono01  On 31 agosto, 2013 at 7:59 pm

      Por cierto si hay interesados en juntarlos, ahi tienen el código del haarp :)

  • Leandro Segovia  On 31 agosto, 2013 at 8:34 pm

    Buenas Noches
    Como seria juntar los
    porque yo ya puedo hacer que squid sea tproxy pero como lo juntaría con HAARP
    Habría que cambiar el codigo de HAARP?

    • keikurono01  On 31 agosto, 2013 at 11:29 pm

      Claro, es lo que hace el thunder 7.1, o el speedr o el cache mara.. (Hay indicios que usan el squid junto con el thundercache).

      • Leandro Segovia  On 1 septiembre, 2013 at 10:30 am

        entonces habría que re programar el HAARP para que tenga soporte de tproxy
        y eso significa saber programar en C

  • Samuel Espinoza  On 3 septiembre, 2013 at 1:21 pm

    alguien me puede ayudar cada vez que abro el google.com.pe me sale el siguiente mensaje:
    Acerca de esta página

    Nuestros sistemas han detectado un tráfico inusual en tu red de equipo. Esta página verifica si realmente eres tú el que envía las solicitudes y no un robot. ¿Por qué sucedió esto?

    Dirección IP: xxx.xxx.xxx.xxx
    Hora: 2013-09-03T18:14:04Z
    URL: http://www.google.com.pe/search?output=search&sclient=psy-ab&q=hola&oq=hola&gs_l=hp.3..0l4.1767.2120.0.2314.4.4.0.0.0.0.454.864.4-2.2.0….0…1c.1.26.psy-ab..2.2.814.d4tRmGpsoLs&pbx=1&bav=on.2,or.r_cp.r_qf.&bvm=bv.51495398%2Cd.eWU%2Cpv.xjs.s.en_US.M4-36_38X9A.O&biw=1280&bih=699&ech=1&psi=5yYmUqaCG4L49QTi9IGIDA.1378232063304.3&emsg=NCSR&noj=1&ei=5yYmUqaCG4L49QTi9IGIDA

  • Jonas  On 3 septiembre, 2013 at 6:00 pm

    Acabei de instalar porem o Facebook não estar sendo cacheado e outros site tambem como uol,mediafire, Alguem poderia posta haarp.lst e plugins com essas correções ou mandar por email jonasuniverso32@gmail.com
    Obrigado

  • Adrian  On 3 septiembre, 2013 at 10:04 pm

    Hola por favor si me podes ayudar tengo 2 discos uno de 80 Gb y otro de 40 Gb como seria para que me tome los dos discos gracias
    Disco /dev/sda: 9729 cilindros, 255 cabezas, 63 sectores/pista
    Unidades = cilindros de 8225280 bytes, bloques de 1024 bytes, contando desde 0

    Disp. Inic. Princ. Fin Nºcil Nºbloq. Id Sistema
    /dev/sda1 9651+ 9729- 78- 625664 82 Linux swap / Solaris
    /dev/sda2 * 0+ 9651- 9652- 77523968 83 Linux
    /dev/sda3 0 – 0 0 0 Vacía
    /dev/sda4 0 – 0 0 0 Vacía

    Disco /dev/sdb: 4865 cilindros, 255 cabezas, 63 sectores/pista
    Unidades = cilindros de 8225280 bytes, bloques de 1024 bytes, contando desde 0

    Disp. Inic. Princ. Fin Nºcil Nºbloq. Id Sistema
    /dev/sdb1 0+ 4865- 4866- 39080960 83 Linux
    /dev/sdb2 0 – 0 0 0 Vacía
    /dev/sdb3 0 – 0 0 0 Vacía
    /dev/sdb4 0 – 0 0 0 Vacía

    • keikurono01  On 6 septiembre, 2013 at 7:12 pm

      Tienes que montar tus discos y hacerlo automaticamente .. para ello hay varios manuales…. cuando los tengas montados, pues solo tienes que decir al haarp (en el archivo de configuracion haarp.conf) en la variable “CACHEDIR” los directorios donde se encuentran los discos(montados).

  • Anónimo  On 4 septiembre, 2013 at 8:05 pm

    Hola alguien tiene pluguins actualizados? estoy luchando con los de thunder 3.1 para adaptarlos al harrpcache pero no me funcionan….gracias

  • Adrian  On 4 septiembre, 2013 at 10:20 pm

    Hoa alguien me puede ayudar hacer el puguins para pornhub, Donde pueod sacar un tutorial para hacer plugins? gracias

    • keikurono01  On 9 septiembre, 2013 at 11:34 am

      Puedes buscar manuales de como hacer plugins en thundercache, en el haarp es igual sólo con algunos cambios lee el FAQ.

  • Vladimir  On 7 septiembre, 2013 at 1:34 pm

    Genial me funciona correctamente, gran aporte, tengo una pregunta, como haría para agregar una pagina que yo deseé que haga cache?

    • keikurono01  On 9 septiembre, 2013 at 11:33 am

      Por ahora es crearte tu mismo el plugin, y si quieres puedes compartirlo.

      ve el codigo de otros plugins echos para el haarp:

      https://github.com/keikurono/haarpcache/tree/master/haarp/plugins

      • Vladimir  On 14 septiembre, 2013 at 9:48 am

        Buenas, ya encontre como hacer mis propios plugins, pero no se que paso que estare haciendo mal que miro en la pagina dice H-cache: MISS from localhost, en las que trae por defecto si dice Haar, aunque en el haarp si me aparece ejemplo

        DOMINIO ARCHIVOS TAMAÑO ECONOMIA HITS EFICIENCIA %
        ford_com_co 8 73.5 KiB 288.5 KiB 26 392.69 %

        no entiendo que pasara ahí, también tengo instalado el nuevo reporteador y me aparece una X donde dice active, que estare haciendo mal? modifico un cpp ya creado, lo compilo, lo copio en /etc/haarp/plugin y tambien en /usr/src/haarpcache/haarp/plugin y agrego en el /etc/haarp/haarp.lst, mi nueva pagina, espero me puedan ayudar :S

        • keikurono01  On 14 septiembre, 2013 at 3:52 pm

          Para que el plugin salga como activo tienes que colocarle un nombre de dominio (en tu caso: ford_com_co) que aparezca tambien en su linea correspondiente en haarp.lst.

          • Vladimir  On 16 septiembre, 2013 at 7:45 am

            claro en el haarp.lst yo lo agrege siguiendo el ejemplo de esta forma
            http.*\.ford\.com\.co.*(\.jpg|\.png|\.gif)
            y este es el plugin
            #include
            #include
            #include
            #include “../utils.cpp”
            // use this line to compile
            // g++ -I. -fPIC -shared -g -o ford.com.co.so ford.com.co.cpp

            string get_filename(string url) {
            vector resultado;
            if (url.find(“?”) != string::npos) {
            stringexplode(url, “?”, &resultado);
            stringexplode(resultado.at(resultado.size()-2), “/”, &resultado);
            return resultado.at(resultado.size()-1);
            } else {
            stringexplode(url, “/”, &resultado);
            return resultado.at(resultado.size()-1);
            }
            }
            extern “C” resposta hgetmatch2(const string url) {
            resposta r;
            r.range_min = 0;
            r.range_max = 0;
            if ( (url.find(“.png”) != string::npos) or (url.find(“.jpg”) != string::npos) or (url.find(“.gif”) != string::npos)
            ) {
            r.file = get_filename(url);
            if (!r.file.empty()) {
            r.match = true;
            r.domain = “ford_com_co”;
            } else {
            r.match = false;
            }
            } else {
            r.match = false;
            }

            return r;
            }

            • keikurono01  On 16 septiembre, 2013 at 9:37 am

              El nombre de tu dominio según tu plugin es “ford_com_co” y en la linea del haarp.lst dice: “http.*\.ford\.com\.co.*(\.jpg|\.png|\.gif)”, pero en esa linea no está incluida las palabras “ford_com_co” de forma explicita, por ello cambia el nombre de dominio a sólo “ford”. ya que esas palabras las puede ubicar en la linea del respectivo haarp.lst y así decirte que esta está activa o no (si no me dejo entender sólo comentar..)

              Saludos.

  • Francisco  On 8 septiembre, 2013 at 10:52 am

    Alguem ja obteve sucesso na compilação para freebsd, tentei fazer aqui, quando compila nao faz cache, e as vezes reclama do arquivo libmysqlclient, mesmo ja estando instalado o mysql corretamente.

  • Vladimir  On 12 septiembre, 2013 at 3:39 pm

    hice la prueba en un servidor virtual y me funciono, ahora lo instale en el servidor fisico y me aparece
    root@firewall:/etc/init.d# /etc/init.d/haarp restart
    Shutting down Haarp …
    Starting Haarp …
    Starting Haarp Version: 1.1
    Could not create server (already running?)
    Exiting..

    trato de ver los log, pero veo que no me aparece nada en la carpeta /var/log/haarp esta en blanco, ya he intentado reinstalar varias veces pero no funciona, que podra estar pasando?

  • Vladimir  On 13 septiembre, 2013 at 4:36 pm

    Ahora me ha surgido una pregunta, como crear mi propio plugin, se que solo debe hacerse unas cuantas modificaciones y listo, así lo hice, compile el cpp lo guarde en su respectiva carpetas reinicie el haarp pero no me hace cache a la pagina, alguien tendría algún dato de como ayudarme, Gracias.

    • keikurono01  On 14 septiembre, 2013 at 3:53 pm

      Puedes probar los plugins con el archivo haarpcache/haarp/plugins/teste.c

      en el archivo C, puedes ver como se compila y usa..

      • Vladimir  On 18 octubre, 2013 at 12:22 pm

        Gracias por responder todas mis preguntas, no he podido implementar aun el haarpcache pero ya casi, tengo una nueva consulta al crear el plugin cual seria la forma mas adecuada de colocar el cpp

        if ( ( (url.find(“jannamotors.com/”) != string::npos) or (url.find(“.jpg/”) != string::npos) or (url.find(“.png/”) != string::npos) or (url.find(“.gif/”) != string::npos) or (url.find(“.pdf/”) != string::npos) )) {

        o

        if ((url.find(“.jpg/”) != string::npos) or (url.find(“.png/”) != string::npos) or (url.find(“.gif/”) != string::npos) or (url.find(“.pdf/”) != string::npos) )) {

        es decir no sé si colocar la pagina dentro del if o quitarla, Gracias.

        • Vladimir  On 19 octubre, 2013 at 9:48 am

          Antes me funcionaba con el youtube ahora no :S sera algún cambio que hicieron, me lo reconoce pero no economiza
          youtube 6 17.1 KiB 0 bytes 0 0 %
          ytimg 9 383.1 KiB 0 bytes 0 0 %

  • Jonas  On 14 septiembre, 2013 at 4:31 pm

    El facebook no es el cacheado el HAARP que sea un error
    Los otros sitios son generalmente caching me podría ayudar?

    • Jonas  On 14 septiembre, 2013 at 4:32 pm

      O facebook não esta fazendo cache no Haarp o que sera que estar errado
      Os outros sites estão fazendo cache normalmente poderia me ajudar ?

      • keikurono01  On 14 septiembre, 2013 at 4:54 pm

        É possivel, por que o facebook recentemente está ligado com o protocolo https (o seija nao se pode fazer cache por que nao passa por o proxy squid).

  • Diegote  On 26 septiembre, 2013 at 8:16 pm

    Hola.
    Primero, comentar el el proyecto es buenísimo, tiene que continuar. Felicitaciones.
    Y quería comentar un pequeño error que estoy teniendo yo, en la base de datos, algúnos videos de youtube se informan con Size negativo, lo cual hace también que el informé web sea erroneo (por que informa miles de terabytes).

    Saludos!

  • Ariel  On 1 octubre, 2013 at 10:23 am

    Hola,,
    Lo han probado en un entorno de 300 Usuarios ??
    Como responde? que hardware necesito para ese entorno?

    Gracias

    • keikurono01  On 7 octubre, 2013 at 9:14 am

      Yo lo hé probado con ~30-40 usuarios a la vez.. con hardware de 64bits y unos 2 gigas de RAM anda sin problemas.

  • Samuel Espinoza  On 7 octubre, 2013 at 9:06 am

    hola si me pueden iluminar como actualizo el youtube tengo inconvenientes

  • eRmacuare  On 12 octubre, 2013 at 7:55 pm

    Saludos.. he tenido experiencias un tanto desconsoladoras, comencé a instalar el haarpcache.. todo bien pero en algo me tranqué ya ni recuerdo, luego instale el thunder 3 todo chevere pero nunca navegué, colocaba las lineas tal cual decian y nada..! Ahora regreso aqui porque veo que hay mas ayuda y apoyo definitivamente. Queria preguntar el servidor que tengo destinado es necesario que tenga 2 tarjetas de red ¿? Obviamente una es la local, pero la otra seria la wan, pero como hago si mi ip es dinamico? y uso como servidor de usuario mikrotik..! Quiero comenzar desde ya con el haarp MIL GRACIAS

    • keikurono01  On 12 octubre, 2013 at 10:06 pm

      Si usas una tarjeta de red entonces la usaras con mikrotik.. mira los FAQ que están debajo del manual.

      Si lo usas sin mikrotik entonces usaras dos interfaces… el manual te explica como hacerlo para instalarlo en un server con 2 interfaces, pero luego si quieres puedes usarlo al lado de un mikrotik, entonces lees la parte del FAQ y te dice que tienes que cambiar para hacerlo ..

      Comentas!

  • Anónimo  On 24 octubre, 2013 at 12:01 am

    keikurono01 porq no lo hace como un .sh seria mas facil para todos porq cuando uno es novato no sabe por donde comenzar digo gracias un comprender

  • Anónimo  On 4 noviembre, 2013 at 8:33 pm

    alguien q me ayude con la instalaicon del haarp

    • keikurono01  On 12 noviembre, 2013 at 10:43 pm

      Se necesita sólo un poco de linux basico…….. cualquier duda puedes encontrar respuestas por la web si no preguntar aqui.

      Lo del sh … lo voy a ver.. no prometo nada.
      Salu2.

  • JKJ  On 9 noviembre, 2013 at 1:52 am

    buenas noches… no se si he hecho algo mal con el haarpviewer propuesto pero en las ultimas lineas donde dice
    echo “ACCESSWEBLOG /var/log/haarp/webaccess.log” >> /etc/haarp/haarp.conf
    me marca el error -bash: /etc/haarp/haarp.conf: Permiso denegado
    lo que hice fue poner primero chmod 777 /etc/haarp/haarp.conf
    y posteriormente la linea del echo ACCESSWEBLOG…… Alguien puede decirme si hice bien?? PD. luego del chmod ya no se presento el error de acceso denegado

  • Samuel Espinoza  On 12 noviembre, 2013 at 10:06 pm

    hola tengo un problemita no se si es necesario restablecer el cache borrar limpiar etc o hay una forma de que este bien.
    no puedo cargar google.com pero si gmail y si carga el buscador busca por ejemplo perufw aparece los link pero de ahi sale no ha sido posible establecer conexion alguna falla con el cache es necesario reinstalar o que hago?

    • keikurono01  On 12 noviembre, 2013 at 10:41 pm

      Reviza que en tu haarp.lst no este más que dos lineas descomentadas que contengan la palabra “google”, en ellas el “googlevideo” e el de “doubleclick”.

      Si esta todo bien, intenta pausear el server del haarp o quitar momentaneamente los cache_per del squid que apuntan al haarp y probar si está funcionando todo ok (asi descartas si es el haarp)…….

      salu2

  • Guillermo  On 12 noviembre, 2013 at 10:11 pm

    Estimado:
    Cuando en el log dice: MAXMIN CANCEL: Domain: youtube File: 08cacd54a97fd916-140.flv Size: 241664? a que se refiere?

  • Samuel Espinoza  On 14 noviembre, 2013 at 7:11 pm

    Hola denuevo recurro a ustedes ya hice y si el cache al parecer esta corrupto ya reinstale y nada.
    1.- Como borro el cache en su totalidad
    2.- Donde veo el espacio del disco duro?
    3.- como restructuro el cache para que vuelva a almacenar?

    Agradesco su pronta respuesta

  • Felipe Chire  On 15 noviembre, 2013 at 12:39 pm

    Saludos,
    Como haria si mi esquema de red es el siguiente:
    LATOP con mikrotik (x86)
    eth1=salida internet cliente DHCP
    eth2=LAN con ip 192.168.0.1 servidor DHCP con Rango 192.168.0.100 – 192.168.0.150
    eth2=servidor squid con haarpcache IP=192.168.0.10

    Como veras, el sevidor proxy con haarpcache esta conectado a la misma LAN eth2, ya que no tengo mas interfaces, solo 2, la que esta integrada a Latop y una adicional por el unico puerto PCMCIA disponible.

  • Felipe Chire  On 15 noviembre, 2013 at 5:40 pm

    me faltó indicarte que la eth2 va a un switch y de el esta conectado el haarpcache y los clientes.

    Como haria en ese caso para configurar mikrotik con el haarpcache?

  • Roger  On 16 noviembre, 2013 at 5:24 pm

    Buenas noches mi consulta es , que mi haarp dejo de funcionar ya no esta guardando ningun video y tampoco reproduce lo que ya esta en el cache ?? cual sera el problema??o sera que sucedio esto por que la capacidad del disco esta al 87% que es lo que indica el visor de estadisticas ademas que ya no se mueve ningun valor no hay hits, tampoco almacena ya nada.. agradecere tu ayuda ..
    muchas gracias..

    • keikurono01  On 21 noviembre, 2013 at 2:26 pm

      Corrobora que el haarp esté funcionando .. primero verifica el estado del squid, mira sus logs si cuando navegas estos log registran quiere decir que si esta pasando por el proxy… luego reviza las configuraciones del squid y asegurate que tienes las reglas del haarp pegadas ahi…. si los tienes fijate en los logs del haarp si muestran algo.. otra cosa si el disco se llena.. el haarp no almacena pero si debe de hacer hits con el resto..
      salu2

  • Anónimo  On 18 noviembre, 2013 at 2:34 pm

    Meu Mikrotik parou de redirecionar para o haarp do nada o que pode ser

    • Samuel Espinoza  On 18 noviembre, 2013 at 4:21 pm

      sigue el tutorial y si lo direccionamiento yo lo probé o sino te paso un backup para q lo veas es cosa de q definas bien tu interface wan y lan y el nateo

    • keikurono01  On 21 noviembre, 2013 at 2:48 pm

      Desde o haarp voçe pode fazer ping para o internet?? ….
      faz ping ao 8.8.8.8 e a uma pagina ‘x’ como http://www.google.com... olhe os dns de seu server haarp (/etc/resolv.conf) ..

      retire momentaneamente o haarp do arquivo de configuraçao do squid.conf.. e teste!..

      • Jonas  On 27 noviembre, 2013 at 4:25 pm

        Quando ativo as regras de redirecionamento do mikrotik para Haarp so abre algumas paginas como you tube e essa http://www.downloadcdz.com.br/ e tambem pagina de relatorio o resto não abre nada e da ping normalmente para 8.8.8.8 porem não abre google.com

  • Samuel Espinoza  On 18 noviembre, 2013 at 7:19 pm

    Descartado… definitivamente el cache del haarp esta fallando no me carga la web de google y blablabla desactivo el cache desde mikrotik y todo normal alguien me ayuda a reestructurar mi cache? o tengo que formatear desde cero S.O.S.

    • keikurono01  On 21 noviembre, 2013 at 2:34 pm

      Fijate si el squid esta funcionando.. mira sus logs.. si es posible desactiva el haarp desde ahi y ve si aun puedes navegar con normalidad.. si es así .. entonces el problema puede ser el haarp.. disco lleno??…
      si es por eso .. puedes intentar eliminar una carpeta con ciertos videos guardados .. (/haarp/youtube/0/0_ab) y ver si despues de eso el haarp se “desatora”…
      Revisa la RAM de tu sistema..

  • Crower Castles  On 19 noviembre, 2013 at 2:15 am

    que tal buenas noches estoy tratando de instalarlo en clearOS pero ando perdido con los comandos pues quiero copiar los códigos como están aquí ejemplo: apt-get update y me aparece Please use yum instead!.. no se si puedas ayudarme en como instalarlo y correrlo en ClearOS pues no se mucho de linux.. y me pierdo mucho con los comandos.. muchas gracias..

    • Marcos Medina  On 21 noviembre, 2013 at 6:52 am

      hola, tambien estoy tratando de instalarlo en clearos 6.4 comunityx86, pero no puedo tengo otros errores, no soy muy entendido tampoco pero encuanto a tu problema, es que el comando apt-get no existe en clearOs, tenes que usar el comando “yum” osea que en lugar de apt-get install, seria yum intall

      • keikurono01  On 21 noviembre, 2013 at 2:37 pm

        Si es posible hacerlo andar en ClearOS, claro no es lo mismo solo deben de cambiar algunos comandos como el del yum x apt-get ….

  • Samuel Espinoza  On 19 noviembre, 2013 at 3:41 pm

    Trato de ejecutar el HaarpClean y me arroja el error:
    root@nebo:~# cd /etc/haarp/
    root@nebo:/etc/haarp# ./haarpClear.o -w 15 -n 0
    ./haarpClear.o: error while loading shared libraries: libmysqlclient.so.16: cann ot open shared object file: No such file or directory

    La librería q solicita ya esta instalada q hago?

  • Facundo  On 20 noviembre, 2013 at 3:52 pm

    Hola, muy buen aporte, desde ya gracias. Les comento mi panorama, tengo una notebook viejita que quiero ocupar para cache, desde ya aclaro que en la red hay unas 5 pc`s. Esa notebook que quiero hacerla cache tiene un solo puerto ethernet y esta dentro de la lan, o sea en la misma red que los pc`s. De router de borde tengo un mikrotik al cual ya no le quedan bocas libres. Se puede usar con esa topologia? o el proxy tiene que tener 2 interfaces y estar en una red distinta?

    Gracias

    • keikurono01  On 21 noviembre, 2013 at 3:15 pm

      Ver el FAQ, sí es posible!.

      • Facundo  On 21 noviembre, 2013 at 6:51 pm

        Gracias! ya lo tengo corriendo perfecto.. Para cache estatico, como puedo hacer?

        • keikurono01  On 21 noviembre, 2013 at 8:50 pm

          Utiliza el squid que esta delante de tu haarp … debes de copiar nuevamente las lineas de mark connect y mark packets para el cache estatico..

          • Facundo  On 21 noviembre, 2013 at 9:59 pm

            Lo pruebo y comento. Mil gracias!

  • Marcos Medina  On 21 noviembre, 2013 at 12:10 pm

    hola, e estado intentando instalarlo en ClearOS, tambien en fedora, pero soy novato y los errores me superan, existe alguna forma de que lo puedas ver? tal vez hagas algun tuto tambien para los que no usamos debia/ubuntu, desde ya muchas gracias

  • Facundo  On 21 noviembre, 2013 at 6:50 pm

    Para cache estatico, como puedo hacer?

  • Adrian  On 21 noviembre, 2013 at 11:00 pm

    Hola como hago para aplicar este cambio? Yo ya lo tengo corriendo sin esta modificacion
    Cambio en el ‘Content-Type’ para los videos del Youtube (de videos/x-flv a application/octet-stream) esto genera compatibilidad en audio y vídeo. gracias

  • Anónimo  On 22 noviembre, 2013 at 9:09 pm

    Gracias por este gran aporte querido amigo saludos desde venezuela, estaba tratando de implementar el mismo en debian wheezy y al finalizar la instalacion e intentar levantar el servicio de squid me da el siguiente error
    “2013/11/22 20:06:35| aclParseAclLine: Invalid ACL type ‘src”‘
    FATAL: Bungled squid.conf line 823: acl red_local src” <192.168.1.0/24>”
    Squid Cache (Version 3.1.20): Terminated abnormally.
    CPU Usage: 0.004 seconds = 0.000 user + 0.004 sys
    Maximum Resident Size: 15184 KB
    Page faults with physical i/o: 0
    failed!”
    me gustaria me echaran una mano en ver cual sera el problema. Agradecido de antemano de su pronta respuesta

    • redsoporte  On 22 noviembre, 2013 at 9:21 pm

      Por cierto mi nombre es alfredo

    • keikurono01  On 25 noviembre, 2013 at 7:13 am

      estas colocando las ips con entre signos de menor y mayor… sólo es un delimitador para dar claridad pero en las config. no se colocan el mismo error lo dice..

      Salu2.

      • redsoporte  On 25 noviembre, 2013 at 4:27 pm

        Agradecido de tu pronta respuesta pude hacer andar el squid y haarp el mismo debe pasar por pfsense como firewall lo he configurado en las reglas pero al parecer no esta llegando a comunicarse con los pc en lan ya que el navegador me indica que el proxy rechaza las conexiones. Ahora tenia una duda en la realizacion del nat que indicas en iptables en especifico en este paso “echo 1 > /proc/sys/net/ipv4/ip_forward” en esos simbolos que colocaste lleva la ip y puerto final con que trabajaria el squid??? disculpa mi ignorancia en el tema pero de verdad no he trabajado muy a fondo con iptables

        • keikurono01  On 26 noviembre, 2013 at 7:55 am

          No, solo activa el enrutamiento .. o re envio de paquetes de una interface a otra…

          http://www.iesromerovargas.net/recursos/elec/linux/enrutamiento/Activar_enrutamiento_en_Linux.html

          • redsoporte  On 26 noviembre, 2013 at 12:22 pm

            Nuevamente agradecido!!! Voy a probar configurar nuevamente y ver si funciona. A
            ncede ip publicas dinamicas y veo que las configuraciones trabajan con el ip directamente no se que me podrias recomendar segun tu experiencia

          • redsoporte  On 29 noviembre, 2013 at 11:31 am

            Saludos mi estimado amigo, le indico que al final pude hacer la instalacion y squid esta funcionando pero noto que no hace cacheo al menos de youtube siempre envia “Miss” si pudieras echarme una mano con eso te agradeceria y en segundo lugar no fue posible poder instalar el reporteador ni accedo al que trae por defecto. De antemano muchas gracias por tu pronra respuesta y apoyo en esto

            • keikurono01  On 30 noviembre, 2013 at 8:03 am

              Los archivos menos de 800K no cachean, esta echo así.
              si no esta cachenado los de mayor peso entonces revizar.

  • Samuel Espinoza  On 25 noviembre, 2013 at 9:38 am

    Hola Respecto a mi cache del Haarp que no me estaba cacheando pues era por algo obvio que no revise la FECHA Y HORA DES ACTUALIZADA DEL BIOS por eso no cacheaba; ahora esta bien, después de investigar y ver los log.

  • Samuel Espinoza  On 25 noviembre, 2013 at 11:38 am

    AQUI les dejo el plugin de Sunat.gob.pe modificado para el Haarp

    http://pastebin.com/1PvrtZ35

  • Samuel Espinoza  On 25 noviembre, 2013 at 12:29 pm

    Algún comando para eliminar todo el cache de golpe ya no aguanto se daño por las fechas supongo alguna comando por favor????

    • keikurono01  On 25 noviembre, 2013 at 12:35 pm

      Elimina el directorio youtube…. o el que quieras .. rm -r /haarp/youtube/

      • Samuel Espinoza  On 26 noviembre, 2013 at 12:54 pm

        ya elimine todo mi cache y ahora esta cacheando denuevo todo; a que se debe no esta trabajando mi limpiador o que?

  • grover  On 26 noviembre, 2013 at 12:23 am

    Buen dia mi consulta la siguiente hay alguna manera de que en el firefox y en el chrome cargue rapido el video, por que pareciera que mi haarp solo funciona con el explorer ya que ahi lo carga el video en su totalidad al momento, tal vez algo que configurar en el firefox y el crhome?? por que la red que tengo es gigalan es decir todos los equipos trabajan en base 1000. bueno espero tu respuesta y nuevamente muchas gracias por este aporte que me ayuda arto en mi cafe ya que el servicio del ISP es muy deficiente…

    • keikurono01  On 26 noviembre, 2013 at 8:00 am

      En general con los navegadores no tienen que haver problemas, fijate si sin el haarp el squid funciona con normalidad…
      desactiva los html5 en los navegadores.

  • Facundo  On 27 noviembre, 2013 at 6:57 am

    Hola, disculpen la molestia pero levante haar + squid en debian y cuando direcciono al puerto 3128 las paginas cargan muy lento, si apunto al 8080 el cache funciona perfecto, pero no puedo cachear contenido estatico. Como podria solucionar lo del squid?

    Gracias.

  • Anónimo  On 29 noviembre, 2013 at 10:56 pm

    Buenas un saludo, al realizar este paso “mysql -u root -p < haarp.sql” me sale esto
    [5] 3435
    lt: command not found

    [5]+ Stopped mysql -u root -p
    haarp.sql: command not found

  • Grover  On 29 noviembre, 2013 at 11:00 pm

    Buen dia al instalar el haarp y apliacar el paso “mysql -u root -p < haarp.sql”
    me sale este error, que puedo estar haciendo mal??
    [5] 3435
    lt: command not found

    [5]+ Stopped mysql -u root -p
    haarp.sql: command not found

  • Grover  On 18 diciembre, 2013 at 8:31 am

    Buen dia la siguiente consulta por que al cargar un video de youtube avanza la barrade carga y luego se vuelve adescargar o retroceder ya sea con el firefos o el explorer , pero en el reporte esta cacheando y hay hits, alguna luz al respecto. muchas gracias y mil felicidades por estas fiestas de fin de año

    • keikurono01  On 18 diciembre, 2013 at 10:06 am

      Hola, lo tienes probando con el haarp 1.2?…

      Dame esos videos (links) para darle una chekeada.

      Salu2

      • Grover  On 18 diciembre, 2013 at 11:20 pm

        Hola estos son los enlaces

        Estos videos mas antes con el otro server que tenia funcionaban bien pero ahora no y me dices arriba que hay haarp version 1.2??? por que lo estoy probando con el 1.1 como te dije cambiamos de server y tambien cambiamos el swith por un gigalan para tener un mejor acceso al cache pero hasta ahora no se me estan dando las cosas asi, como siempre muchas gracias por tu valiosa ayuda y un saludo desde Bolivia…

        • keikurono01  On 19 diciembre, 2013 at 8:51 am

          Espero no se haya corrompido el video…
          Cheka la version 1.2. (link en el post).

          Lo probé con la ver 1.2 y dio resultado (y).

          El player del youtube es en sí inestable, comúnmente lo pruebo con navegadores en linux, y la verdad que cuando se está avanzando o retrocediendo el video (sin usar ningún cache) hace que se desligue el audio o la imagen de este, tener presente eso.

    • keikurono01  On 19 diciembre, 2013 at 5:07 pm

      Las redescargar puede deberse a que se está cambiando las resoluciones del video (dependiendo de tu ancho de banda) entonces se re descarga para tomar imagenes de mayor calidad……

      • GROVER  On 19 diciembre, 2013 at 10:13 pm

        Gracias por responder lo pruebo de nuevo con otra server la version 1.2 y lo comento aqui como me fue..

  • Anónimo  On 23 diciembre, 2013 at 5:02 pm

    Hola, no me funciona el direccionamiento con mikrotik. si uso essa regla en el mangle me da error, o sea no me deja crearla directamente, si con prerouting. pero sigue sin funcionar.

  • Facundo  On 23 diciembre, 2013 at 7:17 pm

    Hola, al intentar instalar el nuevo visor de Haarp me da un error al compilar. libcgi..

    root@haarp:/usr/src/libcgi# make
    cc -shared -shared -fPIC,-Wl,-soname,libcgi.so.0 -o src/libcgi.so src/error.sh.o src/cgi.sh.o src/session.sh.o src/base64.sh.o src/md5.sh.o src/string.sh.o src/general.sh.o src/list.sh.o src/cookie.sh.o
    cc: error: unrecognized command line option ‘-fPIC,-Wl,-soname,libcgi.so.0′
    make: *** [src/libcgi.so] Error 1

  • Eduardo Mamani  On 16 enero, 2014 at 10:54 pm

    keikurono01 eres lo maximo lei muchos comentarios voy a intentarlo espero tener exito , por cierto el video que subiste para la instalacion no es muy nitida pero se agradece de corazon .

  • Eduardo Mamani  On 22 enero, 2014 at 10:32 pm

    cool me salio excelente aporte :D keikurono01

    • keikurono01  On 23 enero, 2014 at 8:01 am

      Que bueno!, espero que estes usando el Haarp 1.2 …

      Cualquier bug reportar :)

      Salu2.

  • Daniel Abraham  On 27 enero, 2014 at 7:56 pm

    Hola! oye como se usa en proxy transparente
    y como debo integrarlo con el mikro??
    o transparente con solo una ethernet

    • keikurono01  On 27 enero, 2014 at 8:24 pm

      El minimanual está en el FAQ debajo del post… como hacerlo mikrotik etc..
      Salu2

  • Anónimo  On 31 enero, 2014 at 10:43 am

    Hola alguien me puede ayudar , porque al insertar estas lineas:
    iptables -t nat -A POSTROUTING -o -j SNAT –to
    sale el mensaje iptables v1.4.12: unknown option “–to” que debo configurar o cambiar ….uso ubuntu 12.04 grracias

    • keikurono01  On 31 enero, 2014 at 2:42 pm

      “–to” con dos lineas – –

      a continueación debes colocar la direccion ip…

  • Xavier  On 31 enero, 2014 at 10:46 am

    Hola alguien me puede ayudar , porque al insertar estas lineas:
    iptables -t nat -A POSTROUTING -o -j SNAT –to
    sale el mensaje iptables v1.4.12: unknown option “–to” que debo configurar o cambiar ….o cual el comando que sustituye al –to…….uso ubuntu 12.04 grracias

  • Pablo TP  On 13 febrero, 2014 at 11:32 am

    Estoy un poco desconcertado. Hice una instalación de haarp en un servidor ubuntu 64 bits y funcionó todo OK. Luego la hice en otro exactamente igual y funciona, pero no cachea ningún video, solo imágenes (lo cual compruebo en el directorio de objetos cacheados y en la tabla de mysql). Hay algún antecedente de algo similar que pueda descifrar la causa de esto?

    • Yanis Ballestero  On 28 febrero, 2014 at 2:45 am

      lo he estado probando y aparentemente solo pasa con algunos vídeos, esto si no me equivoco se debe a la migración de muchos de los vídeos de youtube a googlevideos… existe un plugin en raptorcache (sali de ese server para usar este) el cual quiero ver si lo adapto en este…

      • marcos medina  On 4 marzo, 2014 at 8:08 am

        en realidad, intente responder a Yanis ballestero :D, quien dijo que salio del raptor cache para usar el haarp

  • Yanis Ballestero  On 28 febrero, 2014 at 2:33 am

    Excelente, muy grande su aporte…. actualmente lo tengo funcionando… sin inconvenientes en la instalación de haarpcache, pero con varios en el visor de reportes… tuve que modificar algunas lineas del repositorio para que se pudiese instalar, cuando logre instalarlo, boom, me da un error (aunque creo que es mi servidor) pero por lo demás bastante excelente… espero poder aportar algo al proyecto… ya sea con código o con dinero… suerte

    • marcos medina  On 4 marzo, 2014 at 6:27 am

      porque te saliste del raptor si se puede saber? este es mejor?

    • keikurono01  On 4 marzo, 2014 at 6:36 am

      Bueno todo apoyo es bueno, si es económico no me opongo..
      Ya que lo tienes funcionando, un script de instalación no vendría mal.

      Salu2.

  • Jorge  On 1 marzo, 2014 at 4:49 pm

    La salida de tail -f /var/log/syslog con frecuencia me muestra este mensaje

    haarp[17590]: segfault at 9f051bc8 ip 00007f72c77e9373 sp 00007fff4f0ffec0 error 4 in libmysqlclient.so.18.0.0[7f72c7798000+2bd000]

    alguien sabe a que se debe?

    Saludos…

    • keikurono01  On 2 marzo, 2014 at 6:47 pm

      En que distro lo probaste?.

      • Jorge  On 3 marzo, 2014 at 11:38 am

        Esa prueba la hice en ubuntu server 12.04 x64, ayer reinstale en debian 7 x64 y cuando hice la instalacion del mysql agregue esto libmysqlclient.so.16 , libmysqlclient.so.16.0.0 en /usr/lib y luego esto libmysqlclient16_5.1.49-3_amd64.deb, eso lo hice ya que estuve leyendo y en el raptorcache se presentaba ese problema y revise el .sh que ellos usan y vi que hacian ese cambio, al parecer cuando instalas el mysql este archivo se actualiza a libmysqlclient.so.18.0.0 y este archivo da problemas.

        • keikurono01  On 3 marzo, 2014 at 12:03 pm

          yo lo tengo tambien en un 12.04 x64 …
          El raptor viene compilado, por ello tienes que tener los mismos libs con las que lo hicieron compilar para que funcione…

          Lo de la actualización, me parece que sí, creo que lo solucioné con sólo re instalar el haarp.

          • Jorge  On 3 marzo, 2014 at 12:31 pm

            Ok perfecto gracias por el dato, entonces con solo reinstalar el Haarp deberia este compilarse sin problemas con las lib que use el mysql; hare las pruebas respectivas y te comento, mira esta advertencia del cache.log de squid3 (WARNING: unparseable HTTP header field {:: }) por aqui dice algo pero no me queda claro si el mensaje lo genera un cliente o algo del servidor…

          • Jorge  On 3 marzo, 2014 at 6:12 pm

            En el syslog tambien observo este mensaje con regularidad alguien ha visto ese mensaje en su log?
            haarp: *** glibc detected *** /usr/local/sbin/haarp: free(): invalid pointer: 0x00007ff0c235b338 ***

            • keikurono01  On 3 marzo, 2014 at 8:18 pm

              Ese bug fue reportado anteriormente, puedes decirme como reproduces ese error?, si no recuerdas, puedes fijarte la hora que ocurre ese error, ir a los logs del haarp (en los access.log y error.log) y ver que recursos fueron los que provocaron esos errores, o recordad que se hizo para que saliera ese error (los logs del haarp, por defecto, rotan cada día),

    • keikurono01  On 3 marzo, 2014 at 8:24 pm

      Ese error, lo acabo de ver, se reproduce cuando el server se queda sin internet, y el haarp aparentemente llega a tener conflicto con ello…

      Esta semana lo arreglamos.

      Salu2.

      • Jorge  On 3 marzo, 2014 at 9:37 pm

        Gracias por responder, estoy intentando reproduccir el error de la forma que comentas (descontecto la WAN del Haarp ) pero no logro reproducir el mensaje (haarp: *** glibc detected *** /usr/local/sbin/haarp: free(): invalid pointer: 0x00007ff0c235b338 ***), de todas formas te dejo el syslog donde esta el mensaje https://mega.co.nz/#!3d8iFABL!UY9BBuRejWLm7tKYb5-B1rgYmGEpcnqiSwYLIpFgOWU

      • Jorge  On 3 marzo, 2014 at 10:51 pm

        Kei; aclaro lo siguiente con esta prueba (Dejar sin internet el Haarp ) me dijiste que lograste reproducir este error (haarp[17590]: segfault at 9f051bc8 ip 00007f72c77e9373 sp 00007fff4f0ffec0 error 4 in libmysqlclient.so.18.0.0[7f72c7798000+2bd000]) yo no pude hacerla ya que antes de compilar el haarp ya tenia estos archivos instalados (libmysqlclient.so.16 , libmysqlclient.so.16.0.0 en /usr/lib , libmysqlclient16_5.1.49-3_amd64.deb) y no me ha vuelto a mostrar ese error quizas no fue la mejor forma de resolverlo pero fue lo que se me ocurrio en ese momento.
        Con respecto a este mensaje (haarp: *** glibc detected *** /usr/local/sbin/haarp: free(): invalid pointer: 0x00007ff0c235b338 ***) estoy intentando ver como reproducirlo al parecer tiene que ver con algo de la memoria dinamica y la variable MALLOC_CHECK_ es la responsable de informar cuando hay un error en la memoria dinamica entonces cree una varaiable de entorno MALLOC_CHECK_=”3″ y la cargue a /etc/profile para que cuando me salga el mensaje me detenga el proceso y poder observar de donde viene la falla, muchos diran pero si colocas MALLOC_CHECK_=”0″ ya el mensaje no sale pero no es la idea porque precisamente ese mensaje ayuda al programador a depurar el codigo.

        Saludos…

        • keikurono01  On 4 marzo, 2014 at 6:18 am

          Hola Jorge, olvida eso, creo que me confundí, lo que dije si es un error, pero no es sobre los libs del mysql, te dije como lo solucione …
          (si quieres reproducir ese otro err, abres un video de youtube, desconectas la WAN, miras las imágenes del video, pasando el cursor sobre el player, y sale el error; como dije espero solucionarlo pronto.)

          Ahora viendo del “*** glibc detected *** … free()”, que parece que te es muy frecuente, hice este parche:

          https://www.dropbox.com/s/q4gfbrwrqtf04y0/pconn.patch

          entra al directorio del haarpcache, y aplica:

          patch haarp/connectiontohttp2.cpp < pconn.patch

          luego: make; make install; service haarp restart; squid3 -k reconfigure;

          Me dices como fue..
          Salu2.

          • Jorge  On 4 marzo, 2014 at 9:15 am

            Hola kei, voy a resumir para ver si se entendi, mostre 3 mensajes que veo en los logs del debian 7 y son los siguientes ;

            1) haarp[17590]: segfault at 9f051bc8 ip 00007f72c77e9373 sp 00007fff4f0ffec0 error 4 in libmysqlclient.so.18.0.0[7f72c7798000+2bd000]

            Solucion que me diste:

            Reinstalar el Haarp.

            2) haarp: *** glibc detected *** /usr/local/sbin/haarp: free(): invalid pointer: 0x00007ff0c235b338 ***

            Solucion que me diste:

            https://www.dropbox.com/s/q4gfbrwrqtf04y0/pconn.patch

            entra al directorio del haarpcache, y aplica:

            patch haarp/connectiontohttp2.cpp < pconn.patch

            3) advertencia del cache.log de squid3 (WARNING: unparseable HTTP header field {:: })

            Solucion que me diste:

            si quieres reproducir ese otro err, abres un video de youtube, desconectas la WAN, miras las imágenes del video, pasando el cursor sobre el player, y sale el error; como dije espero solucionarlo pronto.)

            Estoy en lo correcto?

            Saludos…

            • keikurono01  On 4 marzo, 2014 at 10:24 am

              Todo bien, pero 3 no.
              La 3 es con este error:

              kernel: [914643.066614] haarp[12369]: segfault at 0 ip 00000000004209eb sp 00007fffcac8a330 error 4 in haarp[400000+33000]

              • Jorge  On 4 marzo, 2014 at 10:47 am

                Ok entendido ahora si estoy claro esperemos la actualizacion, sigo haciendo pruebas…

                Saludos…

  • juan  On 2 marzo, 2014 at 5:53 pm

    Hola! Segui todos los pasos instanlando correctamente el sistema pero no me hace cache de nada, dejo unos log.

    1393800829.000 (2256) ContentLength: 471040
    1393800829.000 (2255) ContentLength: 237568
    1393800829.000 (2255) 192.168.16.100 MISS/200 237935 GET http://r3—sn-uxaxhxm2xg0-aphe.googlevideo.com/videoplayback? – NONE/- –
    1393800829.000 (2255) ******************** NEW CONNECTION ********************
    1393800829.000 (2255) Url r3—sn-uxaxhxm2xg0-aphe.googlevideo.com/videoplayback?clen=997147&cpn=-Rqu6fQqL_oMM8I5&dur=62.740&expire=1393823633&fexp=919112%2C932286%2C945301%2C916625%2C937417%2C937416%2C913434%2C936910%2C936913%2C902907&gir=yes&id=08363710551dff7c&ip=190.118.86.143&ipbits=0&itag=140&keepalive=yes&key=yt5&lmt=1392772578782735&ms=au&mt=1393800656&mv=m&pcm2fr=yes&range=712704-950271&ratebypass=yes&signature=F88980A9E2C503596A91F8201C77C51033C270AF.80769C0A1BEA3F50975149B274EF5964EF35B0DB&source=youtube&sparams=clen%2Cdur%2Cgir%2Cid%2Cip%2Cipbits%2Citag%2Clmt%2Cpcm2fr%2Csource%2Cupn%2Cexpire&sver=3&upn=CafbP8-TZWY
    1393800829.000 (2255) Loading plugin /etc/haarp/plugins/googlevideo.com.so
    1393800829.000 (2255) Resposta Match 1 Domain youtube File 08363710551dff7c-140-997147.flv
    1393800829.000 (2255) Cache limit (20/98) /haarp/
    1393800829.000 (2255) File: /haarp/youtube/1/9_56/08363710551dff7c-140-997147.flv
    1393800829.000 (2255) File 08363710551dff7c-140-997147.flv blocking edition from mysql.
    1393800829.000 (2255) File 08363710551dff7c-140-997147.flv liberate edition from mysql.
    1393800829.000 (2256) 192.168.16.100 MISS/200 471407 GET http://r3—sn-uxaxhxm2xg0-aphe.googlevideo.com/videoplayback? – NONE/- –
    1393800829.000 (2256) ******************** NEW CONNECTION ********************
    1393800829.000 (2256) Url r3—sn-uxaxhxm2xg0-aphe.googlevideo.com/videoplayback?clen=1922604&cpn=-Rqu6fQqL_oMM8I5&dur=62.568&expire=1393823633&fexp=919112%2C932286%2C945301%2C916625%2C937417%2C937416%2C913434%2C936910%2C936913%2C902907&gir=yes&id=08363710551dff7c&ip=190.118.86.143&ipbits=0&itag=133&keepalive=yes&key=yt5&lmt=1392772578796265&ms=au&mt=1393800656&mv=m&pcm2fr=yes&range=1413120-1884159&ratebypass=yes&signature=B068F06C75A5C495E781977B1D88A901FD94BB61.EFF960ED9D3EE4C72925F82D660E9271268DA806&source=youtube&sparams=clen%2Cdur%2Cgir%2Cid%2Cip%2Cipbits%2Citag%2Clmt%2Cpcm2fr%2Csource%2Cupn%2Cexpire&sver=3&upn=CafbP8-TZWY
    1393800829.000 (2256) Loading plugin /etc/haarp/plugins/googlevideo.com.so
    1393800829.000 (2255) ContentLength: 237568
    1393800829.000 (2256) Resposta Match 1 Domain youtube File 08363710551dff7c-133-1922604.flv
    1393800829.000 (2256) Cache limit (20/98) /haarp/
    1393800829.000 (2256) File: /haarp/youtube/7/6_61/08363710551dff7c-133-1922604.flv
    1393800829.000 (2256) File 08363710551dff7c-133-1922604.flv blocking edition from mysql.
    1393800829.000 (2256) File 08363710551dff7c-133-1922604.flv liberate edition from mysql.
    1393800829.000 (2255) 192.168.16.100 MISS/200 237935 GET http://r3—sn-uxaxhxm2xg0-aphe.googlevideo.com/videoplayback? – NONE/- –
    1393800830.000 (2256) ContentLength: 471040
    1393800830.000 (2256) 192.168.16.100 MISS/200 471407 GET http://r3—sn-uxaxhxm2xg0-aphe.googlevideo.com/videoplayback? – NONE/- –
    1393800832.000 (2256) ******************** NEW CONNECTION ********************
    1393800832.000 (2256) Url r3—sn-uxaxhxm2xg0-aphe.googlevideo.com/videoplayback?clen=997147&cpn=-Rqu6fQqL_oMM8I5&dur=62.740&expire=1393823633&fexp=919112%2C932286%2C945301%2C916625%2C937417%2C937416%2C913434%2C936910%2C936913%2C902907&gir=yes&id=08363710551dff7c&ip=190.118.86.143&ipbits=0&itag=140&keepalive=yes&key=yt5&lmt=1392772578782735&ms=au&mt=1393800656&mv=m&pcm2fr=yes&range=950272-1189887&ratebypass=yes&signature=F88980A9E2C503596A91F8201C77C51033C270AF.80769C0A1BEA3F50975149B274EF5964EF35B0DB&source=youtube&sparams=clen%2Cdur%2Cgir%2Cid%2Cip%2Cipbits%2Citag%2Clmt%2Cpcm2fr%2Csource%2Cupn%2Cexpire&sver=3&upn=CafbP8-TZWY
    1393800832.000 (2256) Loading plugin /etc/haarp/plugins/googlevideo.com.so
    1393800832.000 (2256) Resposta Match 0 Domain File
    1393800832.000 (2256) ContentLength: 46875
    1393800832.000 (2256) 192.168.16.100 MISS/200 47242 GET http://r3—sn-uxaxhxm2xg0-aphe.googlevideo.com/videoplayback? – NONE/- –
    1393800833.000 (2256) ******************** NEW CONNECTION ********************
    1393800833.000 (2256) Url r3—sn-uxaxhxm2xg0-aphe.googlevideo.com/videoplayback?clen=1922604&cpn=-Rqu6fQqL_oMM8I5&dur=62.568&expire=1393823633&fexp=919112%2C932286%2C945301%2C916625%2C937417%2C937416%2C913434%2C936910%2C936913%2C902907&gir=yes&id=08363710551dff7c&ip=190.118.86.143&ipbits=0&itag=133&keepalive=yes&key=yt5&lmt=1392772578796265&ms=au&mt=1393800656&mv=m&pcm2fr=yes&range=1884160-2357247&ratebypass=yes&signature=B068F06C75A5C495E781977B1D88A901FD94BB61.EFF960ED9D3EE4C72925F82D660E9271268DA806&source=youtube&sparams=clen%2Cdur%2Cgir%2Cid%2Cip%2Cipbits%2Citag%2Clmt%2Cpcm2fr%2Csource%2Cupn%2Cexpire&sver=3&upn=CafbP8-TZWY
    1393800833.000 (2256) Loading plugin /etc/haarp/plugins/googlevideo.com.so
    1393800833.000 (2256) Resposta Match 0 Domain File
    1393800834.000 (2256) ContentLength: 38444
    1393800834.000 (2256) 192.168.16.100 MISS/200 38811 GET http://r3—sn-uxaxhxm2xg0-aphe.googlevideo.com/videoplayback? – NONE/- -

    • keikurono01  On 2 marzo, 2014 at 6:46 pm

      Está funcionando con tu base de datos?, fijate en los error.log, y en la clave del mysql en el haarp.conf.

      • juan  On 4 marzo, 2014 at 2:02 pm

        Tienes toda la razón, al parecer no guarde bien el archivo al modificar la clave de la base de datos, ademas el log del haarp mostro exactamente exactamente que el problema era por la clave. muy util el log.

        gracias por la respuesta. salduos!!

  • miguel jimenez  On 7 marzo, 2014 at 5:11 pm

    Excelente aplicación mis respectos.

    Tengo una duda actualmente, el Haarpcache lo tengo corriendo sobre Zentyal 3.3 con el squid.

    El Haarpcache funciona pero solo por un día cosa extraña. Al día siguiente el proceso es un zombi, y ya no funciona más :(

    Viene con la configuración default puerto 8080 y la magia esta con configurar el cache_peer en el squid, solo que también utilizo el cache_peer_domain con ciertos sitios para el Haarpcache pero creo que eso no debería de ser el problema, he revisado los logs del Haarp(en el haarp.conf los logs estan configurados como detallados) y squid y nada del porque se cae ninguna razón.

    Agradecería tu apoyo mientras sigo investigando, gracias.

    • keikurono01  On 7 marzo, 2014 at 5:27 pm

      Hola, curiosamente los logs del haarp rotan cada día, algún problema con el logrotate?, o algún poblema con el update-rc.d haarp?, fijate en los syslogs.

      • miguel jimenez  On 8 marzo, 2014 at 10:31 am

        Hola buen dia he revisado los logs y el unico que arroja algo es el syslog

        este error se repite cientos de veces
        kernel: [351320.510617] haarp[28140]: segfault at 0 ip 0806a740 sp bffb2190 error 4 in haarp[8048000+33000]

        y este solo salio una vez
        haarp: *** glibc detected *** /usr/local/sbin/haarp: free(): invalid pointer: 0xb70c03dc ***

        • keikurono01  On 8 marzo, 2014 at 10:41 am

          Envia a mi correo el haarp.conf, access.log (con el LOGLEVEL 2), error.log, y el syslog.

          O si es posible, dime que es lo que haces para que salgan esos errores, asi quizás los pueda reproducir aqui.

          Salu2.

          • miguel jimenez  On 8 marzo, 2014 at 11:23 am

            Hola Keikurono gracias por responder tan rápido se nota mucho tu interés por el proyecto, por el momento aplique un parche que habías publicado anteriormente, compile, instale y curiosamente no ha vuelto a salir un error en el syslog sobre el kernel y segfault, ahora sobre los logs te quedo mal porque los limpie para chequear con la nueva configuración y estaré monitoreando.
            Gracias.

  • robert juarez  On 12 marzo, 2014 at 1:22 am

    Hola.. alguien que ya lo aya instalado paralelo a mikrotik..

    que me ayude porfavor.. ah instalar la forma correcta y hacerlo paraleloa mikrotik .. mi correo rj.ston1985@gmail.com

    Espero me pueda ayudar.. gracias

  • Anónimo  On 13 marzo, 2014 at 5:20 pm

    Hola, quiero hacer pruebas, pero es posible configurar haarpcache en modo bridge transparente? Saludos

  • Remy Lionel  On 12 abril, 2014 at 6:52 pm

    De antemano gracias KaiKurono, tengo un problema parece que youtube actualizo las cabeceras o algo en sus videos que bueno solo tengo MISS en la reproduccion de ellos… no se si podrias ayudarme GRACIAS veo HITS en YTIMG y en los demas pero en Youtube solo MISS

  • alexdav  On 24 abril, 2014 at 7:18 pm

    HOLA que tal keikurono01, me interesa tu aporte, pero soy nuevo en esto, te comento, estuve investigando y encontré squid para windows y lo probé, no vi un resultado favorable; ya que es para paginas estáticas, me aventure a seguir investigando y en eso encontre thunder cache, raptorCache, y por ultimo este que comentas HAARPCACHE, que me convenció a la primer leída, agradecería que contestes mis preguntas, con que sistema operativo me lo recomiendas?, ademas de HAARPCAHCE que otro puedo utilizar o solo esta bien? Que requisitos de equipo me pides para instalarlo? se que es mucho lo que te pido, por que soy novato en esto, pero también, puedo ayudar haciendo una pequeña colaboración monetaria, para apoyar al proyecto. gracias de antemano. espero tus respuestas

  • jose Luis Marin  On 4 mayo, 2014 at 7:56 pm

    Buenas, alguien me puede confirmar si haarpcache esta 100% operativo, lo digo por el comentario de Remy Lionel que dice que no esta cacheando Youtube, es que quiero instalarlo.
    Gracias.-

  • telecharger avira 2014  On 25 julio, 2014 at 7:17 am

    My partner and I stumbled over here coming from a different web address and thought I should
    check things out. I like what I see so now i’m following you.
    Look forward to exploring your web page repeatedly.

  • compare singer sewing machines  On 18 agosto, 2014 at 9:22 am

    I have read so many articles about the blogger lovers except this paragraph is actually a good paragraph, keep it up.

Trackbacks

Deja un comentario

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s

Seguir

Recibe cada nueva publicación en tu buzón de correo electrónico.

Únete a otros 68 seguidores

%d personas les gusta esto: