Daniel Serra en la Web

PAGE RANK 3 !!!!!

2008-10-08T18:38:00.000-07:00

Guau!! Esto sí que no me lo esperaba.

El blog tiene Page Rank 3, que no es poco para un blog como este. Que emoción!!

Para que tengan como referencia,

- ProBlogger tenía PR 4 el año pasado.
- Bocabit.com tiene PR 4.
- El blog de Conz también tiene 4.
- El blog de los Ziegler en Canada, otro con 4.

...y estoy hablando de blogs grosos.

Optimizando landing pages

2008-10-07T14:23:00.000-07:00

Cuando hablamos de optimización, siempre hay que referirse a páginas especificas y no a sites. No se optimiza un site, sino algunas páginas dentro de ese site. Y es un error querer optimizar solo la home, porque para determinadas acciones u objetivos uno puede querer que el usuario aterrice en distintas páginas. Esas conjunto de páginas especificas a optimizar se llaman landing pages.

Las landing pages de mi blog son:
- la home.
- el primer post, que lo escribí en inglés (necesario para que rankee el blog en los casos que el usuario tiene las preferencias en inglés).
- la foto haciendo snowboard.

Una buena idea que puede ayudar a que esas landing pages emerjan, es ver dentro del site cuales son las páginas más fuertes, y en esas páginas incluir links a las landings, con anchor texts bien seleccionados.

Para la definición de cuales son esas páginas "fuertes" hay dos criterios:
- PageRank: hay posts con PR 2 y 1
- Alto ranking para la keyword Daniel Serra, lo que se sabe utilizando el operador site: site:http//daniserra.blogspot.com daniel serra

La lista de páginas seleccionadas segun estos criterios son:
http://daniserra.blogspot.com/2008/05/primero-en-google-objetivo-cumplido.html
http://daniserra.blogspot.com/2008/01/al-bot-no-le-gust-mi-creatividad.html
http://daniserra.blogspot.com/2008/02/online-identity-management.html
http://daniserra.blogspot.com/2008/01/daniel-serra-en-la-web-para-celulares.html
http://daniserra.blogspot.com/2008/08/quien-gana-entre-los-seo-pros.html
http://daniserra.blogspot.com/2008/08/un-daniel-serra-ms-la-lista.html
http://daniserra.blogspot.com/2008/07/wwwdaniel-serracom.html

En todas ellas incorporaré los links a las landings, y de esa manera compartir el "juice" que estas tienen.

Mejorando SEO de imágenes

2008-10-04T12:43:00.000-07:00

Ahora que sí tengo una buena imágen para optimizar, es hora de ver que es lo que realmente funciona y lo que no de lo hecho hasta acá con respecto a SEO de imágenes.

Voy a Google Images, pongo Daniel Serra, y si bien muchas de las imágenes que aparecen son mías, veo con asombro que las que están primeras no son las que yo optimicé para que estén primeras, y las que sí optimicé, no figuran (ejemplo, la foto mía de la barra de la izquierda).

Al analizar las que rankean bien, saco las siguientes conclusiones:
- No rankean bien las fotos subidas a photobucket, según yo había recomendado en el post "Poné la foto a laburar". Todas las que aparecen en la página uno, son las subidas a Blogger (tendrá que ver que Blogger es de Google?). Ese es un buen cambio para hacer ya mismo.
- El nombre de la foto en el primer puesto tiene las keyword con signos "más" separando las palabras: "Daniel+Serra+mobile.png"
- Como son fotos chotas, ni siquiera les había puesto el Alt tag como recomendé en el post "Alt tags para optimizar imágenes", con lo cual, cuestiono la importancia relativa de los Alt tags (aunque los voy a seguir poniendo igual).

Voy a hacer estos cambios ya mismo y ver que pasa. Si funciona, en unos días debería aparecer alta en el ranking la foto de la barra de la izquierda, ya que está en la home que es la página con mayor PageRank.

Nada que ver con SEO

2008-10-02T19:10:00.000-07:00

Discúlpenme este post. Lo que pasa es que volví de Las Leñas y un fotógrafo genio me sacó una foto espectacular. Y bueno, no tiene nada que ver con SEO pero la quise postear igual, aunque pensándolo bien, no estaría nada mal que esta foto rankee bien en Google Images, no?

SEO Simplificado

2008-09-24T06:14:00.002-07:00

Me encantó este post del gurú de SEO randfish porque realmente hace un esfuerzo por definir lo que es verdaderamente importante a la hora de optimizar un sitio para una keyword.

Según randfish, tenés el 90% del trabajo de optimización hecho, cubriendo estos cuatro aspectos:

1) Uso de la keyword y relevancia con el contenido del sitio.
Obviamente, las keywords tienen que estar presentes en el contenido, pero de una manera relevante, no forzada. Hablar de SEO o de la keyword Daniel Serra es natural para este sitio. Hablar de fútbol no (aunque con el ciclón primero, estaría bueno...).

Y estar presentes, para randfish significa lo siguiente:

- estar en el título.

- en el header H1.

- en la url de la página.

- por lo menos 3 veces en el cuerpo.

- en el alt tag de las imágenes.

- por lo menos una vez en negritas.

- en el metadescription tag.

Que ganás con todo esto? Content Score! como ya explicamos anteriormente.

Y nos hizo un gráfico más claro imposible:

2) "Link Juice" desde otros sites (lo dejé en inglés porque los gurús locales lo llaman así).

A este tema ya le dedicamos mucha tinta, la única manera de ganar PageRank (Popularity Score) es ganar links entrantes de páginas con buen PageRank.

Cuando una página linkea con otra, se dice que le pasa "juice".

3) Anchor Text de los links entrantes:

Yo hubiera puesto esta dentro del bullet #1, pero es tan importante que randfish lo puso aparte. Si páginas externas tienen un anchor text que apunta a tu página, evidentemente tu página tiene buen contenido referente a esa keyword.

4) Legitimidad del sitio:

Este punto es una bolsa de gatos. Se refiere a la antigüedad de la página en el index del buscador, cantidad de gente que busca esa página directamente (primera vez que leo que este es un factor de peso), tiene la página links entrantes de calidad? (eso ya estaba en el punto 2), y más fruta...

Para mi, randfish quería 4 bullets, pero se debería haber plantado en 3. Si con 4 tenés el 90% del trabajo hecho, con los primeros 3 apostaría que tenés el 85%.

Es bueno confirmar que hay poco de nuevo en este post, todos estos aspectos ya fueron cubiertos y trabajados en la breve historia de este blog. Pero me pareció un excelente resumen.

Twitter Search

2008-09-07T18:21:00.000-07:00

Hace unos días, Twitter lanzó Twitter Search, una buena manera para saber si los twitteros están hablando de determinado tema. Tiene la gran ventaja de que se va actualizando en vivo, por lo tanto, si ahora haces un query de "Obama", nuevos search results van apareciendo a medida que aparecen nuevos tweets acerca del candidato.

Por supuesto busqué mi keyword "Daniel Serra". Curiosamente, uno de los tweets me llevó a la siguiente página:

"Links About Google" es un twittero que postea todo lo que le parece interesante referente a Google. No está mal, no?

Me pareció muy interesante Twiter Search, no para encontrar un site especifico sobre tal cosa (para eso está Google Search), sino especificamente para saber que está opinando la gente acerca de cualquier tema en un determinado momento. Muy poderoso.

By the way, mi user name en twitter es daniserra, pero no lo actualizo muy frecuentemente.

¿Quien gana entre los SEO pros?

2008-08-31T21:36:00.000-07:00

No hay prueba más ácida, rápida y barata para distinguir a los buenos de los malos profesionales de SEO, que hacer un query en Google justamente para la palabra SEO.

El primer resultado es la Sociedad Española de Ornitología...en el horno.

Pero eso no es lo único sorprendente. A la derecha se puede ver una larga lista de empresas que ofrecen servicios de SEO, pero para darse a conocer, en vez de hacer....SEO....que es gratis, compran avisos pagos en Adwords.

¿¿¿¿¿¿¿¡¡¡¡¡¡¡¡????????

Yo diría que no es una buena manera de promocionarse. Muchachos, apunten los cañones para ganarle a los ornitólogos!!

Como este post está rankeando muy bien, le voy a agregar unos links para repartir el "juice" con otras landing pages:

- Imágen de Daniel Serra

- Post en inglés de Daniel Serra

- Home blog Daniel Serra

La danza de Google

2008-08-29T20:08:00.000-07:00

Como la gran mayoría de los sitios de la web están en permanente cambio, el bot de Google siempre va a tener con que entretenerse, mandando páginas nuevas al caché, lo que produce cambios permanentes en los índices de las bases de datos.

Pero cuando se actualiza el índice, según se lee por ahí, primero se testea en dos supuestos servers de prueba: www2.google.com y www3.google.com

O sea que si uno prueba los sitios justo durante un período en el cual se está haciendo el testing, supuestamente se puede ver cual va a ser el futuro resultado de un query luego de que el nuevo índice esté en producción en el sitio principal.

A esta temporal diferencia entre los resultados de los distintos servers se la llama Google Dance, y acá hay una buena herramienta para probarla.

Todos los Ranking Factors a tener en cuenta

2008-08-27T18:04:00.000-07:00

Puedo tener un buen PageRank y rankear mal?

Por supuesto, porque el PageRank es uno de los tres aspectos que forman parte del algoritmo de Google Search. Los otros dos son:

- el Content Score

- el Site Score

En el caso del Content Score, explicado conceptualmente en este post, los factores que el algoritmo tiene en cuenta en mayor o menor medida para una determinada keyword, son: el título, subtítulos, metatag de descripción del site, la url, el nombre de dominio (ej: daniel-serra.com), el tamaño de letra usado para la keyword, si está en negritas, la cantidad de veces que aparece en la página (keyword density), la ubicación (más detalle acá), el anchor text de los links entrantes y salientes, que estos últimos vayan a sitios relevantes, que las otras páginas del sitio linkeen a la página objetivo (estructura interna del site), que la keyword tenga que ver con el tema principal del contenido (topical relevance) y los metatags (hay dudas con este). O sea, todas variables controlables por el administrador del site (excepto los anchor text de los links entrantes).

Para el Site Score, importa la cantidad de páginas de ese site que están indexadas por Google (que se ven con el operador site:), su antigüedad (más viejo mejor), el PageRank de las otras páginas del site, la frecuencia de actualización de contenidos, etc.

Por último, para tener buen PR, lo único que importa es la cantidad y calidad de los links entrantes (que se pueden ver con el operador link:). El PR está explicado en mayor detalle en el post anterior.

Lo que hay que tener bien claro es que el PageRank y el Site Score son independientes del query que el usuario esté buscando. El Content Score, en cambio, SI es dependiente de la palabra que se busca. Dicho de otra manera, la página debe tener un buen Content Score para las keywords clave (en mi caso, Daniel Serra), pero debe ser acompañada por buenos Page Ranks y Site Scores, sino va a ser una página con contenido adecuado, pero en el lugar 1o00 de los resultados de búsqueda.

Nunca sabremos como Google pondera estos factores, el algoritmo es más secreto que la fórmula de Coca-Cola, pero para hacer buen SEO hay que considerarlos a todos, teniendo en cuenta el balance entre los tres aspectos.

Bloginmano me tradujo al italiano!

2008-08-25T19:48:00.000-07:00

Come funziona il motore di ricerca di Google?

Me emocionó leer la traducción al italiano que el blogger Cariblo hizo del post "Cómo funciona Google Search?" en su blog Bloginmano.

Al fin y al cabo, yo también soy italiano! (trucho, de pasaporte nomás)

La fórmula del PageRank

2008-08-23T17:15:00.000-07:00

Aunque parezca sorprendente, según el libro nerd que estoy re-leyendo, la fórmula para calcular el PageRank de una página es (conceptualmente) muy simple:

Que se lee así: el PageRank de la página "i" es la sumatoria del PageRank de cada página "j"que tiene un link apuntándole a "i", dividido por la cantidad de links salientes que tiene esa página "j". El universo de páginas que linkean a "i" está representado por la letra B.

Como se ve, cada página j "reparte" su PageRank entre todos sus links salientes.

La conclusión más importante es que el PageRank depende exclusivamente de la cantidad y la calidad de los links entrantes, y es independiente del query, como se explicó en el post "Cómo funciona Google Search".

Pero lamento decirles que la fórmula de arriba es totalmente inservible en la práctica, por dos razones:

- calcula el PR de a una página a la vez, con lo cual no es escalable.

- para calcular el PR de una página necesita el PR de otras páginas, que es lo mismo que el cuento del huevo o la gallina.

Para resolver el primero de los problemas, es necesario expresar la fórmula de arriba con matrices, para lo cual hace falta saber mucho de álgebra lineal (Brin y Page estudiaban para el doctorado en computer science cuando inventaron esto, con lo cual ese no era un grave problema).

Para resolver el segundo, le asignaron un valor de PR inicial a cada página, el mismo para todas, y comenzaron a iterar, rezando (y ajustando las fórmulas) para que en un número pequeño de iteraciones, los valores de PR se estabilicen (matemáticamente se dice "que converjan").

Pero aunque no sirva para ser usada a escala web, la fórmula de arriba es muy importante para entender conceptualmente cuales son los factores que influyen en el bendito PageRank, tan importante para hacer buen SEO.

El lugar donde buscar cualquier tema de SEO

2008-08-18T23:51:00.000-07:00

Utilizando "Adsense para búsqueda", construí un buscador específico para temas de Search Engine Optimization.

Se trata de la herramienta que está en la barra de la izquierda debajo del "About Me" con la cual, al hacer una búsqueda, Google Search limita el universo de sitios exclusivamente a los 40 mejores sitios de SEO que yo seleccioné.

Entre esos sitios están:

- Seomoz

- SEO Book

- Search Engine Land

- Search Engine Journal

- Blog de Matt Cutts

- Blog de John Battelle

- Search Engine Watch

- Learning SEO basics blog

- SEO Guru

- SEO theory and analysis blog

- Inside Adwords

- Yahoo Search Marketing blog

- muchos otros, y también mi blog ; )

Luego de pegar el código en la página, realicé unas cuantas búsquedas (pagerank, adsense, authority, tips, etc), y la verdad es que me parece una flor de herramienta para encontrar info relevante de SEO, ya que filtra mucha basura que aparece cuando se hace la misma búsqueda en toda la web.

Como evolucionó el artículo de Wikipedia

2008-08-17T12:36:00.000-07:00

Estaba leyendo acerca de ¨Internet Marketing¨ en Wikipedia, y me llamó gratamente la atención ver que alguien había agregado a la sección ¨See Also¨ un link al artículo que yo escribí en Febrero acerca de Online Identity Management. No es poca cosa, alguien de la comunidad de Wikipedia consideró que un artículo importante como el de Internet Marketing se enriquecía agregándole un link al de OIM, y el resto de la comunidad se lo aceptó.

Claro, la definición de OIM que yo había escrito es bastante diferente de la que está ahora, y eso es lo bueno de Wikipedia. Hasta Marzo, yo seguía entrando a verla de vez en cuando, la defendía de ¨vándalos¨(así se los llama a los que entran a destruir un artículo), la defendí de Angrysusan, una idiota que se la pasa criticando todas las definiciones, le agregaba o le sacaba alguna cosa.

Ahora no solo sobrevivió a las ediciones de la comunidad (unos 70 cambios según se puede ver en la solapa History), sino que tomó vida propia dado que está mucho mas completa que la primera que yo escribí, y además ya tiene links en páginas muy concurridas, como justamente la de Internet Marketing, o la de SEO que son páginas importantes.

Es sorprendente ver la cantidad de artículos de Wikipedia que ahora linkean a la página de Online Identity Management. Vale la pena ver la lista, que está acá. Para conocer que páginas linkean a un artículo en Wikipedia, hay que ir al link ¨What links here¨ que está en la barra de la izquierda.

Que buscan los argentinos en Google?

2008-08-08T07:23:00.001-07:00

Se me ocurrió repetir el experimento que hizo el blogger Antonio Mas en su blog español "Trabajar sin conexión" acerca de la herramienta Insights for Search (comentada en este post) y no lo puedo creer.

Presten atención:
Se fijaron cuales son las palabras más buscadas en Google por los españoles, y la novena palabra más buscada es...Google.

¿¿¿¿¿¿??????

Hice lo mismo para los argentinos, y Google sale décimo:

O sea que la gente va a Google, escribe "Google", clickea en "Buscar en Google", y descubre que el primer resultado es ... Google.com.

Asombroso!!!

Google Insights for Search

2008-08-07T13:05:00.000-07:00

Google acaba de lanzar Insights for Search, una herramienta espectacular para saber que palabras está buscando la gente en Google, desde que geografías, en que períodos.

Más allá de lo útil que esto pueda ser para los marketineros online, esta herramienta es espectacular desde el punto de vista cultural, como medidor de los intereses de la gente. Como nos dice John Battelle en el libro The Search, lo que la gente busca en Google forma una gran "database of people's intentions", que no es poca cosa.

Hice una prueba fulbolera de Insights for Search, comparando las keywords: Boca Juniors, River Plate y San Lorenzo. El resultado puede verse acá, y queridos lectores, tiene sorpresas.

Parece que los cuervos somos más internautas que nuestros amigos bosteros y gallinas. Como se ve en las barras, el "Search Volume" de San Lorenzo es mayor. Cuando vemos la evolución en el tiempo, se puede ver que el pico de búsquedas se dió (ejemmmmmmm) el día que le pegamos el baile en el monumental. Sin palabras.

Un Daniel Serra más a la lista

2008-08-01T12:42:00.000-07:00

Recorriendo YouTube, encontré un nuevo Daniel Serra famoso, esta vez de Portugal. Uno que tiene más onda que todos nosotros juntos: ex-campeón mundial de BMX, (acrónimo de Bicycle Moto Cross), o sea, esos que vuelan y hacen piruetas en los X-Games que vemos en ESPN.
Un programa de TV de deportes extremos le hizo un reportaje. Vean este video que es un placer:

Entonces, la lista de Daniel Serras famosos, como se menciona en el post #1, queda integrada por:
- el campeón mundial de 800mts de natación.
- el corredor de autos brasilero miembro del Red Bull Racing Team.
- el profesor de Economía y Negocios.
- el Director de cine.
- el Escritor.
- y ahora...el ex-campeón mundial de BMX

Demasiados che, cada vez más laburo para mantener el primer puesto en Google...

Como este post está rankeando muy bien, le voy a agregar unos links para repartir el "juice" con otras landing pages:

- Imágen de Daniel Serra

- Post en inglés de Daniel Serra

- Home blog Daniel Serra

Nuevo favicon

2008-07-28T21:01:00.000-07:00

Para celebrar que en las próximas semanas comienzo un nuevo trabajo, cambié el favicon de Blogger por el de ZonaJobs, y de paso voy a explicar como se hace. En muchísimo más fácil de lo que me imaginaba.

Se llama favicon al loguito que aparece en el browser a la izquierda de la dirección url de la página en la que estás. Para hacer un favicon podés tomar cualquier imágen que tengas (ej, un jpg), ajustarla a tamaño 16x16 y cambiarla a formato ¨.ico¨ con el programa Imagicon que lo bajás gratis de download.com. Luego hay que subirlo a algún hosting de imágenes como photobucket.com que es el que yo uso.

Para ponerlo en Blogger, estas son las instrucciones:

Casi arriba de todo hay una línea de código como esta:

Debajo de esa línea incluir:

El logo de ZonaJobs que yo tomé está en ¨www.zonajobs.com.ar/favicon.ico¨

Google Gadgets para tu web

2008-07-26T16:09:00.000-07:00

El otro día descubrí Google Gadgets, que está lleno de aplicaciones buenísimas para poner en tu sitio web.

Hay una que me pareció ideal para este blog, que se llama Mini Search Gadget. Se trata de un widget del Search de Google en el cual podés establecer una keyword para buscar por default (en mi caso Daniel Serra), y cada vez que entrás al blog, automáticamente se hace la búsqueda para esa palabra y muestra quien va primero. Está puesto abajo de todo, como footnote.

El gran problema es que sólo busca resultados de sitios en inglés, aunque le aclares en los settings que querés los resultados en cualquier idioma. Por eso está saliendo primero el blog del profesor.

Si sigue dando este resultado choto (e injusto), lo voy a borrar y en su lugar voy a poner este pacman:

Mashups deliciosos

2008-07-21T18:36:00.000-07:00

Me compré este libro de la colección wrox "Programer to Programer", totalmente por sobre mi nivel, pero bastante didáctico para aprender algunas cosas básicas de programación.

Me tiene muy entretenido el desarrollo de un mashup con el api de del.icio.us, una idea que se me ocurrió y quiero ver si la puedo llevar a la práctica, y eso hace que esté posteando menos seguido en el blog.

No tiene que ver con SEO de manera directa, aunque creo que (si me sale) puede ser una buena aplicación que termine mandando links para acá.

Vale la pena, en los próximos días explico un poco más.

Se lanzó Alltop Argentina

2008-07-11T20:29:00.000-07:00

Me enorgullece informar que hoy se lanzó argentina.alltop.com, la página argentina del famoso "agregador" de feeds alltop.com, administrado por el famoso blogger Guy Kawasaki.

Más allá de que los lectores de blogs ya tenemos nuestros feeds favoritos cargados en algún feed reader (como Google Reader o Bloglines), alltop.com es un excelente lugar para ir y ver en una única página, de que se está hablando sobre un determinado tema, sea SEO, twitter, golf o cualquier otra cosa de las que aparecen en la home.

Hacía tiempo que les venía pidiendo la página argentina, y la semana pasada me solicitaron una lista de feeds, así que se las mandé. Algunos feeds quedaron, otros no, y hubo muchos agregados por parte de ellos, como los de TN, el ojo digital, etc (rankearán bien en Alexa?). Muy amablemente, me mencionan en la parte de Acknowledgments (agradecimientos).

Entre los que incluí y quedaron en la lista están los excelentísimos blogs Argentinos:

- http://www.fabio.com.ar/
- http://www.uberbin.net/
- http://www.amphibia.com.ar/
- blocdeperiodista.com
- google.dirson.com
- http://www.puntogeek.com/
- butano.blogspot.com

Invito a los autores a humildemente incorporar el Alltop Badge en sus sites:

www.daniel-serra.com

2008-07-05T17:14:00.000-07:00

Compré una dirección de dominio:

daniel-serra.com

o lo que es lo mismo:

http://www.daniel-serra.com/

En ambos casos, el link redirecciona al blog actual, que por ahora sigue en Blogger, vamos a ver si me animo a moverlo a algún lugar más pro, como typepad o wordpress.

Como siempre ocurre en estos casos, la dirección de dominio que uno quiere ya está ocupada. Yo quería www.danielserra.com, que por ahora no tiene nada subido, pero alguien ya compró ese nombre. Entonces tuve un dilema entre dos que estaban disponibles:
1) daniel-serra.com: con la desventaja de tener que tipear el molesto "-"
2) danielserra.net: con la desventaja que no es ".com"
Y después de leer varios sitios que dan recomendaciones de nombres de dominio, llegué a la conclusión que:
- el guión "-" le gusta a los buscadores, porque los ayuda a diferenciar donde termina una keyword y donde comienza la otra.
- el guión "-" es el único carácter especial que no es tan dramático incluir. Ningún otro es recomendable. Nota interesante al respecto acá.
- ".net" en definitiva tampoco hubiera estado tan mal. Martín Varsavsky, por nombrar un groso, usa ".net"

De todas las direcciones que vi para elegir la mía, la más original es la de Matt Mullenweg de Wordpress que es ma.tt (".tt" es la extensión de Trinidad Tobago). Un fenómeno en branding este Matt.

Como este post está rankeando muy bien, le voy a agregar unos links para repartir el "juice" con otras landing pages:

- Imágen de Daniel Serra

- Post en inglés de Daniel Serra

- Home blog Daniel Serra

¿Alguna vez viste a un bot?

2008-07-01T20:13:00.000-07:00

Un bot es algo bastante menos interesante que la imagen de la izquierda. Como ya dijimos en el post anterior, se trata "de un simple programita que visita páginas de internet de manera automática, las copia, las manda al “Page Depository”, luego visita cada uno de los links que tenía esa página y así sucesivamente."

Yo nunca había visto un bot, hasta que me crucé con uno en el libro "Google PageRank and Beyond". Me pareció muy simpático así que decidí ponerlo en un post.

Está escrito en lenguaje "Matlab", y la intención no es entrar en el detalle de cada línea de código (lo que está muchísimo más allá de mis posibilidades), sino sólo saber de que se trata. Matlab tiene dos comandos interesantes para la creación de bots: uno que se llama "urlread" que permite leer la página, y otro llamado "urlwrite" que permite copiarla para pasarla al "Page repository".

Ahí va, a no desmayarse:

function [U,L] = surfer(root,n)
% SURFER Create the adjacency matrix of a portion of the Web.
% [U,L] = surfer(root,n) starts at the URL root and follows
% Web links until it forms an n-by-n adjacency matrix of links.
% U = a cell array of the URLs visited.
% L = sparse matrix with L(i,j)=1 if url {i} is linked to url {j}.
%
% Example: [U,L] = surfer('http://www.harvard.edu',500);
%
% This function currently has two defects. (1) The algorithm for
% finding links is naive. We just look for the string 'http:'.
% (2) An attempt to read from a URL that is accessible, but very slow,
% might take an unacceptably long time to complete. In some cases,
% it may be necessary to have the operating system terminate MATLAB.
% Key words from such URLs can be added to the skip list in surfer.m.

% Initialize
U = cell(n,1);
hash = zeros(n,1);
L = logical(sparse(n,n));
m = 1;
U{m} = root;
hash(m) = hashfun(root);

j = 1;
while j <>
% Try to open a page.
try set(t1,'string',sprintf('%5d %s',j,U{j})) set(t2,'string','');
drawnow page = urlread(U{j});
catch set(t1,'string',sprintf('fail: %5d %s',j,U{j})) drawnow j = j+1;
continue end if get(slow,'value') pause(.25) end
% Follow the links from the open page.
for f = findstr('http:',page);
% A link starts with 'http:' and ends with the next quote.
e = min([findstr('"',page(f:end)) findstr('''',page(f:end))]);
if isempty(e), continue, end url = deblank(page(f:f+e-2)); url(url<' ') = '!';
% Nonprintable characters if url(end) == '/', url(end) = [];
end
% Look for links that should be skipped.
skips = {'.gif','.jpg','.jpeg','.pdf','.css','.asp','.mwc','.ram', ... '.cgi','lmscadsi','cybernet','w3.org','google','yahoo', ... 'scripts','netscape','shockwave','webex','fansonly'};
skip = any(url=='!') any(url=='?');
k = 0;
while ~skip & (k < k =" k+1;">
skip = ~isempty(findstr(url,skips{k}));
end if skip if isempty(findstr(url,'.gif')) & isempty(findstr(url,'.jpg'))
set(t2,'string',sprintf('skip: %s',url)) drawnow if get(slow,'value') pause(.25)
end
end continue end
% Check if page is already in url list.
i = 0; for k = find(hash(1:m) == hashfun(url))';
if isequal(U{k},url) i = k; break
end
end
% Add a new url to the graph there if are fewer than n.
if (i == 0) & (m < m =" m+1;">
hash(m) = hashfun(url); i = m;
end %
Add a new link. if i > 0
L(i,j) = 1;
set(t2,'string',sprintf('%5d %s',i,url))
line(j,i,'marker','.','markersize',6)
drawnow
if get(slow,'value')
pause(.25)
end
end
end
j = j+1;
end
delete(t1)
delete(t2)
delete(slow)
set(quit,'string','close','callback','close(gcf)','value',0)
%------------------------
function h = hashfun(url)
% Almost unique numeric hash code for pages already visited.
h = length(url) + 1024*sum(url);

Como al bot también le dicen "spider", acá te pongo una araña para que persiga a tu mouse :)

¿Cómo funciona el buscador de Google?

2008-06-28T13:22:00.000-07:00

Recomiendo abrir la imágen en otra ventana, clickearla para que se agrande, y consultarla a medida que se lee el post. Vale la pena.

1) Todo empieza con un bot (también llamado crawler, o spider) que se ocupa de recolectar la información que está desparramada por los miles de servers que forman la world wide web. No hay en ningún lado una lista de los sitios web existentes en un determinado momento, las empresas que dan servicio de Search Engine (Google, Yahoo!, etc) deben auto-generarse esa lista. El bot no es ni más ni menos que un programita que visita páginas de internet de manera automática, las copia, las manda al “Page Depository”, luego visita cada uno de los links que tenía esa página y así sucesivamente. De esa manera, recorre la gran mayoría de las páginas de internet existentes y relevantes (Google tenía 8,1 billones a Noviembre del 2004), aunque son muchas las que se le escapan. Ahora, para mantener el “Page Depository” actualizado, las páginas que cambian en forma diaria también deben ser actualizadas diariamente. Para eso existe un bot especial llamado “fresh bot” que visita más frecuentemente los sitios que refrescan su contenido en forma permanente.

2) El “Page Repository” es el caché, o sea, el lugar donde se guarda la última actualización de una determinada página según la copió el bot. Toneladas de información acumulada en discos rígidos. Cuando se hace una búsqueda en Google, al final de cada resultado aparece un link que dice “En caché”. Ahí se puede ver la página que está guardada en el “Page Repository” correspondiente a la última vez que el bot pasó a visitarla. Por supuesto que la página real puede haber cambiado desde ese momento. Acá hay un ejemplo de una página del caché de este blog.

3) El “Indexing module” toma cada página nueva del “Page Repository” y extrae la información más importante, creando una versión comprimida que luego va a ser utilizada en los índices. Esa información incluye: título, descripción, anchor texts, texto en bold o en tamaño mayor, links hacia otras páginas, texto, etc.

4) Con la información extraída en el “Indexing module” se confeccionan los distintos “Indices”. Los más importantes son:
- El “Content Index”: indica en que páginas se encuentran cada palabra de texto escrita en el contenido de todos los sitios del “Page Repository”. Funciona igual que el índice alfabético que está al final de los libros: buscás una palabra y el índice te indica en que páginas del libro aparece esa palabra. Las palabras muy comunes tipo “el”, “un”, “a” discriminan tan poco y tendrían una lista de páginas tan grande que son ignoradas por el buscador.
- El “Structure Index”: como su nombre lo indica tiene la información de cómo linkean las páginas entre sí, conociendo para cada página sus links entrantes y salientes. Con esta información se calcula el PageRank.
- Otros índices especiales, como índice de imágenes, archivos pdf, etc.

5) Todo este proceso sucede de manera constante, durante el día y la noche, más allá de que alguien entre a hacer una búsqueda o no. Es decir, es “query-independent”. Supongamos ahora que un usuario ingrese a Google a hacer una búsqueda (lo que sucede más de 300 millones de veces por día). Esa búsqueda entra al “Query Module”, donde se transforman las palabras buscadas en números. Luego éste consulta al “Content Module” para definir cuál es la lista de páginas que tienen contenido relevante de acuerdo a esas palabras buscadas, ordena esa lista según el “content score” (ponderando las páginas que tienen la palabra buscada de manera destacada), trae las páginas relevantes del “Page Repository” y manda todo al "Ranking Module".

6) Finalmente el “Ranking Module” toma la lista de páginas relevantes, busca el PageRank de cada una en el “Structure Index”, calcula el “overall score” de cada página en función del “content score” y el PageRank, re-ordena los resultados según este “overall score” y manda esa lista al usuario. Chin-pum. Todo eso a la velocidad de la luz.

Dediqué 2 horas de un martes a la noche para escribir este post, incluyendo el armado de la imagen. Creo que faltaba una explicación profunda pero clara de cómo funciona un buscador.

La importancia del título del post

2008-06-25T11:42:00.000-07:00

Si van a la barra de la izquierda y en el box de "Búsqueda Personalizada en Google" hacen un Search para la keyword Daniel Serra, después de la home, el primer resultado que va a aparecer es el post del 29 de Enero "Daniel Serra en la web, para celulares".

¿Por qué ese post le gana a los otros? Simplemente porque ese post tiene la keyword Daniel Serra en su título (y por lo tanto en la url dado que Blogger utiliza el título del post para generar el permalink). Un buen indicio de la importancia que tiene ese aspecto en la optimización del sitio.

Como dice el gran libro "Google's PageRank and Beyond", el ranking de resultados depende de dos factores: el "content score" y el "popularity score" (voy a profundizar mucho más estos aspectos en el futuro). La combinación de ambos (con ponderaciones que nunca sabremos) determinan un "overall score" que define el orden de los sitios en la página de resultados.

El "popularity score" es intrínseco de la página, y totalmente independiente del query que el usuario esté haciendo en ese momento (en mi caso, Daniel Serra). Se calcula a partir del "popularity score" de las páginas con links entrantes (lo que genera un problema matemático de carácter iterativo) y Google lo mide a través del conocido PageRank. Entonces, el primer concepto (obvio pero fundamental) es que el PageRank es query-independent.

Por otro lado, el "content score", como su nombre lo indica, depende únicamente del contenido (no importándole su popularidad, cantidad de links entrantes, visitas, etc) y pondera al título de la página, su descripción, anchor texts (de los links entrantes), y palabras con font más grande o negritas, por encima del resto del contenido. Como es de suponer, el "content score" de una página es diferente para cada query, y por lo tanto es query-dependent.

Entonces, cuando un usuario hace una búsqueda de una palabra, se calculan los "content scores" de las páginas relacionadas con esa palabra buscada ("relevant pages") generándose un primer ranking. Luego otra aplicación llamada "Ranking Module" va a tomar esa lista y la va a ponderar utilizando el "popularity score" (Page Rank) intrínseco de cada página, calculando así el "overall score", que sirve para ordenar los resultados y dispararlos a nuestro browser en una fracción de segundo.

El post "Daniel Serra en la web, para celulares" no gana por tener mayor popularidad (tiene PR1 como varios otros posts), pero al tener la palabra buscada en el título gana mucho content score lo cual la empuja arriba de todo.

Post número 100

2008-06-24T11:29:00.000-07:00

Amigos!! Este es el post número 100 de este blog.

La verdad que pasaron volando.

Un saludo para todos.

Daniel Serra