LCF blog

Ice Age: Dawn of the Dinosaurs - Sun movie ?

2009-07-06T20:22:00.003+02:00

Blue Sky Studios, a wholly-owned unit of Fox Filmed Entertainment, deployed Sun Blade servers and Sun Ultra workstations for the rendering of its new animated feature Ice Age: Dawn of the Dinosaurs, giving them four times better performance than their previous solution.

Blue Sky deployed a Sun Constellation System consisting of 10 Sun Blade 6048 chassis with a total of 480 Sun Blade X6250 server modules, each powered by two Intel Xeon processor 5400 series; 120 Sun Ultra 24 workstations powered by the Intel Core 2 processor; and Sun's Enterprise Installation Services. After full implementation, Blue Sky reaped performance that was four times faster than their previous solution, allowing them to render digital frames faster and create more frames in less time.

http://www.sun.com/aboutsun/pr/2009-07/sunflash.20090706.1.xml

FCoE

2009-05-09T14:51:00.001+02:00

Today find 2 nice videos about FCoE:

- Overview
- FCoE looks like

GMV in Gdańsk

2009-04-22T14:28:00.004+02:00

GMV Create First Real-Time Passenger Information System For Gdansk...

... Not always everything goes smooth :)

warning: peer certificate won't be verified in this SSL session

2009-03-23T10:31:00.001+01:00


# Remove warning: "warning: peer certificate won't be verified in this SSL session"
require 'openssl'
module OpenSSL
  module SSL
    remove_const :VERIFY_PEER
  end
end
OpenSSL::SSL::VERIFY_PEER = OpenSSL::SSL::VERIFY_NONE

Nice and useful.

Sun Cloud Computing

2009-03-19T17:16:00.002+01:00

Sun Cloud Computing executives Dave Douglas and Lew Tucker preview the Sun Cloud - the industry's most flexible, open and portable public cloud platform.

Since yesterday I'm really excited about Sun Cloud. From what I've seen, Sun Open Cloud Computing is more powerfull solution then AWS Amazon. Check how simple you can drag&drop hole environment then select hole or part and create "clone" for HA - Impressive!

Supernap

2009-03-18T23:27:00.001+01:00

Just incredible.

[A-100] Firmware 01-17-090125-15-POP-402

2009-03-06T23:37:00.002+01:00

#v+
[...]
11. Fixed HDD spin-up during standby
[...]
#v-

w0w finally they fix that. My ears love them :)

Release notes

My recent tricks for postgresql

2009-03-04T22:55:00.004+01:00

1. echo deadline > /sys/block/{device}/queue/scheduler

2. change filesystem from ext3 into reiserfs

Really nice for hour work include synchronize nodes. Of course after find out what to do :)

check_pgpool - nagios plugin for pgpool-II

2008-12-24T16:28:00.005+01:00

check_pgpool.rb - simple nagios plugin to check pgpool nodes status with pcp_node_info. Usefull to monitor are all nodes conneted.

checkcommands.cfg:


define command {
        command_name    check_pgpool
        command_line    $USER1$/check_pgpool.rb $ARG1$
}

services.cfg:


define service {
        use                     generic-service
        host_name               pool.hostname
        service_description     PGPOOL1
        is_volatile             0
        check_period            24x7
        max_check_attempts      4
        normal_check_interval   5
        retry_check_interval    1
        contact_groups          admins
        notification_interval   960
        notification_period     24x7
        check_command           check_pgpool!1
}

PostgreSQL tricks with broken db

2008-12-17T10:28:00.003+01:00

Few PostgreSQL tricks for broken db:

case:


pg_dump: query returned 0 rows instead of one: SELECT typlen, typinput, typoutput, typreceive, typsend, typmodin, typmodout, typanalyze, typinput::pg_catalog.oid as typinputoid, typoutput::pg_catalog.oid as typoutputoid, typreceive::pg_catalog.oid as typreceiveoid, typsend::pg_catalog.oid as typsendoid, typmodin::pg_catalog.oid as typmodinoid, typmodout::pg_catalog.oid as typmodoutoid, typanalyze::pg_catalog.oid as typanalyzeoid, typdelim, typbyval, typalign, typstorage, pg_catalog.pg_get_expr(typdefaultbin, 'pg_catalog.pg_type'::pg_catalog.regclass) as typdefaultbin, typdefault FROM pg_catalog.pg_type WHERE oid = '1325300'::pg_catalog.oid

solution:


reindexdb -h localhost -U postgres db_name

case:


pg_dump: Error message from server: ERROR: catalog is missing 4 attribute(s) for relid 1325439

solution:


REINDEX TABLE pg_catalog.pg_attribute;

case:


pg_dump: failed sanity check, parent table OID 16401 of pg_rewrite entry OID 16403 not found

solution:


delete from pg_rewrite where oid = 16403;
REINDEX TABLE pg_catalog.pg_rewrite;

Amazon CloudFront in Ruby

2008-12-02T20:30:00.005+01:00

Last month Amazon launch new service - Amazon CloudFront. Amazon CloudFront delivers your content from Amazon S3 using a global network of edge locations. Sweet, really nice solution for quite expensive Akamai (yes, I know Akamai is cheaper at some level, but startups don't have such budget). At start they release only Amazon CloudFront Authentication Tool for Curl. So decide to wrote own tool in ruby (atm there is RightScale Ruby library but when I wrote that there wasn't any such tool).

First, I try use curb (Libcurl bindings for Ruby), but then notice that can be done more simple only with Net::HTTP

According to Developer Guide correct REST Requests needs URI indicates the particular resource you want to act on, also needs correct Request Headers (Authorization, Content-Length, Content-Type, Date, Host, x-amz-date).

Date/x-amz-date like at provided by Amazon curl script, get from Amazon server:


def self.server_date(url)
  server_date=''
  uri = URI.parse(url)
  http = Net::HTTP.new(uri.host,443)
  http.use_ssl = true
  http.verify_mode = OpenSSL::SSL::VERIFY_NONE
  response=http.request_get(uri.path)
  response['Date']
end

Authorization generate as Amazon documentation said:


def self.sign(date)
  digest = OpenSSL::Digest::Digest.new('sha1')
  hmacd=HMAC.new(AWS_SECRET_ACCESS_KEY, digest)
  hmacd.update(date)
  signature=Base64.encode64(hmacd.digest)
end

So simple list distribution can be done like that:


def ACFList(url)
  date=server_date(url)
  uri = URI.parse(url)
  http = Net::HTTP.new(uri.host,443)
  http.use_ssl = true
  http.verify_mode = OpenSSL::SSL::VERIFY_NONE
  headers = {
    'X-AMZ-Date' => date,
    'Authorization' => 'AWS ' + AWS_ACCESS_KEY_ID + ':' + sign(date).chop
  }
  response=http.request_get(uri.path,headers)
  response
end

Example:


./acf.rb list https://cloudfront.amazonaws.com/2008-06-30/distribution
<?xml version="1.0"?>
<DistributionList xmlns="http://cloudfront.amazonaws.com/doc/2008-06-30/"><Marker></Marker><MaxItems>100</MaxItems><IsTruncated>false</IsTruncated></DistributionList>

Hole code can be find here

Kreatywna matematyka według Tesco

2008-12-01T21:35:00.006+01:00

Dzisiaj w Tesco odkryłem nową, kreatywną wersje matematyki. Idąc między regałami zauważyłem:

Ser Philadelphia - 3,29zł (ta mała cena po lewej stronie). Promocja 2 sztuki za 6zł. Niby ok, jest promocja jest dobrze. Niepokoi mnie tylko informacja "Oszczędzasz 6zł"

WTF ?!?


2x3,29zł = 6,58zł 
         - 6,00zł
-----------------
           0,58zł (nijak 6zł nie wychodzi)

Idąc za ciosem zrobiłem jeszcze kilka zdjęć:

Less spam ? Yeah McColo's is down.

2008-11-13T20:08:00.004+01:00

Really interesting news read today. According to Boris Veldhuijzen van Zanten spam levels fell by 66% after Tuesday. That happened after Internet providers cut off McColo’s (Site is down) connectivity to the Internet.

Incredible isn't it ?

Dj Wonter - Wings - Official Music Video

2008-10-30T15:29:00.001+01:00

Wicked tune made by Wonter. Check it !

Squid with AWStats

2008-10-27T21:25:00.006+01:00

I've search a bit, but couldn't find any nice howto. All links told me to turn on "emulate_httpd_log" or change logformat in squid.conf. Cool, but I've got logs from last month with standard logformat - squid and like to know how much bandwidth at Amazon EC2 will cost.

Lets see, standard squid logs looks like that:


1224992424.377      0 127.0.0.1 TCP_MEM_HIT/200 1046 GET http://sitename/www/Etrade/js/translation.js? - NONE/- application/x-javascript

With little sed help, logs could looks like that:


1224992424 0 127.0.0.1 TCP_MEM_HIT 200 1046 GET /sitename/www/Etrade/js/translation.js? - NONE/- application/x-javascript

How ?


LogFile="cat /path/to/log/squid-access_log | sed 's/\.[0-9]\{3\}\s\{5\}//' | sed 's/\// /' | sed 's/http\:\///' |"

Now just few min generate report .. et voila ;)

Why EC2 command line API-tools sucks...

2008-09-25T20:22:00.003+02:00

Every time cron daemon run ruby scripts witch contain command line EC2 API-tools load grow up and take a lot resources. In last days decide to rewrite it. For some configure files need to check often what IP's got working www backends or database backends. Got for that class in ruby:

machine.rb:


require 'resolv'

class Machine

 IMAGES   = {
         'www'           => ['ami-WWWWWWWW'],
         'db'            => ['ami-DBDBDBDB'],
         'kolektor'      => ['ami-POOLPOOL'],
 }

 MACHINES = {
  'www'  => [],
  'db'  => [],
  'kolektor' => [],
 }

 def self.getips
    output=`ec2-describe-instances`
    output.split("\n").each do |line| 
      IMAGES.each do |type, amis|
  amis.each do |ami|
   if line.match('\s' + ami + '\s.*?running')
    ip = Resolv.getaddress(line.split[3])
    MACHINES[type] << ip 
   end
  end
      end
    end
    MACHINES
 end
end

Easy for use at other scripts like that:

getwww.rb:


#!/usr/bin/ruby

require 'machines.rb'

puts Machine.getips['www']

But that was slow and take too much resources. Discover project amazon-ec2.rubyforge.org and rewrite that class.

machines_new.rb:


require 'resolv'
require 'rubygems'
require 'EC2'

class Machine

 ACCESS_KEY_ID = 'your_access_key_id'
 SECRET_ACCESS_KEY = 'your_secret_access_key'


 IMAGES   = {
         'www'           => ['ami-WWWWWWWW'],
         'db'            => ['ami-DBDBDBDB'],
         'kolektor'      => ['ami-POOLPOOL'],
 }

 MACHINES = {
  'www'  => [],
  'db'  => [],
  'kolektor' => [],
 }

 def self.getips
 ec2 = EC2::Base.new(:access_key_id => ACCESS_KEY_ID, :secret_access_key => SECRET_ACCESS_KEY)
        ec2.describe_instances.reservationSet.item.each do |reservation|
    IMAGES.each do |type, amis|
  amis.each do |ami|
     reservation.instancesSet.item.each do |item| 
   if item.imageId.match(ami)
    ip = Resolv.getaddress(item.dnsName)
    MACHINES[type] << ip
   end
     end
  end
    end
 end
 MACHINES
 end
end

How fast could be use non-JAVA EC2 API-tools ?

With old class:


# time for i in `seq 1 20`; do ./getwww.rb ; done
real 3m58.211s
user 0m48.870s
sys 0m2.650s

With new class:


# time for i in `seq 1 20`; do ./getwww.rb ; done
real 0m20.234s
user 0m6.570s
sys 0m0.870s

Only 11.5x times faster ! And doesn't take 80mb mem, just 10mem for 1 sec.

Ksero...

2008-09-21T18:44:00.002+02:00

Nigdy nie pomyślałbym, że ksero może mnie potrzebować. Widać to moje przeznaczenie, albo matrix i jestem tylko kawałkiem softu :(

"Prawie" bezpiecznie :)

2008-09-10T21:32:00.002+02:00

Nie ma to jak zaufanie, że nikt nie zwróci na to uwagi :)

ps. Zabezpieczeniem były 3 naklejki, więc nie trzeba było nawet rozklejać, żeby sprawdzić co jest w środku.

Google Chrome

2008-09-02T12:20:00.002+02:00

Od wczoraj wszędzie jest głośno o Google Chrome. Wszyscy zastanawiają jaka będzie przeglądarka od Google ? Wielu wróży walkę Google z Microsoftem na polu przeglądarek internetowych. Pytanie tylko czy Microsoft ma się czego obawiać ? Według mnie nie ma czego, wręcz stwierdził bym, że Google zamierza przejąć użytkowników FF i Opery.
IE króluje na rynku przeglądarek internetowych dlatego, że jest domyślnie instalowana wraz z systemem operacyjnym. Klient kupując komputer z systemem operacyjnym (a który w znakomitej większości to Windows) otrzymuje od razu przeglądarkę internetową. Jeżeli mu czegoś w tym produkcie nie brakuje to taki użytkownik nie będzie zmieniał tej przeglądarki bo i po co. Oczywiście FF, Opera walczą o takiego użytkownika, ich udział w rynku się zwiększa, ale zwiększa się głównie o użytkowników którzy zobaczyli inne możliwości i są świadomi faktu że mogą sobie zmienić przeglądarkę internetową. Są to dokładanie Ci sami użytkownicy który przeczytają/dowiedzą się/usłyszą o nowym produkcie Google i postanowią go wypróbować. Jeżeli produkt będzie na odpowiednim poziomie, pewnie przy nim zostaną.
Należy się również zastanowić jaki biznes widzi w tym Google. Nie od dzisiaj wiadomo, że z produktami Google jest jak z mężczyzną z reklamy - muszą zarabiać. Skoro muszą, a jasne jest że Google to nie organizacja non-profit, więc należy się zastanowić czy reklamy nie będą drażnić osoby przyzwyczajone do aplikacji takich jak FF, gdzie reklam nie mają ze strony samej aplikacji.
Reasumując odnoszę wrażenie, że Google postanowiło przejąć fragment rynku zajęty przez FF czy Operę oferując produkt który rozwiązuje pewne uciążliwe wady dostępnych przeglądarek. Natomiast nie sądzę żeby w perspektywie kilku lat Google mogło zagrozić dominacji IE. Chodź nie wykluczone jest, że w przypadku wypuszczenia systemu operacyjnego przez Google z domyślną przeglądarkę Chrome taki stan rzeczy może ulec zmianie.

Nowa guildia

2008-09-01T11:17:00.006+02:00

W ostatnim czasie źle się działo w Beltaine dlatego spora część trzeźwo myślących osób (w tym ja) zmieniło guildie na Enclave. A wraz z nową guildią zaczęło się raidowanie. Na dzień dobry poszło SSC (The Lurker Below,Morogrim Tidewalker), a następnie dla rozluźnienia Gruul's Lair jako, że zostało trochę czasu z zaplanowanych 4h grania.

Nowy Firmware: 01-17-080812-15-POP-402

2008-09-01T11:05:00.002+02:00

22 sierpnia ukazał się nowy firmware do Popcorn Hour. Z uwagi na wyjątkowo dziwny sposób powiadamiania o update-ach udało mi się to przegapić (kto normalny robi topic na jakimś forum na którym jak się pokaże nowy post to znaczy, że jest nowy firmware ?!?). Wracając do firmware-u, ot kilka ciekawostek, które ze sobą niesie:
- USB HDD spindown,
- Ogg Vorbis and Vorbis in MKV support,
- Fixed ISO crash on VESA mode,
- Changed to 8bpp font, should improve subtitle text,
- Improved bitrate throughput of playback over SMB to ~38Mbps, up from ~25Mbps. Same as NFS performance now,
(pełna lista zmian dostępna: tutaj)
Z zauważalnych rzeczy dla mnie, to faktycznie poprawiona obsługa SMB oraz nareszcie działające poprawnie obrazy płyt DVD (można w końcu zrobić kopie kolekcji DVD na dysku, dla wygodniejszego odtwarzania).

Popcorn Hour A-110

2008-08-20T21:48:00.003+02:00

No i ukazał się nowy odświeżony Popcorn Hour. W zasadzie zmiany są czysto kosmeczyne:

- 2.5"/3.5" SATA HDD
- USB Slave
- HDMI 1.3a
- co-axial S/PDIF w miejsce optical S/PDIF

Czy warto go kupić posiadając A-100... sądzę że nie. Zasadniczo nowa wersja nie niesie za sobą żadnej rewolucji, ani znaczących zmian. Jeżeli już ktoś posiada wersje A-100 i dokupił do niej dysk ATA, to bez sensu wymieniać to na SATA. HDMI 1.3a bardzo ładnie wygląda tylko, żeby faktycznie z tego korzystać trzeba mieć jeszcze odpowiedni sprzęt audio który pozwoli na "usłyszenie" dobrodziejstw DTS HD-HR, DTS HD-MA, Dolby Digital Plus oraz Dolby TrueHD no i content który będzie posiadał ten dźwięk. Zakładając, że ktoś posiada już odpowiedni sprzęt audio nie sądzę żeby bawiło go przerzucanie contentu specjalnie na Popcorn, skoro posiada już płytę. Dalej USB Slave może to i szybsze niż Ethernet (mój popcorn 100Mbit/s po ftp to raczej nie chce trzymać, wręcz daleko mu do tego), ale z drugiej strony specjalnej różnicy raczej nikomu nie robi czy będzie miał coś minutę szybciej czy wolniej. Poza 1080p, które faktycznie streamowane przez Ethernet nie działa najlepiej, to reszta wyrabia się w zupełności w A-100, natomiast z dysku chodzi wszystko płynnie.

Reasumując Popcorn Hour dobrze, że przeszedł lekkie odświeżenie, ale nie zaszły w nim żadnej istotne zmiany, które mogły by sugerować potrzebę wymiany starego A-100 na A-110. Sądzę, że zmiany miały raczej na celu utarcie nosa konkurencji, która wytykała A-100 np. brak podłączenia dysków SATA.

Import exist bind into smbind

2008-08-04T11:47:00.006+02:00

Smbind bring simple PHP-based tool for managing DNS zones for BIND via the web. Since I don't really want atm change BIND into BIND-DLZ, Smbind looks nice and it's really simple to change anything at webpanel.

There is one small problem. Smbind doesn't provide any scripts to import exist bind zones into DB. So create one:

file: import.rb

Import from slave dns, cause that files create BIND and got regular structure. Files to import are in 'slave' dir.

EC2 and pgpool

2008-07-31T11:31:00.007+02:00

Some tips how to make PostgreSQL backends with pgpool work at Amazon EC2:

First of all I made script witch keeps all IP's all useful backends:
name: machine.rb
#v+


require 'resolv'

class Machine

 IMAGES   = {
         'www'           => ['ami-12345678'],
         'db'            => ['ami-23456789'],
         'pooler'        => ['ami-34567890'],
 }

 MACHINES = {
  'www'  => [],
  'db'  => [],
  'pooler' => [],
 }

 def self.getips
  output=`ec2-describe-instances`
  raise 'Not working: ' + output if !output.match(/^RESERVATION/)
  output.split("\n").each do |line| 
   IMAGES.each do |type, amis|
    amis.each do |ami|
     if line.match('\s' + ami + '\s.*?running')
      ip = Resolv.getaddress(line.split[3])
      MACHINES[type] << ip 
     end
    end
   end
  end
  MACHINES
 end
end

#v-

So after call 'Machine.getips' I will receive table with www,db,pooler and IPs. Now lets say I wanna create /etc/hosts with current list all my backends (useful for csync2 witch need hosts not IP)

name: createhosts.rb
#v+


#!/usr/bin/ruby

require '/path/to/machine.rb'
require "ftools"

def command_output(command)
 output = nil
 IO.popen(command) do |f| output = f.readlines end
 output
end

ips = Machine.getips
local_ip = command_output('/sbin/ip addr show eth0')[2][/inet (.*?)\//,1]

if File.exists?("/etc/hosts") == false
 f = File.new("/etc/hosts", "w+")
 f.close
end

f = File.open('/etc/hosts.tmp','w')

f.puts "127.0.0.1 localhost\n" +
 ips['pooler'][0] + " db.pooler\n" +
 local_ip + " " + local_ip.gsub(/\./,'_') + ".domain " + local_ip.gsub(/\./,'_') + "\n" +
 local_ip + " pooler.domain pooler\n"

ips['www'].each do |ip|
 f.puts ip + " " + ip.gsub(/\./,'_')
end

ips['db'].each do |ip|
     f.puts ip + "   " + ip.gsub(/\./,'_')
end


f.close

File.move("/etc/hosts.tmp", "/etc/hosts")

#v-

Also it's easy to create some script for certain use like this:

name: getpooler.rb
#v+


#!/usr/bin/ruby

require '/path/to/machine.rb'

puts Machine.getips['pooler'][0]

#v-

Witch gimme IP of host with pgpool.

Now let's say I got fresh Fedora Core 9 with postgresql. At /etc/rc.d/rc.local of my image put such line:


echo "host    all         all         `/path/to/getpooler.rb` 255.255.254.0   trust" >> /var/lib/pgsql/data/pg_hba.conf

So trust access will be from my pgpool host. Postgresql.conf file it's goot to keep in some SVN, so easy to change there options. So correct create image should give us always fresh image of postgresql witch know where is pgpool.

Fatboy Slim: Big Beach Boutique II - Live On Brighton Beach DVD

2008-07-17T12:10:00.002+02:00

Świetna impreza, genialnego Fatboy Slim-a. Jak imprezować to tylko na imprezach z jego udziałem. Gorąco polecam.

ps. Poszukuje gdzie można kupić _oryginalną_ płytkę z Fatboy Slim - In Brazil - Incredible Adventures. Jak ktoś ma jakiekolwiek namiary proszę o informacje.