29 Ağustos 2010 Pazar

Posix Öğrenelim - Ders 0

Yazmayalı gerçekten uzun zaman olmuş. Bir geliştiricinin de yaptıkları hakkında blog yazmaması kabul edilebilir şey değil. Ama tembellik , yoğunluk gibi nedenlerden dolayı aksayabiliyor bloglar ...

Bu aralar POSIX, Linux Kernel , Embedded programlama gibi konulara balıklama dalmış durumdayım ve uzun bir süre çıkmaya da niyetim yok gibi. Hayatımda olan gelişmelere gelince , işimden zaman kaldığında sık sık C derneğine gidiyorum. C derneğinin işletim sistemi projesine katılmış durumdayım, henüz bir katkım olmadı ama umarım ileride olur. Bu aralar ayrıca C derneğinde Kaan Aslan'ın vermekte olduğu Unix Sistem Porgramama kursuna da devam etmekteyim. Bu kursta genellikle POSIX fonksyonlarının kullanımı , Linux kernel gibi konular hakkında bilgi veriliyor. Kursun daha iyi pekişmesi amacıyla da birtakım ödevler veriliyor. Ben de bu ödevler kaybolmasın, ayrıca başkalarına da lazım olur diye github'a koydum. Her ödev verildiğinde onunla alakalı bir post yazmaya çalışacağım ama bu önceki sözlerime benzeyebilir :) O yüzden reponun adresi belli ilgilenenler belli aralıklarla orayı kontrol edebilirler.

İlk verilen ödev stat fonksyonun kullanımı ile alakalı bir ödev. Komut satırından girilen dosya isimleri ls -l formatında ekrana bastırılacaktır. LINK

Diğer bir alıştırma ise komut satırından verilen grup isimlerine karşılık gelen kullanıcı isimlerinin ekrana bastırılması ( fonksyonları ile alakalı): LINK

Tüm yazılan alıştırmalar bir Makefile'a sahip ve derlenmeleri o şekilde yapılacaktır.

11 Nisan 2010 Pazar

So Long, and Thanks for All the Fish

Bu bir veda yazısı ve aynı zamanda yeni bir başlangıcın sembolü diyebiliriz :) Bu hafta itibari ile İnomera A.Ş. 'deki Java Web Developer pozisyonundan ayrılmış bulunmaktayım. Nedenine gelince ; son zamanlarda ilgilenmekte olduğum sistem programlama alanının bana çok ilgi çekici gelmesi ve bu yönde bir iş teklifi almış olmamdan kaynaklanıyor. Telekom sektöründe olan SkyNet Firması ile birlikte çalışmaya devam edeceğim. Umarım hepimiz için hayırlı bir değişimm olur. İnomera'dakilerin deyimi ile daha "Penguence" işler yapmak üzere ayrılıyorum. Bana sunduğunuz tüm imkanlar için teşekkür ediyorum ve ileride tekrar birlikte çalışmak dileyile burada bu yazımı noktalıyorum ...

6 Mart 2010 Cumartesi

Cache Sistemleri

Bu yazı ile yeni bir yazı serisine başlamış bulunmaktayım. Umarım düzenli olarak devam ettiririm. C derneğinde Sistem Programlama ve ile İleri C 1 kursuna başladım. Gerçekten İstanbul'da imkanı olan her programcının 1 kez uğramış olması gereken bir yer. Bu devirde C mi öğrenilir kardeşim? diyenler olabilir ama C herşeyin başlangıcı ve kaynağıdır onu bilmeyen diğerlerini de tam bilemez diye düşünüyorum.(Ya da IRC'de bana dedikleri gibi char* in 2009?) Bu yazı seirisinde C derneğinde tuttuğum notları ve yazdığım kodları buraya koymaya çalışacağım. Umarım bana ve buraya gelenlere bir faydası dokunur ...

  1. Cache Sistemleri
Bilgisayar sistemlerinde pekçok durumda bir yavaş bellek ve hızlı bellek vardır. Yavaş bellek ucuz olduğundan boldur. Hızlı bellek daha küçük miktardadır ve pahalıdır. Örn, RAM hızlı disK yavaş belleği temsil eder. Ya da cpu'nun içindeki bellek hızlı belleği normal RAM yavaş belleği temsil edebilir.
Bu tür durumlarda yavaş belleğin belli bir bölümü hızlı bellekte tutulur. Ve yavaş belleğe erişim miktarı azaltılmaya çalışılır. Bu tür sistemlere cache sistemleri denilmektedir.Bilgi elde edileceği zaman önce hızlı belleğe başvurulur ,hızlı belleğe cache de denir. Burada varsa
doğrudan alınır.Yoksa yavaş belleğe başvurulur. Bilginin alınma hızına cache hit,yoksa cache miss olur. Bir cache sisteminin amacı cache hit oranını yükseltmektir. Buna cache performansı denir. Cache performansı şu öğeler etkiler :
- cache miktarı büyüklüğü,şüphesiz hızlı bellek ne kadar çok olursa yavaş belleğin o kadadr büyük bölümü tutulur performans artar.
- Yavaş belleğin hangi bölümünün tutulacağını belirlemek de önemlidir. Buna cache startejisi denir.
- Cache'in read only veya r/w olması performansı etkiler.

Read Only cache sistemi; hızlı bellek yalnızca okuma amaçlı kullanılır. Bilgi yazılırken doğrudan yavaş belleğe yazılır. Böylece elektril kesilme gibi durumlarda bilgi kaybı engellenir. r/w cache sistemlerine hem okuma hem yazma yapılır.


2.Cache Stretejileri

Cache sistemleri tek bloklu yada çok bloklu tasarlanır. Tek bloklu (single cache line) sistemlerinde yavaş belleğin ardışıl cache kadar bölümü cache'tet tutlur. şüphesz yavaş belleğin hangi bölümünün cache'te olduğu not alınmalıdır. Tek bloklu sistemler ardışıl erişimlerin yoğun olduğu durumlarda etkin olabilmektedir. Fakat ardışıl erişimler söz konusu değilse bu sistemde etkinlik çok azalır. Alternativ yöntem çok bloklu cache (multi cache line) sistemidir. Çok bloklu sistemlerde yavaş bellek bloklara ayrılır. Cache bellek de aynı biçimde bloklanmaktadır.
Böylece yavaş belleğin farklı blokları aynı anda cache içinde bulunur. Bir bölgeye erişilmek istendiğinde önce ,cache'teki bloklarda bu bölgenin olup olmadığına bakılır.
Cache içinde yavaş belleğin hangi blokları tutulmalıdıır? Şüphesiz en çok kulalnılan blokların cache'te tutulması ilk akla gelen yöntemdir.
Fakat bu nasıl tespit eidlir ?
Strateji olarak 2 durum önemlidir. Yavaş belleğin hangi bölümü hızlı bellekte tutulacaktır ve hızlı belleğin hangi bölümü atılacaktır? Bu konuda kullanılan algoritmalar vardır. Özellikle cache sistemlerinde bilgiyi çıkarma işlemi koyma işleminden daha önemlidir. Gelecekteki durum bilinmediğine göre bir chache miss oluştuğunda herzman yavaş belleğin o bloğunun cache'e çekilmesi yoluna gidilebilir. Aksi takdirede yavaş bloğun her kısmı için istatistik yapmak gerekir. Önemli cache startejileri (atım)şunlardır :

  • LFU (Least frequently used):
Bu alg.'da en az cache hit almış cache bloğu cache'ten çıkartılır. Bu yöntemi uyugulamak için her cache bloğu bir sayaçla kontrol edilir.Her cache hit'te sayaç arttırılır,sonra sayacı en düşük olan blok çıkartılır. Şüphesiz yeni alınan blok için ortalama bir sayaç değeri verilmelidir.

  • LRU (Least recently used)
Burada uzun süredir cache hit almayan blokların çıkrtılaması yoluna gidilir. Bu yöntem pekçok sistem için daha etkilidir. Bu yöntemle tipik olarak cache bloklarından ya da onların numaralarından bir bağlı liste oluşturlup ve bir cache hit oluştuğunda o blok bağlı listenin en önüne alınır. böylece bağlı listenin en arkasında son zmanalarda en az kullanılan bloklar kalmış olur. Cache'ten blok atılacağı zaman burdan atılır. LRU yöntemi pekçok olay için iyi bir performans oluşturmaktadır. Örneğin linux işletim sistemi çekirdeklerinde kullanılan cache sistemlerinin çoğu lru'dur.

  • Hibrit Modeller
Bu yöntemlerde birkaç algoritma yöntemin ortalaması dikkate alınır. Örn hem lfu hem de lru değerleri kontrol edilebilir. İkisinin toplam durumuna göre bir karar uygulanır.

  • MRU (Most recently used)
Bazı sistemlerde son erişilen bölgelerin (blokların) gelecekte kullanım miktarlarının azalacağı bilinmektedir. Bu durumda tam tersi olarak cache'ten son zamanlarda en sık kullanılanı atmak uyugun bir yöntemdir. Böyle sistemler ile az karşılaşılmaktadır.

  • MFU (Most frequently used)
Bazı sistemlerde bir bloğun kullanımı arttıkça gelecekte onu kullanım azalır. Örn, belli bir sistemde eğer her bloğun benzer miktarda erişildiğini biliyosak bu durumda cache'te o zamana kadar en kullanılmışı atmak daha mantıklı olur.

3.Cache sistemlerinin kullanılmasına yönelik tipik yöntemler

OS'lerde tamamen çekirdek düzeyinde aşağı seviyeli disk cache sistemi oluşturulur. Buna UNIX dünyasında "buffer cache" denilmektedir. OS'nin çekirdeği son eirşilen disk bloklarını ram'de kullanılmayan bölgelerde saklar ve disk erişimin azaltmaya çalışır. disk cache sistemi disk erişimlerini %70 azaltır. OS'nin en önemli performans konularından birini oluşturur. Örn linux sistemleri mevcut kullanılmayan RAM'i disk cache olarak kullanılmaktadır. Bu cache sistemi r/w'dir. WIN ve UNIX sistemleri genellikle "delayed write" kullanırlar. Bu yöntemde yazma işlemi sırasında diske değil cache'e yazılır. Fakat, cache'in tazelenmesi için çok beklenmez.OS'nin bu amaçla kullanılan kernel treadleri belli periyotlarda cache bloklarını inceler dirty olanları diske yazar. Böylece elektrik kesilmesi gibi durumlarda kayıp ciddi boyutta olmamaktadır.
Memory stick'ler teknoloji olarak belirli sayıda yazmaya izin vermektedir.(Bu yazma sayıları artmaktadır) İşletim sistemleri bu tür aygıtlara yazma yaparken hem hız için hem de bu gerekçe ile cache sistemi kullanabilmektedir. Örn win sistemlerinde bu durum ayarlanabilir.
Yeni win sistemlerinde default durum read only cache sistemidir. Örn linux sistemlerinde r/w kullanılır.
Bugün kullandığımız pc'lerde de donanımsal düzeyde bellek sistemi için cache kullanılmaktadır.
Eskiden cpu'lar yavaştı ve dramlar cpu'lardan daha hızlıydı. Fakat zaman geçtikçe cpu'lar dramlara göre çok hızlandılar. Başa baş noktası 80286 işlemcilerinin kullanıldığı AT makinalarda yakalandı.(80 lerin sonu) Bu cpular 16mhz'de çalışıyordu ve o zamanki ramler 60ns. Bundan sonra artık boardlara cache sistemi eklenmiştir.İlk cache sistemi cpunun dışındaydı vs sram'lerden oluşuyordu. CPU önce sram'e sonra dram'e başvuruyordu. Cpular daha da hızlanınca cpu'nun içine de cache koyulmaya başlandı. Böylece dram 2 aşamada cachelenmekteydi. Cpu'nun içeresindeki cache'e l1 cache diğerine l2 cache deniyordu. Son yıllarda dışsal cache de cpu'nun içeresine kondu. cpu'nun cache miktarını performansta önemli etkisi vardır.Buradaki cache yazılımsal değil tamamen donanımsaldır.

5 Mart 2010 Cuma

New Theme And New Posts

Hi all, who came here to the end of the world by accident :) I decided to post more often to my blog than before (i hope). Therefore new starts need changes ... I changed my blog theme so it is cooler now with a penguin above :) I'm not a designer and dont have idea how to make those cool things so my friend (a great designer) ADK helped me with it. Big thanks goes to him! Btw,you should hire him you wont be sorry believe me :) Well what is going on in my life ?

- After GSOC 2009 i finished my school,so now i'm a Computer Science Engineer (heh it sounds cool), though i dont feel like one.
- I worked for a while as Django/Python freelancer
- Now working as full time developer for Inomera A.Ş. on Netmera Social Platform.
- While writing that post i'm reading my C notes for the course i started.

Well thats, all nothing exciting in my life sorry :) I hope to post here more geeky stuff as i find some free time.

16 Ağustos 2009 Pazar

Gsoc 2009 is almost over !


As some of you may know the GSOC 2009 is going to be over. The code writing is over and some little formal things are remaining to pull the final trigger. As i posted in my previous posts i contributed to Func project this year as i did last year. Here are some of the items i added to Func that year :

  • Facts Framework - a different way to query more things on minions at once
  • Groups Api - new pluggable func groups api
  • Grep Modules - Query modules for a proper pattern
  • Real Time Output - Watch your minions output while they do their jobs.
  • Progress Report - Get progress report of your minions easily.
  • And many other small fixes and additions.
It was a great experience for me, thanks Func and of course many thanks to Google :) Probably that was my last GSOC and it was really fun to work on Open Source projects and get payed.

30 Nisan 2009 Perşembe

Using GWT with Django


Well i tried GWT a few days ago and liked it very much. I'm not a js expert and for that reason dont use it too much in my web applications. But from time to time i need some fancy client-side apps to do ajaxian stuff easily. I had written an Independent Django app which was an ajax-driven event calendar. Therefore i did most of the work remotely via Django. I used jquey for ajaxian calls. But if i were a better js programmer i would do that job with less remote calls. But the Magic in GWT is cool you create your application with Java ; a very cool and easy language and it converts the written code into javascript which is compatible with most of the browsers. Therefore you dont bother with strange behaviour of the js and dont bother about if your code will run on BrowserA or BrowserX.

I followed the tutorial in GWT site and had a running application (StockWather). To complete that tutorial you probbaly would need to complete the StockWatcher firstly and then go on from here or you can just pull the code i wrote for that purpose from here[1] and just inspect it.

For communication of both ends i used XML,if you're not a fan of it you can use JSON also. I didnt use JSON because of the JSNI usage in Java code. I dont like hybrid codes like that...

  1. First create the server side code in Django :LINK
  2. You need to build a GET request in you JAVA code so u do that from here: LINK
  3. Parse the incoming XML string from Django and convert it to JAVA objects: LINK
  4. Write unittests for your client side code (GWT) because if you have errors u will get some strange JS errors which are not so decsriptive. : LINK
  5. Put GWT application in your media and put the generated HTML file in your templates directory.

Well that is all,it took some time to glue both of them (Django and GWT) but we have here a happy end :) GWT is cool but it has some little weird stuffs i dont understand yet. One of them is Designing the applications.I should find
an easy way to explain it to my designer :)

[1]: GWT-Django app

21 Nisan 2009 Salı

GSOC 2009 Again


Well i'm again in the Game :) That summer i will be working on my last year GSOC project FUNC again.Big Thanks to Adrian Alikins(my mentor) for choosing me again. And Bigger thanks to GOOGLE for paying us to do open source programming. If you hear for the first time FUNC,it is a great Remote management Framework for doing things reamotely easier. You can even open your shell and do management by playing with its Python API. My aim that time is to make that cool API even more cooler.Here is the list with ideas :
  • Implementing Func Facts : Wouldnt it be cool to say func update machines that are ">f9" or list the machines with dual core cpus. That is what func facts claims to be an ORM like remote querying system.
  • Implementing a Pluggable Connection Manager for Func :Well that is kind of hard one, currently he FUNC is using XML-RPC over SSL. The aim of that item is to make Func to support different connections by reading its conf files. The first connection to be implemented seems to be qpid/AMQP/qmf. After having the pluggable structure it will be easier to add different connections i hope.
  • Structuring the Results : Currently FUNC recieves different kind of results in different formats. Having a way to query and process that result without too much loops will be realy great.
  • Funcweb Development : Func has a Web interface fo doing all the stuff visually,so new features should be added to that cool app.

I hope to finish all the stuff succesfully again like last year. (INSH ;))