Parallel procedures/de

Übersicht

Diese Seite beschreibt, wie man eine einzelne Prozedur parallel laufen lässt unter Benutzung der MTProcs Unit, die das parallel laufen lassen und die Implementierung von parallelen Algorithmen vereinfacht.

Parallele Prozeduren und Methoden werden oft in parallele Algorithmen gefunden und einige Programmiersprachen haben einen eingebauten Support für sie (z.B. OpenMP im gcc). Siehe auch hier für die Planung der Hinzufügung dieser Sprachfeatures im FPC. Einbetten dieser Sachen in die Sprache kann zur Reduzierung von Eingaben führen und erlaubt dem Compiler Code zu erzeugen, der weniger Overhead hat. Auf der anderen Seite ist hier kein einfacher Algorithmus, um Code parallel laufen zu lassen. Tatsächlich machen einfache Versuche oft den Code langsamer. Um gute Resultate zu erhalten, muss man einige Parameter spezifizieren, die der Compiler nicht voraussagen kann. Als Beispiel kann man sich die unermessliche Anzahl an Einstellungen und Diskussionen auf OpenMP ansehen. Man benötigt parallele Algorithmen. MTProcs hilft bei der Implementierung von parallelen Algorithmen.

MTProcs erhalten

Die Unit mtprocs.pas ist ein Teil des multithreadprocslaz.lpk Paket, das mittels svn von

svn co https://lazarus-ccr.svn.sourceforge.net/svnroot/lazarus-ccr/components/multithreadprocs multithreadprocs

heruntergeladen werden kann.

Wie immer: Öffne das Paket multithreadprocslaz.lpk einmal in der IDE, so das es die Pfade lernt. Um das Paket in deinem Projekt zu verwenden: Benutze IDE Menu / Package / Open recent package / .../multithreadprocslaz.lpk / More / add to project um es in deinem aktuellen Projekt zu verwenden. Oder füge mittels des Projekt Inspektors hinzu.

Einfaches Beispiel

Hier ist ein einfaches Beispiel, das nichts wirklich sinnvolles macht, um zu zeigen, wie parallele Prozeduren aussehen und wie sie aufgerufen werden:

program Test;

{$mode objfpc}{$H+}

uses
  {$IFDEF UNIX}
  cthreads, cmem,
  {$ENDIF}
  MTProcs;

// a simple parallel procedure
procedure DoSomethingParallel(Index: PtrInt; Data: Pointer; Item: TMultiThreadProcItem);
var
  i: Integer;
begin
  WriteLn(Index);
  for i := 1 to Index * 1000000 do ; // do some work
end;

begin
  ProcThreadPool.DoParallel(@DoSomethingParallel, 1, 5, nil); // address, startindex, endindex, optional data
end.

Die Ausgabe wird ähnlich wie folgendes sein:

2
3
1
4
5

Hier einige kurze Anmerkungen. Die Details folgen später

• Multithreading benötigt unter Unix die Unit cthreads wie im Multithreaded Application Tutorial/de erklärt.
• Aus Geschwindigkeitsgründen wird der cmem Heapmanager empfohlen, aber hier für dieses Beispiel macht es keinen Unterschied.
• Die parallele Procedure DoSomethingParallelerhält einige fixe und vordefinierte Parameter.
• Index definiert, welcher Teil der Arbeit in diesem Aufruf gemacht werden soll.
• Data ist ein Zeiger, der ProcThreadPool.DoParallel als vierter Parameter übergeben wird. Er ist optional und man ist frei, ob man ihn für irgendwas benutzt.
• Item kann für den Zugriff auf mehr verfeinerte Features des Threadpools verwendet werden.
• ProcThreadPool.DoParallel arbeitet wie ein normaler Proceduraufruf. Er kommt zurück, wenn er komplett abgearbeitet wurde - das heißt, alle Threads haben ihre Arbeit beendet.
• Die Ausgabe zeigt den typischen multithreading Fall: Die Reihenfolge der Aufrufe ist nicht vorhersehbar. Verschieden Läufe können Ergebnisse in unterschiedlicher Reihenfolge haben.

Features

Running a procedure in parallel means:

• a procedure or method is executed with an Index running from an arbitrary StartIndex to an arbitrary EndIndex.
• One or more threads execute these index' in parallel. For example if the Index runs from 1 to 10 and there are 3 threads available in the pool, then 3 threads will run three different index at the same time. Every time a thread finishes one call (one index) it allocates the next index and runs it. The result may be: Thread 1 executes index 3,5,7, thread 2 executes 1,6,8,9 and thread 3 runs 2,4,10.
• The number of threads may vary during run and there is no guarantee for a minimum of threads. In the worst case all index will be executed by one thread - the thread itself.
• The maximum number of threads is initialized with a good guess for the current system. It can be manually set at any time via

 ProcThreadPool.MaxThreadCount:=8;

• You can set the maximum threads for each procedure.
• A parallel procedure (or method) can call recursively parallel procedures (or methods).
• Threads are reused, that means they are not destroyed and created for each index, but there is a global pool of threads. On a dual core processor there will be two threads doing all the work - the main thread and one extra thread in the pool.

Overhead, slow down

The overhead heavily depends on the system (number and types of cores, type of shared memory, speed of critical sections, cache size). Here are some general hints:

• Each chunk of work (index) should take at least some milliseconds.
• The overhead is independent of recursive levels of parallel procedures.

Multi threading overhead, which is independent of the MTProcs units, but simply results from todays computer architectures:

• As soon as one thread is created your program becomes multi threaded and the memory managers must use critical sections, which slows down. So even if you do nothing with the thread your program might become slower.
• The cmem heap manager is on some systems much faster for multi threading. In my benchmarks especially on intel systems and especially under OS X the speed difference can be more than 10 times.
• Strings and interfaces are globally reference counted. Each access needs a critical section. Processing strings in multiple threads will therefore hardly give any speed up. Use PChars instead.
• Each chunk of work (index) should work on a disjunctive part of memory to avoid cross cache updates.
• Do not work on vast amounts of memory. On some systems one thread alone is fast enough to fill the memory bus speed. When the memory bus maximum speed is reached, any further thread will slow down instead of making it faster.

Setting the maximum number of threads for a procedure

You can specify the maximum number of threads for a procedure as the fifth parameter.

begin
  ProcThreadPool.DoParallel(@DoSomethingParallel, 1, 10, nil, 2); // address, startindex, endindex, 
      // optional: data (here: nil), optional: maximum number of threads (here: 2)
end.

This can be useful, when the threads work on the same data, and a too many threads will create so many cache conflicts, that they slow down each other. Or when the algorithm uses a lot of WaitForIndex, so that only a few threads can actually work. Then the threads can be used for other tasks.

Wait for index / executing in order

Sometimes an Index depends on the result of a former Index. For example a common task is to first compute chunk 5 and then combine the result with the result of chunk 3. Use the WaitForIndex method for that:

procedure DoSomethingParallel(Index: PtrInt; Data: Pointer; Item: TMultiThreadProcItem);
begin
  ... compute chunk number 'Index' ...
  if Index = 5 then begin
    if not Item.WaitForIndex(3) then exit;
    ... compute ...
  end;
end;

WaitForIndex takes as an argument an Index that is lower than the current Index or a range. If it returns true, everything worked as expected. If it returns false, then an exception happened in one of the other threads.

Exceptions

If an exception occur in one of the threads, the other threads will finish normally, but will not start a new Index. The pool waits for all threads to finish and will then raise the exception. That's why you can use try..except like always:

try
  ...
  ProcThreadPool.DoParallel(...);
  ...
except
  On E: Exception do ...
end;

If there are multiple exceptions, only the first exception will be raised. To handle all exceptions, add a try..except inside your parallel method.

From the Free Pascal wiki, page "Parallel procedures/de", as it stood on 2020-02-23 after a change by Trev, out of the wiki's dump of 2024-05-26. Copyright stays with the author who wrote it, according to the old wiki's Licensing page. If you have concerns about this material, message the admin.